Exploring Partial Multi-Label Learning via Integrating Semantic Co-occurrence Knowledge

Este artigo apresenta o SCINet, uma nova estrutura para aprendizado multirrotulado parcial que supera os métodos mais recentes ao integrar conhecimento semântico de co-ocorrência por meio de um prompter bi-dominante, um módulo de fusão cruzada e uma estratégia de aumento semântico intrínseco para lidar eficazmente com dados incompletamente anotados.

O essencial

Imagine que você é um detetive tentando resolver um crime, mas a única testemunha disponível está meio confusa. Ela diz: "Eu vi um cachorro e uma bicicleta", mas esquece de mencionar se havia um gato ou um pássaro por perto. Além disso, ela está 100% certa sobre o cachorro, mas só tem 50% de certeza sobre a bicicleta. E, pior ainda, ela não sabe se viu ou não um gato.

Esse é o problema que o SCINet (a rede inteligente proposta neste artigo) tenta resolver. O mundo real é bagunçado: muitas vezes temos dados (fotos, vídeos) com informações incompletas ou cheias de ruídos. O objetivo da "Aprendizagem Multi-Label Parcial" é ensinar a máquina a preencher essas lacunas e descobrir o que está escondido, mesmo com pouca ajuda.

Aqui está a explicação do funcionamento do SCINet, usando analogias do dia a dia:

1. O Grande Desafio: O Quebra-Cabeça Incompleto

Normalmente, para ensinar um computador a reconhecer coisas, mostramos fotos com todas as etiquetas corretas (ex: "isto é um cachorro, isto é uma árvore"). Mas, na vida real, rotular tudo custa muito caro e dá trabalho. Então, temos fotos onde só sabemos algumas coisas, e o resto é um mistério.
O problema é que, se você só olhar para a foto, pode não saber se aquele objeto é um "cachorro" ou um "lobo". O SCINet usa o contexto para adivinhar.

2. A Solução: O "Detetive Poliglota" (SCINet)

O SCINet é como um detetive superinteligente que fala duas línguas fluentemente: a língua das imagens (o que os olhos veem) e a língua dos textos (o que as palavras significam). Ele usa um "cérebro" pré-treinado (chamado CLIP, que já viu milhões de fotos e textos na internet) para entender o mundo antes mesmo de começar a estudar o caso específico.

O sistema funciona com três truques principais:

A. O "Guia de Conversa" (Bi-Dominant Prompter)

Imagine que você está em uma festa e quer saber quem são as pessoas. Em vez de apenas olhar para os rostos, você pergunta: "Quem costuma vir com quem?".
O SCINet usa "prompts" (pequenas frases ou palavras-chave aprendidas) para conectar o texto à imagem. Ele pensa: "Se há uma 'bicicleta' aqui, é muito provável que haja uma 'pessoa' por perto, porque elas costumam aparecer juntas na vida real."
Ele usa esse conhecimento prévio para preencher as lacunas. Se a etiqueta está faltando, ele usa a lógica de "co-ocorrência" (o que costuma aparecer junto) para adivinhar.

B. A "Festa de Mistura" (Cross-Modality Fusion)

Aqui, o sistema mistura tudo. Ele não olha apenas para a foto isolada nem apenas para a lista de palavras. Ele cria uma grande sala de reuniões onde:

• As imagens conversam entre si (para ver quem é parecido com quem).
• As etiquetas conversam entre si (para ver quais conceitos estão relacionados).
• As imagens e as etiquetas conversam entre si.

É como se o detetive olhasse para a foto, olhasse para a lista de suspeitos e dissesse: "Esse suspeito (imagem) se parece muito com o grupo de 'cachorros' (etiquetas), e como 'cachorros' geralmente aparecem com 'coleiras', vou adicionar 'coleira' à minha lista de suspeitos prováveis." Isso ajuda a calcular a confiança: "Tenho 90% de certeza que é um cachorro, mas só 40% que é um gato".

C. O "Treino de Sobrevivência" (Intrinsic Semantic Augmentation)

Para não ser enganado por fotos borradas, escuras ou com objetos escondidos, o SCINet pratica o que chamamos de "aumento de dados".
Imagine que você está estudando para uma prova. Você não lê o livro apenas uma vez. Você:

1. Lê o texto normal.
2. Lê o texto com algumas palavras trocadas (transformação fraca).
3. Lê o texto com o papel rasgado e manchado (transformação forte).

O SCINet faz o mesmo com as imagens. Ele pega a mesma foto, aplica filtros leves, cortes e distorções fortes. Se o sistema consegue identificar o "cachorro" tanto na foto original quanto na foto distorcida, ele aprende que a ideia de "cachorro" é sólida e não depende de um detalhe específico. Isso cria uma confiança mais forte nas respostas.

3. O Resultado: Um Mestre em Adivinhação

Os pesquisadores testaram esse sistema em quatro grandes bancos de dados de imagens (como o VOC e o COCO, que são como enciclopédias gigantes de fotos).
O resultado? O SCINet foi melhor do que qualquer outro método existente.

• Por que? Porque ele não tenta apenas "chutar". Ele usa a lógica de como as coisas se relacionam no mundo real (semântica) para preencher os buracos na informação.
• Onde brilha? Ele é especialmente bom em situações difíceis, onde há muitas etiquetas faltando ou quando os objetos são muito parecidos entre si (como diferenciar tipos específicos de pássaros ou carros).

Resumo em uma frase

O SCINet é como um detetive que, ao invés de depender apenas de uma foto borrada, usa seu conhecimento profundo sobre como o mundo funciona (o que aparece junto com o quê) e treina sua visão com vários ângulos para preencher as lacunas de informação e identificar objetos com precisão, mesmo quando ninguém lhe deu todas as respostas.

Em suma, ele transforma dados incompletos e confusos em conhecimento claro e útil, usando a inteligência artificial para "ler entre as linhas" das imagens.

Resumo técnico

Resumo Técnico: SCINet para Aprendizado Parcial Multi-Rótulo

1. O Problema: Aprendizado Parcial Multi-Rótulo (PML)

O aprendizado multi-rótulo (MLR) é fundamental em diversas áreas, mas os conjuntos de dados do mundo real frequentemente sofrem de anotações incompletas e ruidosas devido ao alto custo de rotulagem e subjetividade dos anotadores.

• Definição do Problema: No cenário de Aprendizado Parcial Multi-Rótulo (PML), o modelo recebe dados onde as anotações incluem:
  1. Rótulos positivos conhecidos (corretos).
  2. Rótulos negativos conhecidos (incorretos).
  3. Rótulos desconhecidos (entradas ausentes na matriz de rótulos).
• Desafio Central: A dificuldade reside em identificar com precisão as relações ambíguas entre instâncias (imagens) e rótulos, especialmente quando há falta de supervisão completa. Métodos existentes muitas vezes negligenciam as associações intrínsecas entre rótulos semânticos e instâncias locais, ou falham em capturar correlações de alta ordem e padrões de co-ocorrência complexos em cenários com ruído e oclusão.

2. Metodologia Proposta: SCINet

Os autores propõem a Rede de Insights de Co-ocorrência Semântica (SCINet), um novo framework que integra conhecimento de modelos multimodais pré-treinados para resolver o problema de PML. A arquitetura baseia-se em três componentes principais:

• A. Prompter Bi-Dominante (Bi-Dominant Prompter):

  • Utiliza um modelo multimodal pré-treinado (especificamente CLIP) para capturar correlações texto-imagem.
  • Introduz tokens de prompt aprendíveis (soft prompts) que atuam tanto no domínio de texto quanto no de imagem.
  • O objetivo é alinhar semanticamente os rótulos com as instâncias, aproveitando o conhecimento prévio do modelo para inferir rótulos não observados baseando-se nas associações entre rótulos conhecidos e instâncias.

• B. Módulo de Fusão Cross-Modalidade (Cross-Modality Fusion Module):

  • Projetado para otimizar a confiança dos rótulos integrando profundamente dados textuais e visuais.
  • Modela simultaneamente:
    1. Correlações entre rótulos: Utilizando o coeficiente de correlação de Pearson para capturar dependências globais entre classes.
    2. Relações entre instâncias: Utilizando similaridade local (função gaussiana) para agrupar instâncias semanticamente próximas.
    3. Padrões de co-ocorrência: Combina as similaridades de instâncias e correlações de rótulos para construir uma matriz de confiança de rótulos ($T^*$), permitindo inferir rótulos ausentes com maior precisão.

• C. Estratégia de Aumento Semântico Intrínseco (Intrinsic Semantic Augmentation Strategy):

  • Aplica três níveis de transformações nas imagens de entrada para enriquecer a compreensão dos dados:
    1. Transformação Fraca ($X^-$): Ajustes sutis (corte aleatório, espelhamento) para preservar a semântica original.
    2. Transformação Média ($X$): A imagem original como baseline robusta.
    3. Transformação Forte ($X^+$): Modificações agressivas (rotação, mixup, cutmix) para aumentar a diversidade e robustez.
  • Perda de Consistência: O modelo é treinado para garantir que as distribuições de probabilidade dos rótulos sejam consistentes entre essas transformações, utilizando uma estratégia de self-distillation e otimização de Pareto para balancear as múltiplas funções de perda.

3. Contribuições Chave

1. Novo Framework de Co-ocorrência: A SCINet é a primeira a considerar sistematicamente as possibilidades de co-ocorrência entre rótulos, entre instâncias e nas atribuições cruzadas de instância-rótulo, guiando o alinhamento de forma mais precisa.
2. Fusão Cross-Modal Otimizada: O módulo de fusão não apenas foca em similaridades locais, mas integra correlações globais entre rótulos, melhorando a estimativa de confiança mesmo com anotações parciais.
3. Estratégia de Aumento Semântico: A proposta de usar transformações triplas com perda de consistência e otimização de Pareto garante robustez e desempenho otimizado mesmo na presença de rótulos parciais.
4. Desempenho Superior: Extensos experimentos demonstram que a SCINet supera os métodos mais avançados (State-of-the-Art) em múltiplos benchmarks.

4. Resultados Experimentais

Os autores avaliaram a SCINet em quatro conjuntos de dados de referência: VOC2012, COCO2014, CUB (para configuração de rótulo único positivo) e VOC2007, COCO2014 (para configuração de rótulos parciais).

• Configuração de Rótulo Único (Single Positive):

  • A SCINet alcançou o melhor desempenho em todos os 6 casos testados (2 configurações de perda $\times$ 3 conjuntos de dados).
  • No VOC2012, obteve 90,97% de mAP (LargeLoss) e 91,76% (SPLC), superando os melhores métodos existentes em até 1,21%.
  • Houve um aumento médio de mAP de 1,04% a 1,21% em relação aos métodos anteriores.

• Configuração de Rótulos Parciais (Partial Multi-Label):

  • Testes realizados com proporções de rótulos conhecidos variando de 10% a 90%.
  • A SCINet superou os concorrentes em 81,25% dos casos (13 de 16 métricas/datasets).
  • No VOC2007, superou o método líder anterior (HST) em 2,19% de mAP médio.
  • Notavelmente, usando apenas 10% dos dados de treinamento, a SCINet atingiu 92,32% de mAP, superando o HST em 8,02%, demonstrando alta eficiência em cenários com poucos dados anotados.

• Estudos de Ablação:

  • A adição do Prompter Bi-Dominante melhorou o mAP em 3,59%.
  • O módulo de Fusão Cross-Modalidade contribuiu com 3,90% de melhoria.
  • A estratégia de Aumento Semântico Intrínseco adicionou 1,76% de melhoria.

5. Significado e Conclusão

O trabalho da SCINet representa um avanço significativo no campo do aprendizado de máquina, especialmente para cenários onde a anotação de dados é escassa ou ruidosa.

• Inovação: Ao integrar o conhecimento de co-ocorrência semântica de modelos multimodais grandes (LLMs/VLMs) com técnicas de aumento de dados e fusão cross-modal, o método consegue "preencher" lacunas na matriz de rótulos de forma inteligente.
• Robustez: A estratégia demonstra ser particularmente eficaz em tarefas de classificação fina (fine-grained) e em cenários complexos com oclusões e fundos bagunçados.
• Impacto Futuro: O estudo sugere que a exploração de padrões de co-ocorrência e o uso de prompts aprendíveis são caminhos promissores para reduzir a dependência de grandes conjuntos de dados totalmente anotados, abrindo caminho para aplicações mais robustas em visão computacional do mundo real.

Em suma, a SCINet oferece uma nova perspectiva para resolver o desafio do PML, superando as limitações de métodos anteriores que negligenciavam as interações complexas entre instâncias e rótulos.