HANCLIP: A Family of Hyperbolic Angular Negation Vision Language Models

Resumo Técnico: HANCLIP – Uma Família de Modelos de Linguagem-Visão de Negação Angular Hiperbólica

Declaração do Problema
Os Modelos de Linguagem-Visão (VLMs), apesar de seu forte desempenho em tarefas padrão de recuperação e classificação, exibem uma fragilidade significativa ao processar negação. Os modelos atuais frequentemente dependem de coocorrências superficiais entre palavras e objetos em vez de um raciocínio lógico profundo, o que os leva a atribuir pontuações de similaridade elevadas tanto para legendas afirmativas quanto para negadas (por exemplo, falhando em distinguir entre "um gato ao lado de uma macieira" e "um gato ao lado de uma cadeira, não de uma macieira"). As soluções existentes que tentam abordar isso por meio de conjuntos de dados especializados e objetivos contrastivos normalmente exigem o retreinamento em larga escala, o que acarreta o risco de esquecimento catastrófico do conhecimento previamente adquirido e degrada o desempenho em benchmarks padrão. Além disso, muitas abordagens têm dificuldade em modelar a natureza composicional da negação visual, que requer o raciocínio sobre relações de objetos e alternativas, em vez de uma simples inversão lexical.

Metodologia
Os autores introduzem o HANCLIP (Hiperbólico + Angular + Negação), um framework projetado para reestruturar o espaço de incorporação (embedding) para codificar explicitamente "o que uma imagem não é" juntamente com "o que ela é". A abordagem é agnóstica ao modelo e pode ser aplicada a backbones pré-treinados como CLIP, LongCLIP, SmartCLIP e HiMo-CLIP usando um conjunto compacto de 20.000 quadrupletos imagem-texto $(I, P, P', N)$, onde $I$ é a imagem, $P$ é a legenda positiva, $P'$ é a legenda negativa-positiva e $N$ é a legenda negativa verdadeira.

A metodologia baseia-se em dois componentes principais:

1. Objetivo Contrastivo Hiperbólico (HCO):
   Utilizando o modelo da bola de Poincaré da geometria hiperbólica, o HCO aproveita a propriedade de que as distâncias crescem exponencialmente com o raio para modelar relações semânticas hierárquicas e assimétricas. Diferente do aprendizado contrastivo euclidiano padrão, que trata todos os pares não correspondentes como negativos implícitos, o HCO incorpora explicitamente legendas negativas verdadeiras ($N$) no denominador da perda (loss).

   • Mecanismo: Ele impõe uma hierarquia onde a imagem $I$ e suas legendas afirmativas/negativas-positivas ($P, P'$) são incorporadas mais próximas ao centro do espaço hiperbólico, enquanto as negativas semanticamente incompatíveis ($N$) são empurradas em direção à fronteira.
   • Termos de Perda: O objetivo consiste em três termos: alinhar $P'$ com $I$; garantir que $I$ esteja mais próxima de $P'$ do que de qualquer $N$; e alinhar $P'$ com $P$ enquanto os separa de $N$.

2. Perda de Negação de Triplet Angular (ATNL):
   Este componente opera em direções relativas em vez de distâncias absolutas para impor consistência geométrica entre o triplet $(P, P', N)$.

   • Alinhamento Positivo ($L_{pos}$): Usando a legenda negativa $N$ como âncora, este termo minimiza o ângulo entre os vetores $\vec{NP}$ e $\vec{NP'}$. Isso garante que a legenda negativa-positiva $P'$ esteja em uma direção semântica similar à legenda positiva verdadeira $P$ quando vista a partir da âncora negativa.
   • Separação Negativa ($L_{neg}$): Usando a legenda negativa-positiva $P'$ como âncora, este termo maximiza o ângulo entre os vetores $\vec{P'P}$ e $\vec{P'N}$, afastando o positivo verdadeiro do negativo no espaço de características (feature space).
   • Perda Total: O objetivo final de treinamento é uma soma ponderada: $L_{final} = L_{hc} + \alpha L_{at}$.

3. Mitigação de Esquecimento via LoRA:
   Para evitar a degradação das capacidades pré-treinadas, o framework utiliza a Adaptação de Baixo Rank (LoRA). Os pesos do backbone pré-treinado são congelados, e a adaptação específica da tarefa é roteada através de ramos pequenos de baixo rank. Este design modular permite que o modelo acumule habilidades de negação sem sobrescrever o subespaço usado para recuperação e classificação geral.

Principais Contribuições

• Modelagem de Negação Hiperbólica: O artigo propõe a primeira aplicação da geometria hiperbólica especificamente para resolver a compreensão de negação em VLMs, aproveitando métricas não euclidianas para separar melhor os clusters semânticos afirmativos e negativos.
• Perda de Triplet Angular (ATNL): Uma nova função de perda bifocal que simultaneamente atrai os positivos verdadeiros e os negativos-positivos, enquanto empurra os negativos para longe, baseando-se no alinhamento angular em vez de apenas distância.
• Eficiência de Dados e Desempenho: O framework alcança melhorias significativas usando apenas 20.000 amostras de treinamento (um pequeno subconjunto do CC-Neg), evitando a necessidade de retreinamento massivo.
• Agnosticismo de Modelo: O método é aplicado com sucesso a quatro arquiteturas distintas de VLM (CLIP, LongCLIP, SmartCLIP, HiMo-CLIP) sem retreinamento de larga escala.

Resultados Experimentais
Experimentos extensivos foram conduzidos no benchmark NegBench (abrangendo Recuperação Negativa e Perguntas de Múltipla Escolha Zero-shot) e em conjuntos de dados padrão de recuperação/classificação (ImageNet, COCO, Flickr30k, Urban1k, ShareGPT4V).

• Desempenho de Negação: O HANCLIP entrega ganhos consistentes no NegBench.
  • Recuperação Negativa: O framework melhora o score rSum geral em aproximadamente 5%–10% em todos os backbones testados. Por exemplo, o SmartCLIP-L melhorou seu rSum de 427.49 para 438.51.
  • Perguntas de Múltipla Escolha (MCQ): Há um aumento médio de quase 35% nas tarefas de MCQ. O framework mostra força particular em questões "Híbridas" (ex: "A mas não B"), onde melhora o desempenho significativamente mais do que em questões puramente "Negadas", sugerindo melhores capacidades de raciocínio relativo.
• Preservação de Capacidades Gerais:
  • Classificação: O desempenho em ImageNet, CIFAR-10 e CIFAR-100 permanece amplamente inalterado (variações dentro de $\pm 0.3\%$), com algumas variantes mostrando leves melhorias, indicando que a reformulação geométrica não prejudica o reconhecimento base.
  • Recuperação: Tarefas padrão de recuperação de texto curto e longo geralmente veem o desempenho mantido ou melhorado. Notavelmente, a recuperação Imagem-para-Texto (I2T) melhora consistentemente, enquanto Texto-para-Imagem (T2I) mostra resultados mistos, mas geralmente estáveis.
• Estudos de Ablação: O Objetivo Contrastivo Hiperbólico (HCO) é identificado como o principal motor para a melhoria no tratamento da negação, enquanto a Perda de Triplet Angular (ATNL) fornece um refinamento adicional, particularmente para tarefas de MCQ.
• Impacto do LoRA: Adaptar apenas o codificador de texto produz os maiores ganhos de negação, enquanto a adaptação conjunta visual-texto ("V+T") oferece o melhor equilíbrio entre o desempenho de negação e a estabilidade de recuperação de texto longo.

Significância
O artigo afirma que o HANCLIP demonstra que um objetivo geométrico cuidadosamente desenhado pode estender substancialmente as capacidades de raciocínio de VLMs existentes sem exigir retreinamento de larga escala ou causar esquecimento catastrófico. Ao injetar estrutura lógica diretamente na geometria do espaço de incorporação, o framework oferece uma maneira fundamentada de melhorar a sensibilidade à negação enquanto preserva a estrutura global das representações pré-treinadas. Os resultados sugerem que geometrias não euclidianas e restrições angulares são ferramentas eficazes para abordar a "fragilidade" dos VLMs no tratamento de operações lógicas complexas como a negação.