Resumo Técnico: YARD – Decodificação de Registro de Arquitetura em Y para Mitigação Eficiente de Alucinações

1. Declaração do Problema

Grandes Modelos de Linguagem-Visão (LVLMs) frequentemente sofrem de alucinações, gerando texto que é semanticamente plausível, mas inconsistente com a entrada visual (ex: objetos inexistentes, atributos incorretos ou relações espaciais não suportadas). Embora a Decodificação Contrastiva (CD) ofereça uma solução livre de treinamento ao contrastar um ramo de modelo "limpo" com um ramo "degradado" para suprimir logits propensos a alucinações, os métodos existentes enfrentam dois dilemas críticos:

1. Ramos Degradados Sub-ótimos:
   • Abordagens apenas de texto: Remover completamente os tokens visuais reduz o ramo degradado a um modelo de prior linguístico. Isso induz alucinações baseadas em priors genéricos que podem não se alinhar com a imagem de entrada específica, falhando em isolar alucinações específicas da imagem.
   • Degradação ao nível de pixel: Corromper imagens de entrada (ex: adicionar ruído) oferece um controle grosseiro. Como as características visuais (cor, textura, limites) estão fortemente entrelaçadas no espaço de pixel, essas perturbações frequentemente falham em isolar a evidência local responsável pelas alucinações e, em vez disso, contaminam os logits degradados com sinais visuais genuínos.
2. Latência de Inferência: A maioria dos métodos de CD existentes requer duas passagens completas (uma para o ramo limpo, uma para o ramo degradado), aumentando significativamente a latência de inferência.

2. Metodologia: YARD

Os autores propõem o YARD (Y-Architecture Register Decoding), um framework livre de treinamento que constrói um ramo degradado internamente dentro do decodificador do LLM. O método é impulsionado por duas observações fundamentais sobre o fluxo de informação cross-modal:

A. Onde Degradar: A Janela da Camada Intermediária

Análises de atenção texto-visão e experimentos de intervenção revelam que:

• Camadas rasas: A atenção é difusa e facilmente distraída.
• Camadas profundas: A evidência visual relevante para a tarefa já foi amplamente integrada nas representações do lado do texto; perturbar os tokens de visão aqui tem impacto mínimo nas predições finais.
• Camadas intermediárias: Esta é a janela crítica onde o grounding visual confiável emerge, e os tokens de texto começam a adquirir evidência visual local antes da integração total.
  Estratégia YARD: O framework compartilha as camadas rasas do decodificador entre os ramos limpo e degradado e divide (ramifica) exatamente em uma camada intermediária (ex: camada 10 em um modelo de 25 camadas). Isso permite que o ramo degradado herde o contexto multimodal inicial, enquanto evita a integração total da evidência local detalhada.

B. Como Degradar: Degradação de Nível de Característica Baseada em Registros

Em vez de corromper a imagem de entrada ou remover tokens inteiramente, o YARD constró a uma condição degradada no nível de característica:

• Tokens de Registro: O YARD utiliza tokens de registro (propostos originalmente para absorver artefatos de outliers de alta norma em Vision Transformers). Esses tokens são construídos em tempo de teste redirecionando ativações anômalas de MLP para um token anexado.
• O Mecanismo de Degradação:
  • Ramo Limpo: Mantém os tokens de patch originais ($Z$) e os tokens de registro ($R$).
  • Ramo Degradado: Descarta os tokens de patch detalhados ($Z$) e depende apenas dos tokens de registro ($R$) e dos tokens de texto ($T$).
• Efeito: Os tokens de registro preservam a semântica global grosseira da imagem (mantendo o ramo "consciente da imagem"), mas carecem de correspondência local detalhada (tornando-o "localmente sub-grounded"). Isso cria um sinal contrastivo que expõe componentes propensos a alucinação sem o mismatch de modalidade extrema dos ramos apenas de texto ou o ruído da corrupção de nível de pixel.

C. Arquitetura em Y para Eficiência

Ao compartilhar o computo das camadas rasas ($1$a$K$) antes da divisão, o YARD evita a custosa segunda passagem completa exigida por métodos de contraste de nível de entrada. Os ramos divergem apenas para as camadas restantes ($K+1$ a $D$).

O logit final é computado como:
$$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$$
onde $\ell^c$ e $\ell^d$ são os logits dos ramos limpo e condicionado ao registro, respectivamente.

3. Principais Contribuições

1. Degradação de Nível de Característica Baseada em Registro: Introduz um novo método para construir um ramo contrastivo consciente da imagem, mas localmente sub-grounded, sem corromper a entrada visual, utilizando tokens de registro para preservar a semântica global enquanto remove a evidência local.
2. Análise da Pureza do Ramo Degradado: Demonstra através de ablação que a degradação de nível de característica (especificamente Informação Global via registros) expõe um sinal de alucinação mais puro do que a degradação apenas de texto ou de nível de pixel, conforme evidenciado por métricas de alucinação mais baixas quando o ancoramento conservador do logit limpo ($\alpha$) é removido.
3. Framework YARD: Apresenta um framework de decodificação eficiente de Arquitetura em Y, livre de treinamento, que mitiga consistentemente alucinações em múltiplos LVLMs enquanto reduz significativamente a latência de inferência em comparação com métodos de dupla passagem.

4. Resultados Experimentais

O YARD foi avaliado em benchmarks tanto generativos (AMBER, Object HalBench, MME-Hallucination) quanto discriminativos (AMBER Discrimination, POPE) usando diversos backbones (LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini).

• Desempenho Generativo: No LLaVA-1.5-7B, o YARD reduziu as pontuações do Object HalBench (CHs/CHi) de 27.0/10.5 para 19.7/6.5, superando métodos de estado da arte como OPERA, VCD e FuzzyCD. Também alcançou as melhores pontuações de percepção de cor no MME-Hallucination, indicando preservação da capacidade visual.
• Desempenho Discriminativo: O YARD melhorou a precisão/F1 do AMBER de 67.00/71.10 para 78.70/84.10 e a precisão/F1 do POPE de 83.93/82.24 para 86.14/85.85 no LLaVA-1.5.
• Transferibilidade: O método demonstrou melhorias consistentes em todas as arquiteturas testadas, incluindo Qwen3-VL e LLaVA-NeXT, sugerindo que captura uma propriedade geral da decodificação de LVLM em vez de ser específica de uma arquitetura.
• Estudos de Ablação: Confirmou que ramificar na camada intermediária (ex: $K=10$) é crítico; ramificar muito cedo ou muito tarde produz resultados sub-ótimos. A degradação baseada em registro superou as variantes de degradação de característica "Média" e "Apenas Texto".

5. Significância e Alegações

O artigo afirma que o YARD aborda o trade-off fundamental na decodificação contrastiva: a necessidade de um ramo degradado que seja suficientemente diferente para expor alucinações, mas suficientemente alinhado com a imagem para evitar priors linguísticos genéricos. Ao mover a degradação para um espaço estruturado de nível de característica dentro do decodificador, o YARD alcança:

• Sinais Contrastivos Fiéis: O design "global-mas-local-ausente" suprime efetivamente predições que são plausíveis sob um grounding local fraco, mas não suportadas pela evidência visual limpa.
• Eficiência: A arquitetura em Y elimina a necessidade de uma segunda passagem completa, tornando-o uma solução prática para implementação.
• Generalidade: A abordagem não está presa a arquiteturas de modelos específicos, ofereando um heurístico livre de treinamento geral para mitigação de alucinações.

Os autores observam limitações quanto à dependência da construção de representações de registro eficazes para LVLMs específicos baseados em Transformer e a sensibilidade à escolha da camada de ramificação, sugerindo trabalhos futuros para adaptar esses mecanismos a arquiteturas multimodais mais amplas.