Hallucination-aware intermediate representation edit in large vision-language models

1. O Problema: Alucinação em LVLMs

Os Grandes Modelos Visuais-Linguísticos (LVLMs) têm demonstrado desempenho excepcional em raciocínio multimodal e compreensão de cenas complexas. No entanto, eles sofrem de um problema crítico conhecido como alucinação, onde o modelo gera respostas que contradizem o conteúdo visual real da imagem (ex: descrever objetos que não existem).

As abordagens existentes para mitigar esse problema enfrentam limitações significativas:

• Métodos de Retreinamento: Exigem a construção de conjuntos de dados especializados e recursos computacionais massivos para fine-tuning (parcial ou total) do modelo, o que é caro e pouco escalável.
• Decodificação Contrastiva (CD): Métodos como VCD ou SID mitigam alucinações durante a inferência comparando distribuições de probabilidade originais com versões perturbadas. Embora evitem o retratamento, eles introduzem uma sobrecarga computacional dupla (duas passagens de frente por inferência), aumentando a latência. Além disso, ajustam uniformemente todos os tokens, mesmo aqueles que não são propensos a alucinar, o que pode prejudicar a coerência do texto.
• Falta de Controle: A maioria dos métodos não permite um controle flexível sobre o nível de alucinação, o que é necessário em cenários onde uma certa criatividade (alucinação controlada) é desejada, como em escrita criativa.

2. Metodologia: HIRE (Hallucination-aware Intermediate Representation Edit)

O artigo propõe o HIRE, um framework inovador que detecta e mitiga alucinações editando as representações intermediárias do modelo, sem alterar seus pesos e sem exigir retratamento. O método opera em uma única passagem de inferência.

O framework consiste em três componentes principais:

A. Editor (Editor de Representações)

O objetivo é aprender a separar informações semânticas verdadeiras de padrões de alucinação.

• Arquitetura: Utiliza um autoencoder de dupla codificação ($G_\phi$) composto por um codificador semântico ($E_{sem}$) e um codificador de alucinação ($E_{hal}$), seguidos por um módulo de atenção e um decodificador.
• Mecanismo: O modelo processa as representações de atenção de cada camada para extrair componentes semânticos e componentes de alucinação.
• Direção de Edição: O Editor calcula uma direção de redução de alucinação ($\delta_l$) analisando a divergência entre representações de respostas autênticas e alucinadas. Ele gera uma direção de edição específica para cada token ($\Delta_{tl}$) que projeta as características em um espaço de baixa alucinação, preservando a integridade semântica.

B. Router (Roteador de Decisão)

Para evitar a edição desnecessária de tokens que não estão alucinando (o que causaria sobrecarga computacional), o HIRE introduz um módulo leve.

• Função: Um MLP simples que analisa a representação da primeira camada do transformador para decidir se a edição é necessária para os tokens subsequentes.
• Eficiência: Se o sinal de decisão for negativo, nenhuma edição é realizada. Isso reduz significativamente o custo computacional, editando apenas os tokens de alto risco.

C. Regulador de Alucinação (Hallucination Regulator)

O método introduz um hiperparâmetro $\alpha$ (força de edição) que permite o controle dinâmico do nível de alucinação:

• $\alpha > 0$: Suprime alucinações (direciona as características para o espaço de baixa alucinação).
• $\alpha < 0$: Amplifica alucinações (útil para tarefas criativas).
• $\alpha = 0$: Sem edição.

D. Treinamento e Otimização

Como não há dados rotulados de "alucinação vs. verdade" para cada token, o HIRE utiliza duas estratégias de aprendizado:

1. Aprendizado Contrastivo (para o Editor): Utiliza pares de amostras (imagem original vs. imagem perturbada visualmente) para ensinar o codificador semântico a manter a semântica e o codificador de alucinação a separar os padrões de erro.
2. Otimização Direta de Preferência (DPO - para o Router): Treina o Router para maximizar a probabilidade de decisões de edição que resultam em respostas mais fiéis (baseadas na métrica CHAIRI) e minimizar edições ineficazes, sem a necessidade de um modelo de referência (reference-free).

3. Principais Contribuições

1. Novo Paradigma de Mitigação: Propõe a edição de representações intermediárias em vez de retratamento ou decodificação contrastiva, eliminando a necessidade de retratamento pesado e reduzindo a sobrecarga de inferência para uma única passagem.
2. Controle Granular e Dinâmico: Introduz a capacidade de controlar a intensidade da alucinação via hiperparâmetro $\alpha$, adaptando-se a diferentes necessidades do usuário (precisão estrita vs. criatividade).
3. Eficiência Computacional: O uso do Router permite edição seletiva apenas em tokens de alto risco, reduzindo o custo computacional em comparação com métodos que editam tudo ou exigem duas passagens.
4. Desempenho SOTA: Alcança o estado da arte em benchmarks padrão sem sacrificar as capacidades gerais do modelo.

4. Resultados Experimentais

Os autores avaliaram o HIRE em três benchmarks principais: CHAIR (descrição de imagens), POPE (pergunta e resposta objetiva) e AMBER (avaliação multidimensional).

• Benchmarks de Geração (CHAIR):
  • No modelo LLaVA-1.5, o HIRE reduziu as alucinações em nível de frase (CHAIRS) em ~40% e em nível de instância (CHAIRI) em ~50% em comparação com a linha de base.
  • Superou métodos concorrentes como VCD, OPERA, SID e Octopus, mantendo um custo de inferência muito baixo (apenas ~11.81 TFLOPs para LLaVA-1.5, comparável à linha de base, enquanto métodos CD exigem ~20 TFLOPs).
• Benchmarks Discriminativos (POPE e AMBER):
  • O HIRE alcançou os melhores resultados em precisão e F1-score no POPE e no AMBER, demonstrando que a edição de características não degrada a capacidade de discriminação do modelo.
• Controle de Alucinação:
  • Experimentos mostraram uma correlação forte e controlável entre o valor de $\alpha$ e a taxa de alucinação, permitindo ajustar o modelo para gerar respostas mais conservadoras ou mais criativas sob demanda.
• Generalização:
  • O método funcionou bem em diferentes arquiteturas (Qwen-2.5-VL, TinyLLaVA) e escalas de modelos, indicando robustez e generalização.

5. Significado e Conclusão

O HIRE representa um avanço significativo na área de LVLMs ao oferecer uma solução eficiente, controlável e sem necessidade de retratamento para o problema de alucinação.

• Viabilidade Prática: Ao evitar o retratamento e a dupla inferência, o método torna a mitigação de alucinações acessível para aplicações em tempo real e em ambientes com recursos limitados.
• Flexibilidade: A capacidade de ajustar o nível de alucinação abre novas portas para aplicações onde a "verdade estrita" não é o único objetivo, permitindo o uso de LVLMs em contextos criativos e narrativos.
• Futuro: O trabalho sugere que a edição de representações intermediárias é uma via promissora para intervenções em modelos de IA, e os autores planejam explorar a seleção de camadas críticas para melhorar ainda mais a eficiência de dados no futuro.

Em resumo, o HIRE demonstra que é possível corrigir alucinações em modelos visuais-linguísticos complexos de forma leve e precisa, editando diretamente o "pensamento" do modelo (suas representações internas) em vez de apenas ajustar sua saída final ou reeducá-lo do zero.