Text-Guided Layer Fusion Mitigates Hallucination in Multimodal LLMs

O artigo apresenta o TGIF, um módulo leve que mitiga alucinações em modelos de linguagem multimodal ao realizar uma fusão dinâmica e guiada pelo texto das camadas do codificador visual, aproveitando a hierarquia de características visuais sem exigir atualizações no codificador.

O essencial

Imagine que você tem um detetive muito inteligente (o Modelo de Linguagem) que adora resolver mistérios, mas que nunca saiu de casa. Para investigar o mundo, ele usa óculos especiais (o Codificador de Visão) que mostram a ele o que está acontecendo.

O problema é que, até agora, esses óculos só mostravam uma única imagem final, um pouco borrada e cheia de "ideias" do que deveria estar lá, em vez dos detalhes reais.

O Problema: A Alucinação

Às vezes, o detetive olha para uma foto de um cachorro e, como ele sabe que cachorros geralmente têm coleiras, ele diz: "Vejo um cachorro com uma coleira vermelha!". Mas, na verdade, a coleira não existe na foto. O detetive "alucinou" porque confiou demais no que ele acha que deveria ver, em vez do que realmente vê.

Isso acontece porque os óculos do detetive eram configurados para mostrar apenas a última camada de processamento da imagem. Nessa camada final, a imagem está muito "resumida" e cheia de conceitos abstratos (como "é um animal"), mas perdeu os detalhes finos (como "não há coleira").

A Solução: O "Filtro Mágico" (TGIF)

Os autores deste paper criaram uma solução chamada TGIF (Fusão Inter-camadas Guiada por Texto). Pense nisso como um filtro mágico e inteligente que fica entre os óculos e o detetive.

Aqui está como funciona, usando uma analogia simples:

1. A Biblioteca de Camadas: Imagine que o processamento da imagem não é uma linha única, mas sim uma biblioteca com várias camadas de livros:

   • Camadas Rasas (Livros no chão): Mostram linhas, cores, bordas e texturas. São ótimos para ver detalhes pequenos (como letras em um letreiro).
   • Camadas Intermediárias (Livros nas prateleiras do meio): Mostram formas de objetos (é um copo? é uma cadeira?).
   • Camadas Profundas (Livros no teto): Mostram o significado geral e o contexto (é uma festa? é uma sala de aula?).

2. O Erro Antigo: Antes, o detetive só podia pegar o livro do teto (a camada profunda). Se ele precisava ler um número em um sinal, ele falhava, porque o livro do topo só dizia "é um sinal", sem os números. Se ele precisava saber se um objeto existia, ele podia inventar coisas porque o livro do topo era muito abstrato.

3. O Novo Filtro (TGIF): Agora, o TGIF é um bibliotecário superinteligente.

   • Quando o detetive faz uma pergunta, o bibliotecário ouve a pergunta e decide qual livro (qual camada da imagem) o detetive deve olhar.
   • Pergunta: "O que tem escrito no letreiro?" -> O bibliotecário pega os livros do chão (camadas rasas) para ver as letras.
   • Pergunta: "O que está acontecendo nesta festa?" -> O bibliotecário pega os livros do topo (camadas profundas) para entender o contexto.
   • Pergunta: "Tem um copo na mesa?" -> O bibliotecário pega os livros do meio para ver a forma do objeto.

Por que isso é genial?

• Não precisa de novos óculos: O bibliotecário não muda os óculos do detetive. Ele apenas decide qual parte da visão mostrar.
• Não custa mais energia: É muito leve, como um pequeno ajuste no roteiro, sem precisar de computadores gigantes extras.
• Para de alucinar: Como o detetive agora olha para os detalhes reais quando precisa deles, ele para de inventar coisas. Se não há copo na foto, ele olha as camadas que mostram os detalhes e diz: "Não, não tem copo", em vez de dizer "Tem, porque geralmente tem".

Em resumo

O paper diz: "Não force o cérebro a ver tudo de uma vez só de forma abstrata. Deixe-o olhar para os detalhes ou para o todo, dependendo do que você está perguntando."

O TGIF é esse "olhar flexível" que torna a inteligência artificial mais honesta, precisa e menos propensa a mentir sobre o que ela vê.

Resumo técnico

Título: Fusão de Camadas Guiada por Texto Mitiga Alucinações em Modelos de Linguagem Multimodais (MLLMs)

1. O Problema

Os Modelos de Linguagem Multimodais (MLLMs), como o LLaVA, combinam codificadores de visão (ex: CLIP) com Grandes Modelos de Linguagem (LLMs). Apesar de seu sucesso, eles sofrem persistentemente de alucinações: geram respostas confiantes, mas visualmente não fundamentadas (inconsistentes com a imagem), muitas vezes baseadas em priores linguísticos em vez de evidências visuais.

A causa raiz identificada pelos autores é a arquitetura padrão dos MLLMs, que tipicamente extrai recursos visuais de uma única camada fixa e tardia (geralmente a penúltima) do codificador de visão (Vision Transformer - ViT) e os projeta para o espaço do LLM.

• Limitação: Camadas tardias capturam semântica global, mas perdem detalhes espaciais e texturas finos. Camadas rasas mantêm detalhes, mas carecem de abstração semântica.
• O Dilema: Nenhuma camada única é ideal para todas as consultas. Dependendo da tarefa (ex: detectar um objeto específico vs. descrever uma cena), a profundidade ideal dos recursos visuais varia. Fixar uma camada leva a sub-reconhecimento ou alucinação.

2. Metodologia: TGIF (Text-Guided Inter-layer Fusion)

Os autores propõem o TGIF, um módulo arquitetural leve que permite a fusão dinâmica de recursos visuais de múltiplas camadas do codificador de visão, guiada pela entrada de texto.

Arquitetura Principal:

1. Codificador de Visão Congelado: O ViT (ex: CLIP) processa a imagem e gera representações hierárquicas de todas as suas camadas ($L$ camadas).
2. Roteador (Router) Guiado por Texto:
   • Em vez de usar uma camada fixa, um roteador leve (baseado em MLP) analisa o embedding do texto (a pergunta ou instrução).
   • O roteador prevê uma distribuição de pesos (probabilidades) para cada camada do ViT.
   • Existem duas variantes exploradas:
     • Roteador Apenas de Texto: Usa apenas o embedding da pergunta.
     • Roteador Multimodal: Usa o embedding da pergunta + uma representação global da imagem (token [CLS] da camada penúltima).
3. Fusão Dinâmica: Os recursos visuais de todas as camadas são somados ponderadamente pelos pesos gerados pelo roteador para criar um recurso visual fundido ($F_{fused}$).
4. Projetor Leve: O recurso fundido é projetado no espaço de embeddings do LLM para gerar a resposta.

Mecanismo de Treinamento (Loss de Balanceamento de Carga):

Para evitar que o roteador colapse e selecione sempre as mesmas "camadas seguras" (problema comum em Mixture-of-Experts), os autores introduzem uma função de perda auxiliar baseada em entropia.

• Esta perda incentiva o roteador a usar uma distribuição mais uniforme das camadas durante o pré-treinamento, garantindo que o modelo explore diferentes níveis de abstração antes de aprender a selecionar especificamente durante o ajuste fino (fine-tuning).

3. Contribuições Principais

1. Identificação de uma Limitação Crítica: Demonstraram que a escolha de uma única camada tardia de visão é inadequada para tarefas sensíveis a detalhes e exacerba alucinações sob fortes priores linguísticos.
2. Proposta do TGIF: Um módulo de fusão inter-camadas guiado por texto que é:
   • Leve: Não modifica o codificador de visão nem o LLM.
   • Eficiente: Não aumenta o orçamento de tokens (número de tokens visuais).
   • Adaptativo: Ajusta o nível de abstração visual dinamicamente para cada consulta.
3. Resultados Empíricos: Evidência robusta de que o controle dinâmico da profundidade dos recursos visuais melhora a fundamentação visual (grounding) sem sacrificar o raciocínio geral.

4. Resultados Experimentais

O modelo foi avaliado sobre a base LLaVA-1.5-7B em diversos benchmarks:

• Redução de Alucinação:
  • POPE: Aumentou a precisão (Accuracy) para 87.91% (vs. 86.85% do baseline) e o F1-score para 86.23%. Superou métodos de mitigação baseados em decodificação (como VCD, OPERA).
  • HallusionBench: Alcançou 49.94% de precisão global, superando o LLaVA-1.5 (46.90%) e modelos maiores de 13B parâmetros.
• Percepção de Detalhes e OCR:
  • OCRBench: Melhoria de +16 pontos no score final, impulsionada por melhor reconhecimento de texto e VQA de documentos. Isso confirma que a fusão de camadas rasas/médias ajuda a capturar traços de texto e bordas.
  • TextVQA: Melhoria consistente na precisão.
• Raciocínio Geral:
  • O modelo manteve desempenho competitivo em benchmarks gerais (ScienceQA, GQA, MMBench), demonstrando que a fusão dinâmica não degrada a capacidade de raciocínio de alto nível.
• Análise de Comportamento do Roteador:
  • Visualizações mostram que o roteador aprende padrões semânticos:
    • Para perguntas de detecção de alucinação, ele pondera mais as camadas iniciais (detalhes espaciais/bordas) para verificar a existência real de objetos.
    • Para perguntas de OCR/detalhe, foca em camadas médias/tardias que contêm traços estruturais de texto.
    • Para perguntas gerais, usa uma mistura ampla para compreensão holística.

5. Significância e Impacto

O trabalho é significativo porque muda o paradigma de como os MLLMs lidam com a visão:

• Do Estático para o Dinâmico: Em vez de projetar uma representação visual fixa, o TGIF permite que o modelo "escolha" o nível de detalhe visual necessário para responder a uma pergunta específica.
• Eficiência: Oferece ganhos de desempenho significativos sem o custo computacional de treinar novos codificadores de visão ou aumentar a complexidade da arquitetura de forma massiva.
• Confiabilidade: Demonstra que a alucinação pode ser mitigada na camada de representação (antes da geração de texto), tornando os modelos mais confiáveis para aplicações críticas que exigem precisão factual visual.

Em resumo, o TGIF prova que a fundamentação visual (visual grounding) pode ser drasticamente melhorada através do controle adaptativo da profundidade dos recursos visuais, alinhando a abstração da visão com a intenção linguística da consulta.