Resumo Técnico: TIGER

Declaração do Problema

O artigo aborda a alucinação de fidelidade na geração multimodal, onde uma saída fluente contém fatos específicos não sustentados pela entrada (por exemplo, uma imagem de dois caminhões descrita como tendo três). Embora os métodos de reparo iterativo existentes tentem corrigir esses erros gerando feedback condicionado tanto à entrada quanto à saída atual, os autores identificam um modo de falha crítico: correlações espúrias. Quando um gerador de feedback condiciona conjuntamente a entrada e a saída alucinada, as alegações alucinadas podem enviesar a interpretação do modelo sobre a entrada, fazendo com que o feedback endosse conteúdo não sustentado em vez de sinalizá-lo. Além disso, os métodos existentes frequentemente produzem feedback em linguagem natural de forma livre, o que carece de pontuações de risco explícitas ao nível de fato, tornando difícil priorizar reparos sob um orçamento de computação limitado.

Metodologia: TIGER

TIGER (Traceable Inference with Graph-Based Evidence Routing) é um framework de tempo de inferência projetado para mitigar alucinações através do redesenho do mecanismo de feedback. Ele opera em um modelo de backbone congelado e consiste em três componentes principais:

1. Projeção Atômica Independente:
   Em vez de processar a entrada e a saída conjuntamente, o TIGER as extrai independentemente em grafos de fatos estruturados:

   • Grafo de Observação ($G_X$): Extraído da entrada ($X$) usando um prompt que enumera fatos observáveis como triplas $(e_1, rel, e_2)$. Este grafo é computado uma vez e permanece fixo.
   • Grafo de Alegações ($G_{Y_t}$): Extraído da saída atual ($Y_t$) usando o mesmo prompt de extração atômica.
     Esta separação evita que as alegações alucinadas na saída influenciem a extração de fatos da entrada.

2. Classificação de Risco Determinística ao Nível de Fato:
   O TIGER computa uma pontuação de risco $r(f)$ para cada alegação $f$ em $G_{Y_t}$ com base em sua relação com $G_X$:

   • Pontuação de Suporte ($s(f)$): Mede a similaridade entre uma alegação e o fato de melhor correspondência em $G_X$. Para lidar com omissões de extração, esta pontuação é propagada ao longo de arestas de correferência em $G_{Y_t}$ com decaimento geométrico.
   • Pontuação de Conflito ($c(f)$): Mede a contradição mais forte entre uma alegação e $G_X$, definida por consistência de tópico e divergência de conclusão.
   • Cálculo de Risco: $r(f) = (1 - s(f)) + \lambda \cdot c(f)$.
     Como a pontuação é determinística, o sistema pode classificar as alegações e selecionar um subconjunto específico (top-$\lceil \alpha N \rceil$) para reparo, permitindo o escalonamento ao nível de fato.

3. Refinamento Localizado:
   O modelo realiza o reparo iterativo onde apenas as alegações de alto risco selecionadas são visadas. A etapa de refinamento ($Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$) utiliza a entrada bruta $X$ e a saída atual $Y_t$ para reparar localmente os trechos sinalizados, mantendo o backbone congelado.

Garantia Teórica:
O artigo fornece uma análise de convergência (Teorema 3.1) mostrando que, sob suposições leves (tamanho de grafo limitado, progresso de reparo por fato, efeitos colaterais limitados), o risco total esperado diminui geometricamente para um limite assintótico explícito.

Principais Contribuições

1. Identificação de Modos de Falha de Feedback: Os autores demonstram que o condicionamento conjunto na geração de feedback permite que alegações alucinadas enviesem a interpretação da entrada, levando ao reforço de erros.
2. Framework TIGER: Um novo framework de tempo de inferência que substitui o feedback conjunto de formato livre pela projeção atômica independente e classificação de risco determinística. Isso torna o feedback explícito, classificável e adequado para reparo localizado.
3. Avaliação Abrangente: O TIGER é avaliado em quatro caminhos de geração cross-modal:
   • Imagem $\to$ Texto (COCO, AMBER)
   • Imagem+Texto $\to$ Texto (MMHal-Bench)
   • Áudio $\to$ Texto (Clotho)
   • Vídeo $\to$ Texto (VideoHallucer)
     O framework utiliza o Qwen2.5-Omni como o backbone principal, com validação no LLaVA-1.5 e modelos proprietários.

Resultados Experimentais

• Redução de Alucinação: O TIGER reduz consistentemente as alegações não sustentadas (medidas por métricas como CHAIR, AEHR e HallucRate) em todas as modalidades. Por exemplo, no COCO com Qwen2.5-Omni, reduziu o CHAIRs de 0.070 para 0.050 e o CHAIRi de 0.069 para 0.035.
• Preservação de Qualidade: Diferente de alguns baselines que trocam fluência por acurácia, o TIGER preserva ou melhora a qualidade da tarefa (por exemplo, o BERTScore aumentou de 0.588 para 0.643 no COCO).
• Estudos de Ablação:
  • O reparo iterativo sozinho (sem extração independente) piorou o desempenho ao amplificar alucinações.
  • A adição da projeção atômica restaurou o desempenho.
  • A adição da classificação de risco determinística yielded os melhores resultados, confirmando que todos os três componentes são necessários.
• Análise de Mecanismo: Experimentos mostraram que a projeção atômica reduz a taxa de menção de objetos ausentes no feedback (de 5.0% no feedback conjunto para 2.0% no TIGER). Adicionalmente, a etapa de refinamento recuperou com sucesso fatos corretos que foram perdidos durante a extração inicial do grafo de entrada.
• Estudo de Caso Real: Em um cenário de relatório de crise multi-fonte (CrisisFACTS), o TIGER melhorou a precisão de 0.65 para 0.96 e o F1 de 0.66 para 0.74, demonstrando sua capacidade de fundamentar resumos em evidências multi-fonte ruidosas.

Significância e Alegações

O artigo afirma que o TIGER oferece uma solução robusta para o problema do "viés de feedback" no reparo multimodal iterativo. Ao desacoplar a observação da entrada da extração de alegações da saída e introduzir uma métrica de risco determinística e classificável, o TIGER permite reparos precisos e localizados sem exigir o ajuste fino do modelo. Os autores afirmam que essa abordagem se generaliza através de diferentes backbones e modalidades, reduzindo efetivamente as alucinações enquanto mantém a utilidade do conteúdo gerado. O trabalho sugere que o roteamento de evidência estruturado e baseado em grafos é um caminho viável para uma geração multimodal mais fiel em ambientes reais e ruidosos.

Limitações Notadas:
Os autores reconhecem que o TIGER foca em triplas fatuais localizadas, o que pode ser menos direto para conteúdo abstrato, causal ou subjetivo. Adicionalmente, a natureza iterativa adiciona computação em tempo de inferência, sugerindo a necessidade de trabalhos futuros sobre estratégias de escalonamento mais eficientes para implantação em tempo real.