TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection

1. O Problema

Os Modelos Grandes de Visão e Linguagem (LVLMs) demonstraram capacidades notáveis, mas sofrem de um problema crítico: alucinações. Isso ocorre quando o modelo gera informações factuais incorretas ou inventadas sobre a imagem.

• Causa Identificada: Os autores observaram que, durante o processo de geração de texto token por token, a atenção do modelo aos tokens de imagem decai progressivamente. Quando a atenção visual diminui, o modelo passa a depender excessivamente de priores linguísticos (o que ele "acha" que deve ser dito), gerando alucinações.
• Limitações das Soluções Atuais:
  • Métodos baseados em treinamento: Exigem grandes recursos computacionais e retreinamento extensivo.
  • Métodos sem treinamento (inference-time): Técnicas como decodificação contrastiva (ex: VCD) ou mecanismos de backtracking (ex: OPERA) são eficazes, mas introduzem uma sobrecarga computacional e de latência significativa (alguns aumentam o tempo de inferência em mais de 7x), limitando sua aplicação prática.

2. Metodologia: TARAC

O TARAC (Temporal Attention Real-time Accumulative Connection) é uma nova estrutura sem treinamento (training-free) projetada para combater o decaimento da atenção visual. Inspirado no mecanismo de reforço cognitivo e na curva de esquecimento de Ebbinghaus, o TARAC atua como um módulo leve e "plug-and-play".

O funcionamento ocorre em três etapas principais durante a geração de cada token:

1. Acumulação de Atenção Temporal:

   • O sistema monitora a atenção do token atual gerado em relação aos tokens da imagem.
   • Em vez de usar apenas a atenção do momento atual, o TARAC mantém uma distribuição de atenção acumulada historicamente.
   • Utiliza um fator de atualização de memória ($\alpha$) para combinar a atenção atual com a acumulada anteriormente. Isso simula um mecanismo onde informações visuais recentes são priorizadas, mas o contexto visual anterior não é totalmente descartado, prevenindo o esquecimento rápido.
   • A função de agregação utiliza o valor máximo entre as cabeças de atenção para destacar as informações visuais mais proeminentes.

2. Injeção de Atenção Acumulada:

   • A atenção acumulada histórica é realimentada (re-injetada) no processo de inferência do token atual.
   • Um coeficiente ($\beta$) controla a força dessa injeção, garantindo que o modelo mantenha o foco no conteúdo visual sem dominar completamente a geração (o que causaria repetição).

3. Re-normalização:

   • Após a injeção, a matriz de atenção é re-normalizada (normalização por soma de linhas) para manter as propriedades matemáticas do modelo, preservando a distribuição original de atenção enquanto reforça a conexão com a imagem.

3. Principais Contribuições

1. Novo Framework Sem Treinamento: O TARAC é a primeira abordagem a mitigar alucinações combatendo especificamente o decaimento temporal da atenção visual através de acumulação dinâmica, sem necessidade de retreinamento do modelo.
2. Eficiência Excepcional: Diferente de métodos concorrentes que exigem múltiplas passagens de forward ou backtracking, o TARAC adiciona apenas ~4% de sobrecarga no tempo de inferência (TPOT) e uma sobrecarga de memória de GPU quase nula (~0.02 MB).
3. Aplicabilidade Geral: Funciona como um módulo plug-and-play em diversas arquiteturas de LVLM (LLaVA-1.5, Qwen2-VL, InternVL2) sem modificações específicas na arquitetura.
4. Validação Empírica: Demonstra melhorias consistentes em benchmarks variados, superando o estado da arte (SOTA).

4. Resultados Experimentais

Os testes foram realizados em modelos como LLaVA-1.5, Qwen2-VL e InternVL2, utilizando benchmarks como CHAIR, AMBER, SHR e MME.

• Redução de Alucinações (CHAIR):
  • Redução de 25.2% nas frases alucinadas (CS) e 16.6% nos objetos alucinados (CI) em comparação com o método VCD.
  • Desempenho superior ao OPERA e AGLA em todas as métricas.
• Melhoria na Percepção (MME):
  • Aumento de +10.65 na pontuação de Percepção no benchmark MME para o modelo Qwen2-VL, indicando uma melhor discriminação visual.
• Eficiência Computacional:
  • Enquanto métodos como OPERA aumentam a latência em 7.79x e VCD/AGLA em ~2.2x, o TARAC mantém o aumento de tempo em apenas 4%.
  • Consumo de memória quase zero comparado aos gigabytes adicionais exigidos por outros métodos.
• Qualidade do Texto:
  • Análise de perplexidade mostrou que a mitigação de alucinações não comprometeu a fluência do texto. O TARAC produziu textos com qualidade linguística superior ou equivalente aos métodos baseados em beam search, mantendo a precisão factual.

5. Significado e Conclusão

O TARAC representa um avanço significativo na viabilidade prática de LVLMs. Ao identificar que a perda de atenção visual ao longo do tempo é uma causa fundamental de alucinações, o trabalho oferece uma solução elegante e computacionalmente barata.

• Impacto Prático: Permite a implantação de modelos de visão-linguagem mais confiáveis em cenários do mundo real onde a latência e o custo computacional são críticos.
• Direção Futura: Os autores sugerem que o uso de hiperparâmetros fixos é uma limitação atual e planejam explorar ajustes adaptativos de parâmetros e integração com métodos de alinhamento baseados em treinamento.

Em resumo, o TARAC oferece um equilíbrio ideal entre precisão factual, eficiência de inferência e qualidade de geração, estabelecendo um novo padrão para a mitigação de alucinações em modelos multimodais.