Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time

Resumo Técnico: Mitigação de Alucinações em LLMs Multimodais via Propagação de Relevância no Momento da Inferência

Declaração do Problema
Os Modelos de Linguagem Grandes Multimodais (MLLMs) demonstraram capacidades significativas na integração de linguagem com entradas perceptivas, como imagens e áudio. No entanto, uma limitação crítica persiste: esses modelos frequentemente sofrem de alucinações, gerando saídas inconsistentes com ou não apoiadas pela evidência perceptiva fornecida. Os autores postulam que esse fenômeno decorre de um desequilíbrio inerente na utilização de modalidades durante a inferência. Especificamente, os tokens textuais tendem a dominar o processo de geração, enquanto os tokens visuais ou auditivos recebem atenção insuficiente. Consequentemente, os modelos frequentemente dependem de fortes priores linguísticos textuais em vez de evidências perceptivas fundamentadas, levando a descrições plausíveis, mas factualmente incorretas, de objetos ou eventos inexistentes.

Metodologia: Aprendizado de Aprimoramento de Modalidade no Momento da Inferência (LIME)
Para abordar esse desequilíbrio sem modificar os parâmetros do modelo subjacente ou exigir dados de treinamento adicionais, os autores propõem o LIME, um framework livre de treinamento que opera no momento da inferência. O método fundamenta-se em uma análise de interpretabilidade usando Propagação de Relevância por Camadas (LRP).

1. Análise LRP: Os autores empregam LRP para decompor as previsões do modelo em contribuições aditivas de tokens de entrada individuais. Sua análise revela um viés sistemático no qual tokens textuais recebem pontuações de relevância significativamente mais altas do que tokens de modalidade, mesmo em tarefas criticamente dependentes de entrada perceptiva.
2. Otimização no Momento da Inferência: O LIME intervém diretamente nas representações chave-valor (KV) do modelo durante o processo de decodificação. Em vez de ajustar pesos, ele otimiza iterativamente atualizações aditivas ($\Delta K, \Delta V$) aos tensores de chave e valor em cada etapa de decodificação.
3. Função Objetivo: A otimização visa deslocar a atenção do modelo em direção aos tokens de modalidade, preservando os priores linguísticos originais do modelo. Isso é alcançado minimizando uma função de perda composta:
   • Objetivo de Relevância ($\mathcal{L}_{rel}$): Inspirado na Estimativa de Contraste de Ruído (NCE) e aprendizado contrastivo, este termo trata tokens de modalidade como evidência positiva e tokens textuais como alternativas concorrentes. Ele maximiza a relevância atribuída aos tokens de modalidade em relação à relevância total de todos os tokens.
   • Regularizador de Divergência KL ($\mathcal{L}_{KL}$): Este termo restringe a distribuição atualizada a permanecer próxima da distribuição do modelo original, impedindo que o modelo se desvie excessivamente de seu comportamento pré-treinado e garantindo estabilidade na decodificação.
4. Execução: As atualizações são computadas via otimização baseada em gradiente (usando Adam) para um pequeno número de etapas em cada etapa de decodificação e são descartadas posteriormente, garantindo que a intervenção permaneça local e não se acumule ao longo do tempo.

Contribuições Principais
O artigo delineia três contribuições primárias:

1. Análise de Interpretabilidade: Uma análise baseada em LRP demonstrando que as alucinações em MLLMs estão diretamente associadas à subutilização de tokens específicos de modalidade durante a inferência.
2. Framework LIME: Um framework inovador, livre de treinamento e guiado por relevância no momento da inferência, que mitiga alucinações aumentando explicitamente a contribuição dos tokens de modalidade em relação às entradas textuais através de ajustes nas representações KV.
3. Validação Empírica: Demonstração da eficácia e generalidade do método em múltiplos modelos multimodais de última geração (incluindo LLaVA, Qwen-VL, SALMONN e Qwen2-Audio) e benchmarks em domínios de visão e áudio.

Resultados
Os autores avaliaram o LIME em vários benchmarks, relatando melhorias consistentes na fundamentação e reduções nas alucinações:

• Benchmarks de Visão: No benchmark POPE (MSCOCO e A-OKVQA), o LIME alcançou as maiores médias de precisão e pontuações F1 entre baselines livres de treinamento (por exemplo, OPERA, VCD, ICD, MemVR, V-ITI), mostrando particularmente robustez em divisões adversariais. No benchmark CHAIR, o LIME reduziu consistentemente a taxa de menções de objetos alucinados (menores pontuações CHAIRS e CHAIRI) enquanto mantinha uma recall competitiva.
• Benchmarks de Áudio: No Audio Hallucination QA e AIR-Bench, o LIME melhorou a precisão e as pontuações F1 nos domínios de fala, som e música, superando a baseline de Decodificação Consciente de Áudio (AAD).
• Análise de Relevância: A análise quantitativa confirmou que o LIME aumenta a confiança na modalidade (a proporção de relevância atribuída a tokens perceptivos) e melhora a fundamentação espacial/temporal (a concentração de relevância em regiões de objetos verdadeiros). Visualizações qualitativas mostram que os mapas de calor de relevância tornam-se mais localizados e semanticamente alinhados com a evidência de entrada sob o LIME.
• Sobrecarga Computacional: O método introduz latência adicional (desaceleração aproximada de 9 a 10 vezes) e sobrecarga de memória modesta devido à otimização por etapa, tornando-o adequado para configurações off-line ou de alta precisão, em vez de aplicações de baixa latência em tempo real.

Significância e Alegações
O artigo alega que controlar diretamente a utilização de modalidades no momento da inferência é uma estratégia eficaz para aprimorar a confiabilidade dos MLLMs. Ao aproveitar sinais LRP para reequilibrar a influência de tokens textuais e perceptivos, o LIME oferece uma solução generalizável para alucinações que não exige o custo computacional de retreinamento ou ajuste fino. Os autores concluem que as alucinações não são apenas resultado de dados de treinamento insuficientes, mas também surgem de raciocínio interno e integração de informações subótimos durante a decodificação, o que pode ser corrigido através de intervenção no momento da inferência. O método é apresentado como uma abordagem prática para melhorar a fundamentação multimodal, preservando a qualidade generativa do modelo original.