Resumo Técnico: Direcionamento de Atualização Residual Adaptativa para Mitigação de Alucinações com Baixo Sobrecarga em Modelos de Linguagem e Visão Grandes

1. Declaração do Problema

Modelos de Linguagem e Visão Grandes (LVLMs) codificam tipicamente entradas visuais como um prefixo para um decodificador de linguagem. À medida que o modelo gera texto autoregressivamente, essa informação visual inicial sofre "diluição", fazendo com que o modelo dependa excessivamente de priores linguísticos internos em vez do contexto visual. Esse fenômeno é um dos principais impulsionadores da alucinação de objetos, onde os modelos descrevem com confiança objetos que não estão presentes na imagem (por exemplo, alucinar uma "xícara" com base na associação linguística com "superfície").

Os métodos existentes de Intervenção no Tempo de Inferência (ITI) tentam corrigir isso por meio de Decodificação Contrastiva ou Refinamento Iterativo. No entanto, essas abordagens enfrentam um gargalo severo de eficiência: elas geralmente exigem múltiplas passagens para frente (FWD extras) ou classificadores externos, incorrendo em custos de latência proibitivos que comprometem a implantação no mundo real. Existe um compromisso crítico entre eficácia (redução de alucinações) e eficiência (manutenção de baixa latência).

2. Metodologia: RUDDER

Os autores propõem o Regulamento de Decodificação Direcionada por Atualização Residual (RUDDER), um framework projetado para combater a diluição visual criando uma âncora visual persistente sem passagens adicionais para frente. O método opera dentro de uma única passagem de inferência e consiste em dois componentes principais:

2.1. Vetor CARD (Direção Residual de Ativação Contextual)

A ideia central é que o sinal visual é maximamente preservado no fluxo residual durante a etapa obrigatória de pré-preenchimento (onde os tokens de imagem e prompt são processados em paralelo).

• Extração: Durante a etapa de pré-preenchimento, o RUDDER extrai as atualizações residuais de autoatenção ($\Delta^l_i$) de uma camada de decodificador alvo $l$.
• Agregação: Essas atualizações são agrupadas (por exemplo, via média ou média ponderada por magnitude) através de todos os tokens de imagem e prompt e normalizadas em L2 para formar um vetor por amostra, $v_{CARD}$.
• Função: Este vetor representa uma direção robusta condicionada à imagem que captura o efeito líquido das evidências visuais sobre as representações dos tokens. Ele serve como uma "âncora visual" para guiar a trajetória de geração de volta ao contexto visual.
• Custo: A extração ocorre durante a passagem padrão de pré-preenchimento, incorrendo em zero passagens adicionais para frente.

2.2. Porta Beta (Mecanismo de Direcionamento Adaptativo)

Para injetar a âncora visual sem interromper a geração de tokens sintáticos ou não visuais, o RUDDER emprega um mecanismo de porta adaptativo baseado na Distribuição Beta.

• Mecanismo de Confiança: Em vez de atuar como um detector de erros, a porta funciona como um estimador de "confiança". Ela calcula a similaridade do cosseno ($s_t$) entre o estado oculto atual ($h_{l,t}$) e o vetor $v_{CARD}$.
• Formulação: Os parâmetros da porta ($\alpha_t, \beta_t$) são derivados de uma posterior conjugada Beta-Bernoulli usando um mapeamento softplus de $s_t$. O valor da porta $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ determina a força da intervenção.
  • Alinhamento Alto ($s_t \uparrow$): Indica que a geração é consistente com as evidências visuais. A porta reforça a injeção para manter a trajetória fundamentada.
  • Alinhamento Baixo/Negativo ($s_t \downarrow$): Indica incerteza ou contexto não visual (por exemplo, tokens sintáticos). A porta suprime a intervenção para evitar superdirecionamento e preservar a fluência.
• Injeção: O vetor de direcionamento $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ é adicionado ao fluxo residual imediatamente após a operação de Autoatenção durante a etapa de decodificação, especificamente dentro do intervalo de resposta.

3. Contribuições Principais

1. Vetor CARD: Um método para extrair uma âncora visual persistente, por amostra, das atualizações residuais de pré-preenchimento, mantendo o modelo fundamentado no contexto visual durante toda a decodificação sem computação extra.
2. Porta Beta: Um mecanismo de porta adaptativo, sem treinamento, baseado na Distribuição Beta que equilibra a fundamentação visual com a fluência, aplicando correções apenas quando a geração se alinha com as evidências visuais.
3. Generalização: O método é demonstrado como agnóstico à arquitetura, funcionando efetivamente em diversos LVLMs (LLaVA-1.5, Idefics2, InstructBLIP) e escalando para modelos maiores (LLaVA-1.5-13B) e arquiteturas modernas (Qwen2.5-VL).
4. Eficiência: O RUDDER opera dentro de uma única passagem para frente, introduzindo latência negligenciável (< 4% de sobrecarga) e mantendo 96,0% de vazão em comparação com modelos vanilla, superando significativamente métodos de múltiplas passagens.

4. Resultados Experimentais

Os autores avaliaram o RUDDER em benchmarks padrão de alucinação (CHAIR, POPE) e benchmarks de capacidade geral (MME).

• Mitigação de Alucinações (CHAIR): No benchmark CHAIR (legendagem de texto aberto), o RUDDER-Beta reduziu consistentemente as alucinações. Com decodificação gulosa, alcançou uma redução relativa média de 24,4% em CHAIRs (nível de frase) e 23,6% em CHAIRi (nível de objeto) entre os modelos testados. Superou ou igualou métodos state-of-the-art como VISTA e VCD, evitando seus custos de latência.
• Sondagem de Objetos (POPE): No benchmark POPE (peryes/não sobre objetos), o RUDDER melhorou a precisão e as pontuações F1 em LLaVA-1.5, Idefics2 e InstructBLIP, frequentemente superando fortes baselines baseadas em direcionamento.
• Capacidades Gerais (MME): O RUDDER manteve ou melhorou ligeiramente as capacidades multimodais gerais (raciocínio, contagem) no benchmark MME, confirmando que a redução de alucinações não ocorreu à custa do desempenho geral do modelo.
• Eficiência: O RUDDER-Beta manteve 96,0% de vazão em relação aos modelos vanilla. Em contraste, métodos que exigem passagens extras para frente (por exemplo, VISTA) viram a vazão cair para ~58,1%.
• Escalabilidade: O método escalou efetivamente para LLaVA-1.5-13B e generalizou para Qwen2.5-VL-7B, alcançando as menores taxas de alucinação em nível de instância (CHAIRi: 7,0) enquanto melhorava o desempenho no POPE.

5. Significado e Alegações

O artigo afirma que o RUDDER resolve o compromisso comum entre eficácia e eficiência na mitigação de alucinações. Ao prevenir estruturalmente a diluição da informação visual por meio de uma "âncora visual" leve e um mecanismo adaptativo de confiança, o RUDDER oferece uma solução prática e de baixa sobrecarga para aumentar a confiabilidade dos LVLMs em cenários do mundo real.

Os autores enfatizam que sua abordagem é sem treinamento, exigindo apenas uma calibração única de hiperparâmetros em um pequeno conjunto de validação retido. Eles posicionam o RUDDER como um passo em direção à "IA Verde", reduzindo a pegada energética da inferência de modelos de alta qualidade ao eliminar a necessidade de refinamento iterativo ou múltiplas passagens para frente.

Limitações: Os autores reconhecem que o RUDDER é sensível a hiperparâmetros (especificamente a camada de intervenção, força de direcionamento e sensibilidade da porta), que devem ser ajustados para cada arquitetura de modelo específica. Sugere-se trabalho futuro focado na otimização automatizada de hiperparâmetros para melhorar a robustez e a facilidade de implantação.