💬 NLP

Do We Really Need External Tools to Mitigate Hallucinations? SIRA: Shared-Prefix Internal Reconstruction of Attribution

SIRA é um framework de decodificação contrastiva interna, sem necessidade de treinamento, que mitiga alucinações em modelos grandes de visão e linguagem ao gerar uma referência contrafactual dominada por prioridade linguística dentro do mesmo transformador, por meio de atenção mascarada nas camadas posteriores, reduzindo assim a dependência de ferramentas externas e passagens forward adicionais, ao mesmo tempo em que preserva a cobertura descritiva.

Autores originais: Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

Publicado 2026-05-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente muito inteligente e bem informado (um Modelo de Visão-Linguagem de Grande Porte) que está tentando descrever uma imagem que você acabou de mostrar a ele. Às vezes, esse assistente fica um pouco excessivamente confiante no que acha que vê, em vez do que está realmente lá. Ele pode dizer: "Vejo uma bicicleta vermelha", quando a imagem é na verdade apenas uma forma desfocada que poderia ser uma bicicleta, ou pode inventar detalhes porque leu tantas histórias sobre bicicletas que seu cérebro preenche as lacunas. Isso é chamado de alucinação.

O artigo apresenta um novo truque inteligente chamado SIRA para impedir que isso aconteça, sem necessidade de retreinar o assistente ou contratar uma segunda pessoa para verificar o trabalho.

O Problema com os Truques Antigos

Anteriormente, para impedir que o assistente mentisse, os pesquisadores tentavam um método como este:

Mostrar ao assistente a imagem original.
Em seguida, mostrar a ele uma versão desfocada ou corrompida da mesma imagem.
Comparar as duas respostas. Se o assistente mudar sua história quando a imagem estiver desfocada, talvez ele estivesse chutando.

A falha: Isso é como pedir a alguém que descreva uma pintura e, em seguida, pedir que descreva a mesma pintura enquanto usa óculos embaçados. A versão com "óculos embaçados" não é uma comparação justa porque os próprios óculos distorcem a imagem. É confuso, leva o dobro do tempo (você precisa olhar para a imagem duas vezes separadamente) e a distorção pode criar novos erros.

A Solução SIRA: O "Prefixo Compartilhado"

SIRA adota uma abordagem diferente. Em vez de mexer na imagem, ele interfere no processo de pensamento interno do assistente enquanto ele ainda está pensando.

Pense no cérebro do assistente como uma linha de montagem de fábrica com muitas estações (camadas) processando a imagem e a pergunta.

O Início Compartilhado: O assistente começa olhando para a imagem e a pergunta juntos. Ele constrói uma compreensão sólida da cena nas estações iniciais da fábrica. Isso é o "Prefixo Compartilhado". O SIRA garante que ambas as versões do assistente concordem com essa compreensão inicial.
O Desvio no Caminho: Após a formação da compreensão inicial, o SIRA divide o processo em duas trilhas paralelas que rodam dentro do mesmo cérebro:
- Trilha A (A Visão Completa): O assistente continua a observar os detalhes da imagem enquanto termina sua frase.
- Trilha B (A Visão "Cega"): O assistente continua a partir exatamente do mesmo ponto de partida, mas nas estações posteriores, ele está vendado para os detalhes específicos da imagem. Ele só pode confiar em seu conhecimento geral e na frase que já começou a escrever.

Como Isso Corrige a Mentira

Agora, o SIRA compara as duas trilhas a cada passo da escrita da frase:

Se o assistente diz: "Vejo um cachorro", e a Trilha A (vendo o cachorro) e a Trilha B (vendada) ambas dizem "cachorro" com alta confiança, o SIRA sabe que isso é provavelmente apenas um chute baseado na linguagem comum (talvez cachorros sejam comuns em histórias). Ele reduz a pontuação para "cachorro" porque a versão vendada não precisou da imagem para dizer isso.
Se o assistente diz: "Vejo um elefante roxo", e a Trilha A diz "elefante roxo" (porque ele vê) mas a Trilha B diz "de jeito nenhum, isso não está na história" (porque ele não consegue ver), o SIRA sabe que a imagem é a única razão para essa afirmação. Ele aumenta a pontuação para "elefante roxo".

Por Que É Melhor

Sem Etapas Extras: Não precisa olhar para a imagem duas vezes. Faz tudo de uma só vez, apenas dividindo o processo de pensamento interno.
Sem Distorções Confusas: Não desfoca a imagem. Apenas "desliga" temporariamente a entrada visual para uma versão do processo de pensamento, mantendo o restante do contexto perfeitamente alinhado.
Sem Treinamento Necessário: Funciona em modelos existentes imediatamente. Você não precisa ensinar nada novo ao modelo.

O Resultado

Nos testes, o SIRA impediu com sucesso que os assistentes inventassem objetos que não estavam lá (como uma "banana" que não está na foto), ao mesmo tempo que permitia que descrevessem as coisas reais com precisão. É como ter uma "verificação de realidade" embutida que acontece instantaneamente dentro do próprio cérebro do modelo, garantindo que o que eles dizem seja realmente apoiado pelo que veem, e não apenas pelo que esperam ver.

Resumo Técnico: SIRA – Reconstrução Interna de Atribuição de Prefixo Compartilhado

Declaração do Problema

Modelos de Visão e Linguagem de Grande Porte (LVLMs) frequentemente sofrem de alucinações, onde o modelo gera descrições de objetos, atributos ou relações que são linguisticamente plausíveis, mas não suportadas pela entrada visual. Essa questão é particularmente aguda quando a evidência visual é fraca ou ambígua, permitindo que priores de linguagem de alta probabilidade dominem a previsão de tokens.

Estratégias existentes de mitigação, especificamente a decodificação contrastiva, tentam abordar isso comparando a previsão do modelo na imagem original contra uma previsão de referência derivada de uma entrada degradada ou perturbada (por exemplo, imagens desfocadas ou mascaradas). No entanto, os autores identificam duas limitações críticas nessas abordagens externas:

Sobrecarga Computacional: Elas tipicamente requerem uma segunda passagem completa de forward através do modelo.
Artefatos Fora da Variedade (Off-Manifold): Perturbar a imagem de entrada pode introduzir artefatos que não são representativos da verdadeira distribuição visual. Consequentemente, as discrepâncias de logit resultantes podem refletir incompatibilidades causadas pela própria perturbação, em vez de uma atribuição limpa de evidência visual versus priores de linguagem.

O artigo postula que uma referência contrafactual eficaz não precisa ser construída externamente no espaço de entrada. Em vez disso, ele argumenta que o requisito chave é uma referência alinhada que revela como o mesmo estado multimodal evoluiria se o acesso a evidências visuais de alta granularidade fosse restrito em estágios posteriores de processamento.

Metodologia: SIRA

Os autores propõem o SIRA (Reconstrução Interna de Atribuição de Prefixo Compartilhado), um framework de decodificação contrastiva interna e livre de treinamento. O SIRA constrói uma referência contrafactual dentro da mesma trajetória de inferência do LVLM, manipulando o fluxo de informação dentro das camadas do transformador, em vez de alterar a imagem de entrada.

Mecanismo Central

O SIRA opera mantendo duas ramificações de decodificação sincronizadas que compartilham um "prefixo" comum e divergem apenas após um limite de divisão específico ( $b$ ):

Prefixo Compartilhado ($0 $a$ b-1$): Tanto o Ramo Completo (inferência padrão) quanto o Ramo Contrafactual compartilham o mesmo prompt, parâmetros do modelo, histórico de decodificação, estrutura posicional e computações de camadas iniciais. Isso garante que ambos os ramos herdem uma interpretação multimodal idêntica e estável, e uma ancoragem visual inicial antes da divisão.
Ramificação Tardia ( $b$ a $L-1$ ): Após a camada limite $b$ $b$ , os ramos divergem:
- O Ramo Completo continua a inferência multimodal padrão, permitindo atenção aos tokens de imagem.
- O Ramo Contrafactual aplica uma máscara de atenção específica ( $M_{cf}$ ) que bloqueia o acesso às posições de tokens de imagem. Neste ramo, os tokens de imagem não podem ser lidos por consultas, nem podem produzir consultas que alimentem o fluxo de texto.
Contraste Interno: Em cada passo de decodificação, o SIRA calcula os logits para ambos os ramos ( $z_{full}$ $z_{f u l l}$ e $z_{cf}$ $z_{c f}$ ). O logit final de decodificação ( $z_{cd}$ $z_{c d}$ ) é calculado como:
$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$
Onde $\alpha$ $α$ controla a força do contraste.
- Tokens que permanecem fortes no Ramo Contrafactual (sem acesso visual) são penalizados, pois provavelmente são impulsionados por priores de linguagem.
- Tokens que ganham uma vantagem especificamente no Ramo Completo são favorecidos, pois sua probabilidade depende da evidência visual contínua.

Eficiência

Ao contrário de métodos que requerem duas passagens completas de forward (por exemplo, VCD), o SIRA compartilha a computação para as primeiras $b$ camadas. Ele incorre apenas no custo das últimas $K$ camadas para o ramo contrafactual. Isso resulta em uma relação de custo por token idealizada de $1 + K/L$ (aproximadamente $1,5\times$ para uma divisão em camada intermediária), significativamente menor que o custo de $2\times$ dos métodos contrastivos externos.

Contribuições Principais

Perspectiva de Fluxo de Informação: O artigo reavalia a mitigação de alucinações argumentando que referências eficazes devem preservar a ancoragem multimodal inicial enquanto restringem o acesso posterior a tokens de imagem, em vez de depender de perturbações de entrada externas.
Framework SIRA: A proposta de um método de decodificação contrastiva interna e livre de treinamento que constrói uma referência contrafactual por meio de ramificação tardia de prefixo compartilhado e mascaramento de tokens de imagem pós-limite.
Validação Empírica: Experimentos abrangentes demonstrando que o SIRA reduz alucinações enquanto preserva a cobertura descritiva e incorre em menor sobrecarga que métodos de duas passagens.

Resultados Experimentais

Os autores avaliaram o SIRA no Qwen2.5-VL e no LLaVA-v1.5 em três benchmarks: POPE (alucinação em nível de objeto), CHAIR (alucinação em legendagem) e AMBER (legendagem multidimensional).

POPE: O SIRA alcançou os melhores resultados em todas as 36 métricas (combinações de backbone, conjunto de dados e estratégia de amostragem negativa). Ele melhorou a precisão em uma média de +5,4 pontos no Qwen2.5-VL e +4,9 pontos no LLaVA-v1.5 sobre decodificadores base, superando baselines fortes como DoLa, OPERA e VCD. Notavelmente, as melhorias foram consistentes mesmo em divisões "Adversariais" onde os priores de linguagem são fortes.
CHAIR: O SIRA reduziu as taxas de alucinação tanto em nível de frase (CHAIRs) quanto em nível de instância (CHAIRi). Por exemplo, no LLaVA-v1.5, o CHAIRs caiu de 31,5 para 23,1 no comprimento 64, indicando uma redução em menções de objetos espúrios em vez de simples omissão.
AMBER: O SIRA reduziu as métricas de alucinação (Hal, Cog) enquanto preservava ou aumentava a cobertura descritiva (Cover). Isso contrasta com baselines como OPERA e VCD, que frequentemente reduziam alucinações encurtando ou suavizando legendas (excesso de cautela). O SIRA reduziu especificamente as alucinações "Cognitivas" (Cog), que estão intimamente acopladas aos priores de linguagem.
Eficiência: O SIRA incorreu em uma sobrecarga de latência de aproximadamente 1,4–1,5 $\times$ em comparação com a decodificação padrão, significativamente menor que o VCD ( $\sim2,1\times$ ) e o OPERA ( $\sim5,9\times$ ).

Significado e Limitações

Significado:
O artigo afirma que o SIRA oferece um proxy de atribuição em nível de token mais direto e limpo do que referências construídas externamente. Ao manter o ramo contrafactual na mesma variedade do modelo e compartilhar o estado semântico inicial, o SIRA isola a contribuição da evidência visual sem introduzir artefatos de perturbação. Ele alcança uma redução de alucinações state-of-the-art sem exigir re-treinamento do modelo, verificadores externos ou entradas perturbadas, tornando-o aplicável a LVLMs de pesos abertos com acesso white-box.

Limitações:
Os autores reconhecem duas limitações primárias:

Sobrecarga: Embora menor que os métodos de duas passagens, o SIRA ainda carrega um custo de decodificação por passo não nulo devido à reavaliação do ramo contrafactual.
Requisitos de Acesso: A construção do contraste interno requer acesso white-box a estados ocultos, máscaras de atenção e estados de cache, restringindo sua aplicação a LVLMs de pesos abertos ou controláveis, em vez de APIs black-box.