Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study

No mundo em rápida evolução da inteligência artificial, os computadores estão aprendendo a ver e falar ao mesmo tempo. Esses sistemas, conhecidos como modelos de visão-linguagem, podem assistir a um vídeo e responder perguntas sobre o que está acontecendo na tela. Eles estão se tornando cada vez mais comuns, ajudando a resumir clipes de notícias, auxiliar no diagnóstico por imagem médica ou simplesmente descrever uma viagem em família. No entanto, um problema persistente assola esses sistemas: eles frequentemente inventam coisas com absoluta confiança. Quando um computador descreve uma cena, ele pode inventar um detalhe que nunca aconteceu ou, pior, pode apontar com confiança para um momento específico no vídeo para provar uma afirmação que é simplesmente falsa. Este é um tipo de erro enganoso. O sistema não apenas alucina; ele fornece um carimbo de tempo (timestamp), um segundo específico no vídeo, o que engana o usuário humano, fazendo-o acreditar que a máquina verificou seus fatos. A especificidade desse carimbo de tempo parece evidência, mas, sem uma verificação real, é meramente decorativa.

Pesquisadores sabem há muito tempo que pedir a um computador para verificar seu próprio trabalho é difícil. Se você perguntar a um modelo: "Esta imagem é verdadeira?", ele frequentemente apenas concorda com você para ser útil, um comportamento conhecido como sicofancia. Ele quer agradar ao usuário em vez de dizer a verdade. Para resolver isso, um pesquisador desenvolveu um novo sistema chamado GROUNDEDVQA. Eles construíram um pipeline que não apenas gera uma resposta e segue em frente. Em vez disso, após o computador redigir uma resposta com carimbos de tempo específicos, o sistema faz uma pausa. Ele volta ao vídeo, extrai o quadro exato mencionado e faz uma pergunta diferente e independente: esta imagem realmente sustenta a afirmação? O objetivo era ver se esse ciclo de autoverificação poderia capturar as mentiras antes que chegassem ao usuário e descobrir exatamente como construir um verificador que funcione.

O pesquisador testou seu sistema em um curta-metragem de animação, amostrando quadros a cada cinco segundos para criar uma biblioteca pesquisável de imagens. Quando um usuário fazia uma pergunta, o sistema recuperava os quadros mais relevantes, redigia uma resposta e então iniciava o processo de verificação. O pesquisador tentou três maneiras diferentes de construir este verificador, e os resultados de seus experimentos revelaram uma verdade surpreendente sobre como fazer as máquinas dizerem a verdade. Sua primeira tentativa foi a mais óbvia: eles mostraram o modelo de visão a imagem e a afirmação, e simplesmente perguntaram: "Esta imagem sustenta esta afirmação?". O sistema falhou completamente. De quarenta afirmações falsas nas quais foi testado, ele sinalizou zero delas. Mesmo quando a afirmação era sobre um carro azul em um vídeo que não continha carro algum, o modelo insistia que a afirmação era verdadeira. Ele estava simplesmente concordando com o comando (prompt), incapaz de separar seu desejo de ser útil da realidade visual.

O pesquisador então tentou uma segunda abordagem, que parecia mais lógica. Eles separaram o ato de ver do ato de julgar. Primeiro, o modelo de visão descreveu a imagem sem saber qual era a afirmação, criando uma legenda "cega". Em seguida, um grande modelo de linguagem, o mesmo tipo usado para escrever as respostas, foi solicitado a ler essa descrição e decidir se ela correspondia à afirmação. Isso resolveu o problema do modelo apenas concordar com o usuário, mas criou um novo: o verificador tornou-se extremamente instável. Dependendo de mudanças ínfimas e irrelevantes na forma como a pergunta era formulada, o sistema ou sinalizava todas as afirmações como falsas, mesmo as verdadeiras, ou deixava todas as afirmações passarem, mesmo as mentiras. Ele oscilava entre dois extremos, incapaz de encontrar um meio-termo. O grande modelo de linguagem, apesar de sua habilidade de escrever textos fluentes, provou ser um péssimo juiz de fatos quando solicitado a tomar uma decisão simples de sim ou não.

A solução veio de um terceiro design, que substituiu o juiz de grande modelo de linguagem por uma ferramenta muito menor e especializada, treinada especificamente para o raciocínio lógico. Esta ferramenta, conhecida como modelo de inferência de linguagem natural, é projetada para determinar se uma frase segue logicamente de outra. O sistema usou a descrição cega da imagem como a premissa e a afirmação do usuário como a hipótese. Se a descrição não sustentasse a afirmação, o sistema a marcava como não verificada. Esta abordagem funcionou com uma estabilidade notável. Ao ser testado em quarenta afirmações, incluindo quatorze baseadas em premissas falsas, este verificador especializado capturou setenta e nove por cento das afirmações fabricadas. Ele identificou corretamente que uma afirmação sobre lutar debaixo d'água não era sustentada por um quadro que mostrava um esquilo em um galho de árvore. Crucialmente, ele não sinalizou nenhuma das afirmações verdadeiras. Ele deixou as afirmações fatuais em paz, capturando apenas as mentiras.

O estudo também destacou os limites desta tecnologia. O sistema é excelente em verificar se uma afirmação específica é sustentada por um quadro específico, mas não consegue corrigir erros na busca inicial. Se o sistema recuperar o quadro errado para começar, o verificador ainda assim verificará que a afirmação é verdadeira para aquele quadro errado. Por exemplo, se um usuário pergunta o que acontece no início do vídeo, o sistema pode puxar um quadro do meio. Se a afirmação descrever esse quadro do meio com precisão, o verificador dirá que ela é fundamentada (grounded), embora seja a resposta errada para a pergunta. O pesquisador descobriu que seu sistema capturava as mentiras, mas não conseguia corrigir os erros de recuperação. Esta distinção é vital: a etapa de verificação garante que a máquina seja honesta sobre o que vê, mas não garante que a máquina esteja olhando para a coisa certa.

Em última análise, o artigo demonstra que construir um verificador de fatos confiável para a inteligência artificial tem menos a ver com tornar o modelo mais inteligente e mais a ver com escolher a ferramenta certa para o trabalho. Um modelo de propósito geral que pode escrever poesia ou resumir notícias não é o mesmo que um modelo especializado treinado para detectar inconsistências lógicas. Ao desacoplar o ato de ver do ato de julgar, e ao usar um classificador pequeno e dedicado em vez de um grande e prolixo, o pesquisador criou um sistema que é estável e confiável. Eles mostraram que a maneira mais óbvia de verificar alucinações falha, e que o modelo geral mais sofisticado não é o melhor juiz. Em vez disso, uma ferramenta simples e especializada que pergunta se uma descrição implica uma afirmação é o que realmente funciona. O resultado é um pipeline que pode capturar a vasta maioria das afirmações fabricadas enquanto deixa as verdadeiras intocadas, oferecendo um caminho prático para uma compreensão de vídeo mais honesta.