VISTA: Verification In Sequential Turn-based Assessment

Título: VISTA: Verificação em Avaliação Sequencial por Turnos

Autores: Ashley Lewis, Andrew Perrault, Eric Fosler-Lussier e Michael White (The Ohio State University).

1. O Problema

A alucinação em modelos de linguagem grandes (LLMs) — definida como a geração de afirmações não apoiadas ou contraditas por evidências disponíveis ou pelo contexto conversacional — permanece um obstáculo crítico para a adoção de sistemas de IA conversacional em cenários que exigem confiabilidade factual.

As métricas existentes apresentam limitações significativas:

• Avaliação Isolada: A maioria trata cada resposta como um texto isolado, ignorando a natureza sequencial e pragmática do diálogo, onde afirmações anteriores podem fundamentar ou restringir as posteriores.
• Conflação de Tipos de Erro: Métricas como FActScore e abordagens LLM-as-Judge frequentemente tratam conteúdo não verificável (subjetivo, opinativo ou incerto) como erros factuais (alucinações), o que é inadequado para diálogos naturais que misturam fatos, opiniões e hesitações.
• Falta de Consistência Sequencial: Não há mecanismos robustos para rastrear a consistência factual ao longo de múltiplos turnos de conversa.

2. Metodologia: O Framework VISTA

O VISTA (Verification In Sequential Turn-based Assessment) propõe um novo paradigma que modela a factualidade como uma propriedade dinâmica e evolutiva da conversa, em vez de uma propriedade estática do texto. O framework opera através de um pipeline sequencial de cinco etapas (ilustrado na Figura 1 do artigo):

1. Inicialização do Conhecimento do Agente (Opcional): Define um banco de dados de "Conhecimento de Fundo" (Background Knowledge) com fatos verificados ou fora de escopo de turnos anteriores, permitindo que a verificação evolua com o diálogo.
2. Extração de Afirmações Atômicas (Claim Decomposition):
   • O turno do assistente é decomposto em afirmações atômicas (fatos individuais).
   • Diferente do FActScore, que divide por sentenças, o VISTA opera no nível do turno, preservando referências e pressupostos implícitos (ex: "Eu não sabia que bordado é uma técnica" gera duas afirmações: a definição de bordado e a falta de conhecimento do assistente).
3. Verificação: Cada afirmação atômica é verificada contra duas fontes de evidência:
   • O Texto de Referência (documento recuperado).
   • O Conhecimento de Fundo Acumulado (fatos verificados em turnos anteriores).
   • A afirmação é classificada como VERIFICADA ou NÃO VERIFICÁVEL.
4. Categorização de Afirmações Não Verificáveis: As afirmações marcadas como não verificáveis são analisadas para determinar a causa, distinguindo quatro categorias críticas:
   • Fora de Escopo (Out-of-Scope): Conteúdo subjetivo, opinativo ou experiencial que não pode ser verificado externamente.
   • Contraditória (Contradicted): Explicitamente refutada pelo texto de referência ou por fatos verificados anteriores.
   • Falta de Evidência (Lacking Evidence): Potencialmente factual, mas sem suporte no contexto disponível.
   • Abstenção (Abstention): Declarações que expressam incerteza ou recusa em responder.
5. Memória Sequencial e Agregação: As afirmações verificadas e as "fora de escopo" são adicionadas ao conhecimento de fundo para os próximos turnos. Ao final, o sistema agrega os resultados para calcular uma pontuação global de factualidade.

3. Contribuições Principais

• Framework Consciente do Diálogo: Integra verificação de afirmações com rastreamento de consistência sequencial, fornecendo rótulos interpretáveis que distinguem erros factuais, abstenções e opiniões.
• Evidência Empírica de Melhoria: Demonstra que o VISTA supera métricas existentes em diversos modelos e conjuntos de dados.
• Validação Humana: Uma avaliação humana com 140 conversas e 888 afirmações mostrou que a decomposição em nível de afirmação aumenta a concordância entre anotadores e expõe inconsistências em benchmarks atuais.
• Recursos Abertos: Liberação de um conjunto de dados com 140 conversas anotadas em nível de afirmação e o código de implementação.

4. Resultados Experimentais

O VISTA foi avaliado em 4 benchmarks de factualidade (AIS, BEGIN, FAITHDIAL, FADE) e 8 modelos de linguagem (incluindo GPT-4o/5, Llama-3, DeepSeek, Qwen e Mistral).

• Desempenho Superior: O VISTA superou consistentemente o FActScore e o LLM-as-Judge na detecção de alucinações. As melhorias foram particularmente notáveis em modelos de pesos abertos menores (ex: Llama-8B, Mistral-7B, Qwen-8B), onde o VISTA obteve ganhos de precisão significativos.
• Alinhamento Humano: Na avaliação humana, o VISTA demonstrou o maior alinhamento com os julgamentos humanos, especialmente na distinção entre conteúdo não suportado (alucinação) e conteúdo subjetivo/abstenção.
• Análise de Ablação:
  • A remoção do histórico de diálogo (contexto conversacional) causou uma queda significativa na precisão, confirmando que a contextualização sequencial é o principal motor de melhoria.
  • O uso de exemplos few-shot (poucos exemplos) também foi crucial para capturar fenômenos conversacionais.
  • Curiosamente, o acúmulo de "Conhecimento de Fundo" teve impacto limitado na precisão de verificação em benchmarks RAG padrão (onde o documento de referência é o principal), mas é essencial para detectar contradições e manter a consistência em diálogos longos.
• Detecção de Contradições: O VISTA enfrentou desafios na detecção de contradições sutis em modelos menores, sugerindo que a decomposição de afirmações pode, por vezes, obscurecer pistas discursivas de nível superior.

5. Significado e Impacto

O trabalho do VISTA representa uma mudança fundamental na avaliação de sistemas de IA:

1. Mudança de Paradigma: Move a avaliação de uma métrica estática de "correto/errado" para uma propriedade dinâmica e evolutiva da conversa.
2. Nuance Pragmática: Ao distinguir explicitamente entre alucinação (afirmação falsa), abstenção (não saber) e subjetividade (opinião), o VISTA oferece uma medida de verdade mais alinhada com a interação humana. Isso evita penalizar modelos por expressarem incerteza ou opiniões, o que é natural em diálogos.
3. Revelação de Falhas em Benchmarks: A reanotação humana revelou que benchmarks existentes frequentemente rotulam erroneamente conteúdo subjetivo ou não verificável como "verificável" ou "alucinação", subestimando a complexidade da factualidade em diálogos.
4. Futuro: O framework é proposto como um sinal de treinamento potencial para Reinforcement Learning (RL), ajudando a mitigar alucinações ao ensinar modelos a distinguir entre erros factuais e abstenções apropriadas.

Em resumo, o VISTA oferece uma abordagem mais transparente, granular e humana para medir a verdade em sistemas de diálogo, superando as limitações de métricas anteriores que tratam a conversa como uma coleção de textos independentes.