VISTA: Verification In Sequential Turn-based Assessment

Resumen Técnico: VISTA (Verification In Sequential Turn-based Assessment)

1. El Problema

La "alucinación" en los Modelos de Lenguaje Grandes (LLM), definida como la generación de afirmaciones no respaldadas o contradichas por la evidencia disponible, sigue siendo un obstáculo crítico para el uso de sistemas de IA conversacional en entornos que requieren fiabilidad factual.

Las métricas existentes presentan limitaciones significativas:

• Evaluación Aislada: Métodos como FActScore evalúan respuestas de forma aislada, ignorando la naturaleza secuencial y pragmática del diálogo donde las afirmaciones anteriores condicionan o fundamentan las posteriores.
• Confluencia de Categorías: Tratan el contenido no verificable (subjetivo, opiniones, abstenciones) como errores fácticos (alucinaciones), lo que distorsiona la evaluación en diálogos naturales donde la incertidumbre y la opinión son legítimas.
• Falta de Consistencia: No rastrean la consistencia a lo largo de múltiples turnos, permitiendo que contradicciones internas pasen desapercibidas.

2. Metodología: El Framework VISTA

VISTA propone un marco de evaluación que modela la facticidad como una propiedad dinámica y evolutiva del diálogo, en lugar de una propiedad estática del texto. El pipeline funciona en secuencia para cada turno del asistente:

1. Inicialización de Conocimiento del Agente (Opcional): Se define un conocimiento base (hechos verificados o fuera de alcance) que actúa como memoria persistente y se actualiza dinámicamente.
2. Extracción de Afirmaciones Atómicas (Descomposición):
   • El turno del asistente se descompone en afirmaciones atómicas individuales.
   • A diferencia de FActScore (que divide por oraciones), VISTA opera a nivel de turno, utilizando el historial del diálogo para resolver referencias y presuposiciones implícitas (ej. "No sabía que X..." genera la afirmación "X es verdad" y "El asistente no sabía X").
3. Verificación:
   • Cada afirmación se evalúa contra dos fuentes: (a) el Conocimiento de Fondo (afirmaciones verificadas en turnos anteriores) y (b) el Texto de Referencia (documento recuperado).
   • Se clasifica como VERIFICADA o NO VERIFICABLE.
4. Categorización de lo No Verificable:
   Las afirmaciones no verificables se subdividen en cuatro categorías pragmáticas para evitar falsos positivos:
   • Fuera de Alcance (Out-of-Scope): Contenido subjetivo, opiniones o experiencias personales.
   • Contradicho: Afirmaciones refutadas explícitamente por la evidencia o hechos previos.
   • Falta de Evidencia: Afirmaciones potencialmente factuales pero sin soporte en el contexto actual.
   • Abstención: Expresiones de incertidumbre o negativa a responder.
5. Memoria Secuencial y Agregación:
   • Las afirmaciones verificadas y las "fuera de alcance" se añaden al conocimiento de fondo para los siguientes turnos, permitiendo detectar inconsistencias a lo largo de la conversación.
   • Al final, se genera una puntuación global basada en la distribución de estas categorías.

3. Contribuciones Clave

• Marco Consciente del Diálogo: Integra la verificación de afirmaciones con el seguimiento de consistencia secuencial, proporcionando etiquetas interpretables que distinguen entre errores fácticos, abstenciones y opiniones.
• Evidencia Empírica: Demostración de que VISTA mejora la evaluación de facticidad en diversos modelos (desde GPT-4 hasta modelos de código abierto más pequeños) y conjuntos de datos.
• Evaluación Humana: Un estudio con anotadores humanos que confirma que la descomposición a nivel de afirmación aumenta la fiabilidad de la anotación y revela inconsistencias en los benchmarks actuales.
• Nuevo Dataset: Liberación de 140 conversaciones con anotaciones detalladas a nivel de afirmación para apoyar futuras investigaciones.

4. Resultados

El estudio evaluó VISTA en cuatro benchmarks de diálogo (AIS, BEGIN, FAITHDIAL, FADE) y ocho LLMs (incluyendo GPT-4o, GPT-5, Llama-3, DeepSeek, Qwen, Mistral).

• Rendimiento Superior: VISTA supera consistentemente a FActScore y al enfoque LLM-as-Judge en la detección de alucinaciones. Las mejoras son particularmente notables en modelos de código abierto más pequeños (ej. Llama-8B, Mistral-7B), donde VISTA logra aumentos de precisión significativos.
• Alineación Humana: En la evaluación humana (140 conversaciones, 888 afirmaciones), VISTA mostró la mayor alineación con el consenso de los anotadores humanos.
  • Los benchmarks originales etiquetaron incorrectamente el 26.4% de los turnos como verificables cuando, bajo la lógica de VISTA, eran no verificables (subjetivos o sin evidencia).
  • El coeficiente de acuerdo inter-anotador (Krippendorff's α) fue de 0.832, indicando alta fiabilidad.
• Análisis de Ablación: Se demostró que las ganancias de rendimiento no provienen solo de la descomposición de afirmaciones, sino de la contextualización del diálogo (usar el historial en la verificación) y el uso de ejemplos few-shot adaptados a fenómenos conversacionales. La memoria de fondo acumulada es crucial para detectar contradicciones, aunque tiene un impacto menor en la precisión de verificación básica en los benchmarks actuales.
• Detección de Contradicciones: Aunque la detección de contradicciones sigue siendo un desafío (especialmente en modelos pequeños), VISTA identifica patrones de inconsistencia que otros métodos pasan por alto. Se propone un paso opcional (Stage 4) usando un LLM potente directamente para mejorar la detección de contradicciones a nivel de turno.

5. Significado e Impacto

VISTA representa un cambio de paradigma en la evaluación de la veracidad en sistemas de IA:

• De Estático a Dinámico: Trasciende la noción de "correctitud estática" para adoptar una medida de verdad alineada con la naturaleza evolutiva de la conversación.
• Distinción Pragmática: Al separar explícitamente lo subjetivo, lo no respaldado y lo contradictorio, VISTA ofrece una visión más matizada y humana de la fiabilidad, reconociendo que la incertidumbre y la abstención son partes válidas de un diálogo honesto, no necesariamente errores.
• Mejora de Benchmarks: La evaluación humana revela que los benchmarks actuales a menudo confunden contenido subjetivo con facticidad, lo que sugiere la necesidad de redefinir los estándares de evaluación para diálogos multi-turno.
• Aplicabilidad Futura: El framework está diseñado para ser utilizado como señal de entrenamiento (RLHF) para mejorar la generación de modelos, fomentando la calibración y la confianza en lugar de penalizar la honestidad.

En conclusión, VISTA ofrece un marco más transparente, robusto y alineado con la intuición humana para medir la verdad en sistemas de diálogo, abordando las limitaciones de las métricas actuales al considerar el contexto conversacional y la naturaleza pragmática de la comunicación.