Resumen Técnico: HALLUHARD: Un Benchmark de Alucinaciones Difíciles en Conversaciones de Múltiples Turnos

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) continúan generando afirmaciones fácticas plausibles pero sin fundamento, un modo de fallo conocido como alucinación. Este problema es particularmente agudo en diálogos de múltiples turnos y abiertos, donde el contexto se acumula y los errores tempranos pueden derivar en cascada. Los benchmarks existentes suelen fallar al capturar esta complejidad porque dependen de:

1. Dominios saturados: Tareas de preguntas y respuestas de formato corto o clasificación donde las herramientas de recuperación alcanzan fácilmente puntuaciones casi perfectas.
2. Formatos simplificados: Prompts de un solo turno que divergen del uso en el mundo real.
3. Verificación limitada: Jueces que dependen de fragmentos de búsqueda (por ejemplo, fragmentos de Google Search a través de APIs como Serper) en lugar del análisis de texto completo de la fuente, perdiendo detalles enterrados en PDFs, tablas o secciones específicas no capturadas en los fragmentos.
4. Definiciones ambiguas: Confundir la alucinación con fallos en el seguimiento de instrucciones o errores de razonamiento.

Los autores argumentan que las evaluaciones actuales no ponen a prueba suficientemente a los modelos en conocimientos de nicho de alto riesgo o en la capacidad de verificar contenido frente a fuentes citadas en un entorno de múltiples turnos.

Metodología

1. El Benchmark HALLUHARD

Los autores presentan HALLUHARD, un benchmark que consta de 950 preguntas semilla a través de cuatro dominios de alto riesgo donde el conocimiento de nicho es prevalente:

• Casos Legales: Derivados de preguntas legales verificadas (por ejemplo, SCALR, Rule QA) y materiales del examen de la Barra de California.
• Preguntas de Investigación: Basadas en resúmenes de ArXiv, divididas entre artículos "de nicho" (5–30 citas) y artículos "conocidos" (>1000 citas), con un punto de corte de 2023.
• Guías Médicas: Obtenidas de guías públicas (por ejemplo, NICE) disponibles antes de 2023.
• Codificación: Centrada en cuatro lenguajes (Python, Scala, R, Elixir), probando alucinaciones de instalación, importación y llamada a funciones.

Diseño de Múltiples Turnos:
Para simular interacciones realistas, un "LLM de Usuario" genera preguntas de seguimiento naturales basadas en el historial de la conversación. El modelo objetivo debe responder a estos turnos proporcionando citas en línea para todas las afirmaciones fácticas. Esta configuración permite la evaluación de la propagación de errores a través de los turnos.

2. El Pipeline de Verificación (El Juez)

El artículo propone un pipeline de juicio modular y novedoso que mejora los métodos existentes como SAFE (Evaluador de Facticidad Aumentado por Búsqueda):

• Extracción de Afirmaciones: Un LLM extrae afirmaciones atómicas verificables de la respuesta del asistente.
• Recuperación de Evidencia Iterativa: A diferencia de SAFE, que utiliza un número fijo de llamadas de búsqueda, este pipeline utiliza un planificador de LLM para decidir cuándo la evidencia es suficiente. Invoca la API de Serper pero va más allá al recuperar y analizar fuentes de texto completo, incluyendo PDFs, para verificar la fundamentación del contenido.
• Selección de Contexto: El HTML y los PDFs recuperados son analizados, y los bloques de texto relevantes se seleccionan mediante modelos de incrustación (embeddings) para formar un paquete de evidencia.
• Juicio: El sistema evalúa dos modos de fallo distintos:
  • Fundamentación de Referencia: ¿Existe la fuente citada y coincide con los metadatos de la cita?
  • Fundamentación de Contenido: ¿La fuente citada realmente respalda la afirmación específica realizada?
• Evaluación de Codificación: Para las tareas de codificación, donde las citas son raras, el juez evalúa toda la respuesta en busca de comandos de instalación, importaciones o llamadas a funciones alucinadas.

3. Configuración Experimental

El benchmark fue evaluado a través de un conjunto diverso de modelos propietarios de frontera y de pesos abiertos (por ejemplo, familia GPT-5, Claude-4.5, Gemini-3, DeepSeek, Kimi, GLM-4.7). Las evaluaciones incluyeron configuraciones con y sin herramientas de búsqueda web (WS). La tasa de alucinación ($H$) se calcula como la relación entre las afirmaciones alucinadas y el total de afirmaciones verificables extraídas.

Resultados Clave

1. Alucinaciones Persistentes en Modelos de Frontera

Incluso las configuraciones más fuertes exhiben tasas de alucinación sustanciales:

• Claude-Opus-4.5 con Búsqueda Web: ~30.2% de tasa de alucinación.
• GPT-5.2-thinking con Búsqueda Web: ~38.2% de tasa de alucinación.
• Sin Búsqueda Web: Las tasas son significativamente más altas, superando a menudo el 60% para los mejores modelos.
  Esto indica que la integración de la búsqueda web no resuelve completamente la alucinación, particularmente para la fundamentación de contenido.

2. Factores que Influyen en la Alucinación

• Posición del Turno: Las tasas de alucinación generalmente aumentan en los turnos posteriores para las tareas legales, de investigación y médicas. Los autores lo atribuyen al "autocondicionamiento", donde los modelos se condicionan en sus propios errores anteriores (por ejemplo, repitiendo citas incorrectas). Por el contrario, las alucinaciones de codificación disminuyen en los turnos posteriores a medida que las tareas se vuelven más enfocadas.
• Capacidad del Modelo: Los modelos más grandes (por ejemplo, GPT-5 vs. GPT-5-nano, Opus vs. Haiku) alucinan consistentemente menos.
• Esfuerzo de Razonamiento: Habilitar modos de "pensamiento" (thinking) reduce las alucinaciones en comparación con los modos sin pensamiento. Sin embargo, aumentar simplemente el esfuerzo de razonamiento no garantiza ganancias adicionales; en algunos casos, los modelos de razonamiento producen respuestas más largas y detalladas que introducen más oportunidades de error.
• Dominio y Tipo de Conocimiento:
  • Contenido vs. Referencia: Los errores de fundamentación de contenido (afirmar que una fuente dice algo que no dice) son mucho más comunes que los errores de referencia (citar una fuente inexistente).
  • Conocimiento de Nicho: Los modelos tienen dificultades significativas con hechos de nicho (por ejemplo, artículos oscuros, arte local), pero son más propensos a abstenerse cuando se enfrentan a elementos completamente fabricados.

3. Rendimiento del Juez

El juez propuesto logra una alta concordancia con los anotadores humanos (87.9% en fundamentación de contenido frente al 84.9% de OpenAI-WS y 81.8% de SAFE). Se identifica la capacidad de analizar PDFs de texto completo como un diferenciador crítico, permitiendo al juez detectar alucinaciones que los jueces basados en fragmentos pasan por alto.

Significado y Reivindicaciones

El artículo afirma proporcionar el primer benchmark diseñado específicamente para la generación de múltiples turnos y abierta con un pipeline de evaluación verificable y capaz de comprobar citas. Su importancia radica en:

1. Exponer Limitaciones: Demostrar que incluso los modelos de vanguardia con búsqueda web fallan al fundamentar el contenido de manera confiable en dominios de nicho de alto riesgo.
2. Refinar la Evaluación: Destacar que la verificación basada en fragmentos es insuficiente para un control de hechos riguroso y que la recuperación de texto completo es necesaria para una evaluación precisa.
3. Comprender la Dinámica del Error: Revelar que las alucinaciones no son estáticas, sino que evolucionan con los turnos de la conversación y están fuertemente influenciadas por el tipo de conocimiento (nicho vs. fabricado) y las capacidades de razonamiento del modelo.

Los autores conclen que, si bien el pensamiento efectivo y la búsqueda web ayudan, el desafío fundamental de fundamentar afirmaciones detalladas en conocimiento de nicho persiste, lo que requiere una mejor conciencia de la incertidumbre por parte de los modelos y mecanismos de verificación más robustos.