Resumen Técnico: HalluWorld: Una Referencia Controlada para Alucinaciones mediante Modelos de Mundo de Referencia

1. Declaración del Problema

La alucinación sigue siendo un modo de fallo central de los modelos de lenguaje grandes (LLM), sin embargo, las referencias existentes la operacionalizan de manera inconsistente en tareas como resumen, respuesta a preguntas y generación aumentada por recuperación. Los enfoques actuales sufren dos limitaciones principales:

1. Fragmentación: Las referencias a menudo confunden modos de fallo distintos (por ejemplo, malinterpretar hechos frente a malrecordar decisiones previas) bajo una sola etiqueta, lo que hace que sea poco claro si una estrategia de mitigación en un escenario se generaliza a otros.
2. Falta de Control: Las referencias existentes dependen ya sea de anotación humana con referencias fijas (propensas a la memorización) u observaciones naturalistas en entornos difíciles de reproducir o variar sistemáticamente. Crucialmente, el entorno, la observabilidad del modelo y las políticas de resolución de conflictos suelen estar fijos por diseño, lo que impide el aislamiento de modos de fallo específicos.

El artículo argumenta que, para comprender las causas raíz de la alucinación, la evaluación debe basarse en una formulación unificada donde la alucinación se define como un error observable relativo a un mundo de referencia explícito.

2. Metodología: El Marco HALLUWORLD

Los autores introducen HALLUWORLD, un marco de referencia extensible basado en una formulación de "modelo de mundo de referencia". Este marco descompone la alucinación en tres componentes explícitos:

• Mundo de Referencia ($W$): Una verdad fundamental completamente especificada que codifica estados y transiciones.
• Función de Vista ($V$): Un mecanismo que controla qué puede observar el modelo (observabilidad parcial).
• Política de Conflicto ($P$): Una regla que decide cómo se resuelven los conflictos entre fuentes observables (por ejemplo, observación directa frente a testimonio escrito).

Una alucinación ocurre cuando la salida del modelo contradice el mundo de referencia de verdad fundamental. Al hacer explícitos estos componentes, el marco permite la prueba de estrés sistemática de los modelos variando un factor (por ejemplo, la complejidad del mundo) mientras se mantienen constantes los demás.

Entornos de Referencia

HALLUWORLD implementa este marco en tres dominios distintos, con un total de 33 niveles de gridworld, 7 niveles de ajedrez y 110 tareas terminales, con 1.718 preguntas de sondeo en total:

1. HALLUWORLD-GRID: Construido sobre MiniGrid, estos son entornos totalmente sintéticos y personalizables. Ofrecen un alto control sobre el estado del mundo y la mecánica (por ejemplo, fuego, inundación, placas de presión) con una superposición mínima con los datos de preentrenamiento.
   • Sondeos: Perceptuales (P), Memoria (M), Causales (C), Incertidumbre (U) y Compuestos (X).
   • Serialización: Soporta formatos Simbólico, Grid (ASCII) y Memoria para probar cómo la presentación afecta a la alucinación.
2. HALLUWORLD-CHESS: Un dominio regido por reglas con una fuerte representación en los datos de entrenamiento. Prueba la capacidad del modelo para manejar priores adversarios (continuaciones típicas del juego) frente a los estados del tablero observados.
   • Sondeos: Perceptuales (lectura estática del tablero), Causales (simulación hacia adelante de movimientos) y Memoria (rastreo del estado a lo largo de secuencias largas de movimientos sin el tablero).
3. HALLUWORLD-TERMINAL: Basado en el despliegue real de agentes utilizando trayectorias de Terminal-Bench. El mundo de referencia es un sistema de archivos Linux en vivo, y la vista es el historial crudo del terminal.
   • Sondeos: Derivados de tareas reales de ingeniería de software, que prueban modos de fallo como memoria obsoleta, razonamiento entre categorías y sobreafirmación de incertidumbre.

Categorías de Sondeo

En todos los dominios, la referencia utiliza cinco categorías de habilidades cognitivas:

• Perceptual (P): Lectura precisa de valores presentes directamente en la observación actual.
• Memoria (M): Retención de observaciones pasadas y rastreo de estados a lo largo del tiempo.
• Causal (C): Razonamiento sobre relaciones de causa-efecto y simulación hacia adelante de acciones.
• Incertidumbre (U): Reconocimiento de los límites de la evidencia y abstención de respuestas cuando el contexto es insuficiente.
• Compuesto (X): Integración de evidencia a través de múltiples secciones de contexto o entornos.

3. Contribuciones Clave

1. Operacionalización Unificada: El artículo introduce un marco de referencia que operacionaliza la alucinación como un error observable relativo a un mundo de referencia explícito y una política de conflicto, avanzando más allá de puntuaciones agregadas hacia una categorización de errores detallada.
2. Suite de Entornos Controlados: Los autores implementan el marco en tres dominios (Grid, Ajedrez, Terminal) que comprenden 33 niveles de grid únicos, 7 niveles de ajedrez y 110 tareas terminales. Todas las etiquetas de alucinación se generan automáticamente por construcción, eliminando la necesidad de anotación humana.
3. Herramientas de Extensibilidad: El lanzamiento de un editor de niveles y un grabador de trayectorias para el entorno de gridworld permite a la comunidad crear tuplas complejas de entorno-sondeo y extender la referencia a nuevos escenarios.

4. Resultados Experimentales

Los autores evaluaron una docena de modelos de vanguardia y de peso abierto (incluyendo GPT-4o/5, Claude Opus/Sonnet, o3, y modelos abiertos como Qwen y DeepSeek) en estos entornos.

Hallazgos Generales

• Percepción vs. Razonamiento Complejo: La alucinación perceptual sobre información observada directamente está casi resuelta para los modelos de vanguardia. Sin embargo, el rastreo de estados de múltiples pasos (Memoria) y la simulación causal hacia adelante siguen siendo desafíos significativos, incluso para los modelos más capaces.
• La Paradoja del "Pensamiento": El pensamiento extendido (Cadena de Pensamiento) muestra beneficios inconsistentes. Aunque mejora ligeramente la precisión perceptual, a menudo empeora las alucinaciones causales. Los autores hipotetizan que el razonamiento extendido proporciona más oportunidades para confabular estados intermedios plausibles en lugar de confiar en las observaciones directas.
• Confianza en la Fuente: Los modelos privilegian consistentemente el testimonio escrito (por ejemplo, letreros, tableros de anuncios) sobre la observación directa, incluso cuando el testimonio contradice el mundo observable.
• Incertidumbre: Los modelos luchan significativamente con la abstención epistémica. En entornos terminales, incluso los mejores modelos alucinan aproximadamente el 25% de las veces cuando la respuesta correcta es "no se puede determinar".

Perspectivas Específicas por Dominio

• Gridworld: Se observó una jerarquía consistente de dificultad: Incertidumbre < Percepción < Memoria < Causalidad. El formato del estado del entorno (serializador) es un impulsor independiente de la alucinación; por ejemplo, la serialización de grid causó un fallo catastrófico en el rastreo de atributos entre observaciones para modelos fuertes, mientras que los formatos simbólicos preservaron la precisión del conteo.
• Ajedrez: Las categorías de secuencia larga (Memoria y Compuesto) separaron a los modelos de vanguardia de los más débiles. Aunque los mejores modelos saturaron en sondeos perceptuales y causales de horizonte corto, mostraron modos de fallo distintos en el rastreo de estados de horizonte largo.
• Terminal: Este fue el dominio más difícil. Ningún modelo saturó ninguna categoría individual de sondeo. Una anomalía notable fue GPT-4o-mini, que mostró un perfil de memoria invertido único donde las tasas de alucinación de memoria superaron las tasas causales, sugiriendo fallos específicos en el rastreo de estados de horizonte largo.

Experimentos de Navegación (InNav)

En un entorno de navegación interactivo, los autores encontraron que la navegación a menudo reduce la alucinación para los modelos de razonamiento (mediante el anclaje epistémico) pero puede aumentar los errores en tareas de memoria o de horizonte largo debido a la carga cognitiva. El impacto de la navegación depende en gran medida de la categoría de la tarea (por ejemplo, beneficioso para tareas causales, perjudicial para tareas compuestas de múltiples zonas).

5. Significado y Afirmaciones

El artículo afirma que HALLUWORLD ofrece un camino escalable y reproducible hacia la medición y reducción de alucinaciones. Al fundamentar la evaluación en entornos explícitos y controlables, la referencia:

• Desenreda Modos de Fallo: Revela que las alucinaciones no son un fallo de capacidad subyacente único, sino que surgen de modos cualitativamente distintos (percepción, memoria, causalidad, incertidumbre).
• Permite Intervención Dirigida: La capacidad de aislar condiciones específicas (por ejemplo, testimonio adversario, formato de serialización) permite a los investigadores apoyar proactivamente a los modelos con intervenciones dirigidas en lugar de depender de métricas agregadas.
• Cambia el Paradigma: Mueve el campo de métricas vagas basadas en fuentes a un problema experimentalmente abordable donde las alucinaciones pueden diagnosticarse como errores de modelado del mundo.

Los autores concluyen que, aunque la precisión perceptual está mejorando, la capacidad de mantener estados del mundo precisos a lo largo del tiempo y razonar sobre estados futuros sigue siendo un problema sin resolver para los modelos de vanguardia, lo que sugiere que el razonamiento por sí solo puede no ser suficiente para mitigar las alucinaciones sin intervenciones arquitectónicas o de entrenamiento.