On the Fundamental Impossibility of Hallucination Control in Large Language Models

Resumen Técnico: Sobre la imposibilidad fundamental del control de las alucinaciones en los modelos de lenguaje de gran tamaño

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM) producen con frecuencia resultados que son fácticamente incorrectos, inconsistentes o no están respaldados por sus datos de entrenamiento, un fenómeno conocido como alucinación. A pesar de la extensa investigación en innovaciones arquitectónicas (p. ej., Mezcla de Expertos, Generación Aumentada por Recuperación) y técnicas de entrenamiento (p. ej., Cadena de Pensamiento, RLHF), la alucinación persiste. Este documento postula que la alucinación no es meramente un error que deba parchearse, sino que refleja un límite fundamental y condicional del proceso de inferencia. El problema central es si un modelo puede satisfacer simultáneamente cuatro propiedades deseables de una respuesta ideal: (1) Veracidad (los componentes reportan el conocimiento con precisión), (2) Conservación de la Información Semántica (no se crea conocimiento ex nihilo), (3) Participación de Fuentes Relevantes (todas las fuentes de conocimiento relevantes contribuyen) y (4) Optimalidad Restringida por el Conocimiento (la respuesta es la mejor posible dado el conocimiento disponible).

Metodología y marco teórico
El autor desarrolla un marco matemático riguroso para analizar la inferencia como un problema de diseño de mecanismos, específicamente una "subasta de ideas".

1. Representación del conocimiento: El conocimiento se modela como un espacio polaco (un espacio métrico completo y separable) para acomodar la naturaleza continua de los embeddings y las transformaciones neuronales. El razonamiento se formaliza mediante un "operador de emergencia" ($E_C$) que hace que el conocimiento latente sea accesible dentro de un presupuesto computacional $C$, sin crear nueva información.
2. Medida de información semántica: Se define una medida $\mu_C$ para cuantificar la información disponible dentro de un contexto y un presupuesto. El marco distingue entre verdad fundamental (realidad externa) y soporte (derivación de evidencia autorizada).
3. La subasta de ideas: La inferencia se modela como un juego donde los componentes internos (p. ej., cabezales de atención, circuitos) actúan como agentes con conocimiento privado. Estos "pujan" para influir en el resultado final. El documento analiza tres entornos complementarios para demostrar resultados de imposibilidad:
   • Conocimiento privado idealizado: Los componentes poseen conocimiento privado independiente.
   • Predicciones probabilísticas: Los componentes emiten distribuciones de probabilidad puntuadas mediante funciones de pérdida convexas y estrictamente propias.
   • Arquitectura Transformer: Un análisis concreto de los modelos de logit aditivo y la operación log-sum-exp en los transformers.

Contribuciones clave y resultados

El documento establece tres Teoremas de Imposibilidad condicionales, demostrando que las cuatro propiedades deseables no pueden coexistir cuando se activan ciertos "interruptores" específicos.

• Teorema 6 (Conocimiento privado independiente): En un entorno idealizado donde los componentes poseen conocimiento privado independiente, si la consulta obliga a los componentes a contestar los mismos hechos relevantes (es decir, múltiples fuentes poseen y compiten por afirmar el mismo hecho), ningún mecanismo puede lograr simultáneamente la veracidad, la conservación de la información semántica, la participación y la optimalidad. Este resultado se basa en el teorema de Green-Laffont del diseño de mecanismos. La obstrucción surge porque el "crédito" debido a las fuentes por su influencia conjunta no puede equilibrarse mediante transferencias independientes del reporte cuando el conocimiento se solapa.
• Teorema 8 (Agregación probabilística): En entornos donde los componentes reportan pronósticos probabilísticos puntuados por una pérdida convexa y estrictamente propia (p. ej., entropía cruzada), si los pronósticos discrepan sobre el resultado realizado, el proceso de agregación crea un "gap de Jensen". La distribución agregada exhibe una confianza estrictamente mayor (menor pérdida) que el promedio ponderado de las pérdidas de los componentes individuales. Esto crea un defecto de balance positivo en la contabilidad de las contribuciones de información, haciendo que la conservación sea imposible.
• Teorema 9 (Arquitectura Transformer): Aplicado a un modelo transformer concreto, el teorema muestra que sumar los logits de los canales (provenientes de los cabezales de atención y FFN) y aplicar una normalización softmax inherentemente deja un "gap log-sum-exp". Este gap representa una confianza excesiva en el resultado agregado en relación con las contribuciones declaradas de los canales. El gap admite una descomposición en dos partes: un suelo que es estrictamente positivo para cualquier canalización finita (independientemente de si los componentes discrepan) y un término de exceso de confianza que mide el grado de discrepancia entre los canales. Por lo tanto, el gap siempre está presente debido al suelo, pero su magnitud es relativa a la canalización declarada y la regla de contabilidad; el término de exceso de confianza desaparece solo cuando los perfiles de los canales coinciden, pero el suelo permanece.

Fundamentación certificable vs. Verdad
Se realiza una distincción crucial entre verdad (alineación con la verdad fundamental) y soporte (alineación con la evidencia autorizada). El documento demuestra (Teorema 11) que, si bien la verdad no puede certificarse internamente sin un oráculo, el soporte sí puede certificarse efectivamente. Si se proporciona un cuerpo externo de evidencia autorizada, se puede verificar mecánicamente si una respuesta se mantiene dentro de la clausura deductiva de dicha evidencia. Sin embargo, una respuesta soportada puede ser falsa, y una respuesta verdadera puede carecer de soporte.

Dicotomía Conservación-Razonamiento
El Teorema 12 establece una dicotomía: la estricta conservación de la información semántica (ganancia neta de información de cero) y el razonamiento significativo (generar nuevos conocimientos o hacer accesible el conocimiento latente) son mutuamente excluyentes. Imponer una conservación estricta vuelve el razonamiento vacuo. Por lo tanto, la conservación estricta no es un apalancamiento apropiado para la seguridad; en su lugar, la seguridad debe definirse como "creatividad acotada" dentro de un sobre autorizado.

Significancia y afirmaciones
El documento afirma ofrecer un resultado constructivo en lugar de uno puramente negativo. No prueba que la alucinación sea inevitable en todos los casos, sino que mapea las condiciones estructurales precisas bajo las cuales se vuelve ineludible.

• Límite estructural: La imposibilidad es estructural, reside en el paso de agregación de la inferencia, y no en una limitación de los datos, el cómputo o las elecciones arquitectónicas específicas.
• Gestión de compensaciones (Trade-offs): Los teoremas sugieren que el control de la alucinación no consiste en la eliminación, sino en la gestión de compensaciones. Diferentes aplicaciones (p. ej., diagnóstico médico frente a escritura creativa) pueden priorizar diferentes propiedades (p. ej., veracidad frente a optimalidad).
• Contabilidad vs. Veredicto: El "exceso de confianza" identificado en los teoremas es un gap de contabilidad relativo a una regla de contabilidad específica (p. ej., canalización). Es un diagnóstico del mecanismo de agregación, no un veredicto directo sobre la incorrectitud fáctica.
• Analogía con límites fundamentales: El documento establece analogías con la incompletitud de Gödel, el principio de incertidumbre de Heisenberg y el teorema de la imposibilidad de Arrow, sugiriendo que los LLM, al igual que los sistemas formales y los sistemas físicos, operan bajo restricciones fundamentales sobre lo que puede ser simultáneamente conocido, agregado y reportado.

El documento concluye que, si bien la alucinación no puede eliminarse universalmente, comprender estas obstrucciones estructurales permite un diseño de sistemas con principios, como el uso de evidencia externa para certificar el soporte, en lugar de intentar forzar a un modelo a satisfacer propiedades mutuamente excluyentes.