Epistemic Observability in Language Models

Resumen Técnico: Observabilidad Epistémica en Modelos de Lenguaje

1. El Problema: La Inversión de la Confianza y la Brecha Observacional

El artículo comienza con un hallazgo crítico que desafía la construcción de sistemas basados en Modelos de Lenguaje (LLM): los modelos reportan su máxima confianza precisamente cuando están fabricando información (alucinando).

• Hallazgo Empírico: En pruebas con cuatro familias de modelos (OLMo-3, Llama-3.1, Qwen3, Mistral), la confianza auto-reportada por el modelo se correlaciona inversamente con la precisión. El Área bajo la curva ROC (AUC) osciló entre 0.28 y 0.36 (donde 0.5 es un adivinamiento aleatorio), indicando que el modelo es más seguro cuando miente que cuando dice la verdad.
• La Causa Raíz: El problema no es una falta de capacidad cognitiva del modelo, sino una brecha observacional. Bajo un modelo de observación de "solo texto" (donde un supervisor ve únicamente la cadena de caracteres de salida), es imposible distinguir entre una generación fundamentada y una fabricación plausible.
• Fallo de las Soluciones Actuales: Aumentar el tamaño del modelo, el ajuste por instrucciones (instruction tuning) o el entrenamiento por refuerzo con retroalimentación humana (RLHF) no resuelve el problema. De hecho, el RLHF puede empeorarlo al entrenar al modelo para generar texto fluido y convincente, independientemente de la veracidad.

2. Metodología y Marco Teórico

Los autores combinan resultados formales de teoría de sistemas distribuidos con experimentación empírica rigurosa.

A. Resultados de Imposibilidad (Teoría)
El paper formaliza dos teoremas clave bajo supuestos explícitos:

1. Imposibilidad Representacional (Teorema 1): Bajo un modelo de observación de solo texto, cualquier política que condicione sus respuestas únicamente a la consulta ($q$) no puede satisfacer la "honestidad epistémica" en estados del mundo ambiguos. Si una consulta es respondible en un mundo ($w_A$) y no respondible en otro ($w_B$), el modelo no puede distinguir ambos estados solo con el texto de entrada, por lo que no puede decidir cuándo responder y cuándo abstenerse.
2. Imposibilidad de Aprendizaje (Teorema 2): Incluso si el modelo tiene acceso a información externa (como en RAG), un supervisor con presupuesto limitado no puede proporcionar una señal de entrenamiento que diferencie entre una fabricación plausible y una verdad. Dado que el costo de verificación excede el presupuesto en casos de fabricación, el supervisor ve la misma observación para ambos casos, haciendo imposible que el algoritmo de aprendizaje converja hacia un comportamiento honesto.
3. Lemma de Monotonía de Observación: Apilar múltiples jueces (supervisores) sobre el mismo canal de texto no resuelve el problema, ya que la información disponible para los jueces posteriores es una función determinista de la salida del anterior, sin ganar nueva información epistémica.

B. La Interfaz Tensorial (Solución Propuesta)
Para escapar de estas imposibilidades, los autores proponen exportar señales computacionales que son estructuralmente acopladas al proceso de inferencia y no pueden ser manipuladas independientemente de la corrección sin afectar el rendimiento del modelo.

• Señales Clave: Entropía por token y distribuciones de log-probabilidad.
• Principio: Bajo entrenamiento estándar, un modelo no puede generar una distribución de probabilidad de alta confianza (baja entropía) para un token incorrecto sin que esto afecte su pérdida de entrenamiento. A diferencia del texto (que es totalmente controlable mediante entrenamiento), la entropía es un subproducto de la computación interna.

3. Contribuciones Clave

1. Resultado de Imposibilidad Formal: Demostración de que la honestidad epistémica es no verificable bajo observación de solo texto, independientemente de la escala del modelo o el procedimiento de entrenamiento.
2. Interfaz Tensorial: Diseño de una interfaz que exporta metadatos de inferencia (entropía por token) junto con el texto, permitiendo a los supervisores detectar fabricaciones con mayor precisión.
3. Superficie de Costos Empírica: Un mapa práctico que relaciona el presupuesto de verificación (el porcentaje de consultas revisadas) con la precisión del sistema para diferentes estrategias de juez.

4. Resultados Empíricos

Los experimentos se realizaron en cuatro arquitecturas de modelos con un conjunto de datos balanceado de 200 consultas (100 conocibles, 100 no conocibles).

• Rendimiento de la Entropía: La señal de entropía por token logró un AUC agrupado de 0.757, superando consistentemente a todas las baselines basadas en texto (como longitud de respuesta o lenguaje de duda) en un rango de 2.5 a 3.9 puntos porcentuales en todos los niveles de presupuesto (10%, 20%, 30%).
• Generalización: La señal de entropía se generaliza a través de diferentes arquitecturas (Spearman $\rho = 0.762$), lo que sugiere que es una propiedad arquitectónica y no un artefacto de un modelo específico.
• Estrategia Compuesta: La combinación de señales tensoriales (para consultas generales) con búsquedas acotadas (para citas y hechos verificables) alcanzó la mayor precisión (91.8% con un 30% de presupuesto), demostrando que diferentes modos de fallo requieren señales de verificación distintas.
• Limitación de Citas: Se observó una "inversión de citas": las citas fabricadas a menudo tienen baja entropía (alta confianza) porque el modelo puede inventar formatos plausibles fácilmente. Esto requiere un mecanismo de verificación externo (lookup) específico para este caso.

5. Significado e Implicaciones

• Cambio de Paradigma: El problema de la alucinación no es solo de "capacidad" (hacer que el modelo sepa más), sino de observabilidad. Los sistemas actuales carecen de los canales necesarios para que un supervisor verifique la honestidad del modelo.
• Guía para la Ingeniería de Sistemas: La "superficie de costos" proporciona a los constructores de sistemas una herramienta para calibrar la inversión en verificación según el riesgo de la aplicación (ej. medicina vs. lluvia de ideas).
• Gobernanza y Transparencia: El paper advierte sobre una tendencia peligrosa en la industria: los proveedores de modelos están ocultando cada vez más las señales internas (log-probabilidades, entropía). Si los proveedores no exportan estas señales, la responsabilidad de la honestidad epistémica recae exclusivamente en ellos, haciendo imposible la auditoría externa independiente.
• Principios Arquitectónicos: Para lograr sistemas honestos, se requieren tres principios:
  1. Exterioridad del Estado: Condicionar la respuesta en estados del mundo externos verificables.
  2. Independencia de Verificación: Señales de verificación que no puedan ser manipuladas para mejorar el rendimiento de la tarea principal.
  3. Vinculación de Procedencia: Cada afirmación debe estar estructuralmente unida a una fuente verificable.

Conclusión:
El artículo concluye que la honestidad epistémica es un problema de observabilidad, no de capacidad. Exportar señales computacionales estructurales (como la entropía) permite escapar de las imposibilidades teóricas de la observación de solo texto, haciendo que la verificación de la verdad en sistemas de IA sea tratable y cuantificable.