Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

Resumen Técnico: Monitoreo de la Realidad en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
A medida que los Modelos de Lenguaje de Gran Escala (LLM) transicionan de herramientas estáticas a agentes autónomos que operan en entornos de alto riesgo y múltiples turnos (por ejemplo, soporte clínico, análisis legal), su capacidad para distinguir entre el contenido generado internamente y la información proporcionada externamente se convierte en un problema de seguridad crítico. En la ciencia cognitiva humana, esta capacidad se denomina monitoreo de la realidad (RM): la capacidad de determinar el origen de un recuerdo (percibido externamente vs. imaginado internamente). Los fallos en el RM humano están vinculados a alucinaciones, delirios y confabulaciones. Sin embargo, no se ha probado si los LLM poseen esta capacidad. Los benchmarks actuales suelen fallar al no aislar la memoria conversacional como una variable, y las evaluaciones metacognitivas existentes se centran en la precisión del conocimiento en lugar de la atribución de la fuente. Un modelo que no puede atribuir su propio output a sí mismo puede tratar sus propias confabulaciones como hechos proporcionados por el usuario, lo que conduce a fallos de seguridad en lugar de meros errores de rendimiento.

Metodología
Los autores adaptaron el paradigma estándar de pares de palabras del RM humano para evaluar el monitoreo de la fuente en seis LLM: Gemma 3 (12B y 27B, con y sin Entrenamiento de Concientización de Cuantización [QAT]), Llama 3.3 (70B) y un modelo de mezcla de expertos dispersos (Llama 4 16×17B). La tarea requería que los modelos codificaran pares de palabras donde la segunda palabra era o bien proporcionada externamente (percibida) o generada internamente (imaginada), y posteriormente atribuyeran la fuente de dicha palabra.

Dos experimentos manipularon la arquitectura de la memoria conversacional:

1. Experimento 1 (Monitoreo de la Realidad de Turno Único): Comparó dos estructuras de memoria:
   • Turno Único (Single-Turn): Todas las subtareas (completado, calificación, juicio de fuente, confianza) ocurrieron dentro de una sola interacción.
   • Cadena de Ensayos (Trial-Chain): Las subtareas se distribuyeron a través de turnos conversacionales secuenciales, aumentando la carga de la ventana de contexto.
2. Experimento 2 (Monitoreo de la Realidad Episódica): Introdujo una fase de prueba de fuente retrasada. Los ensayos de codificación (20 o 40 en total) se completaron como un bloque antes de una fase separada de atribución de fuente. Este diseño cruzó el tamaño del conjunto (20 vs. 40) con la retroalimentación correctiva (presente vs. ausente) para probar la estabilidad del autoconocimiento bajo la carga de memoria y los bucles de retroalimentación.

Las métricas incluyeron la precisión de la atribución de la fuente, las tasas de alucinación de lectura (fallo al reproducir palabras externas), la sensibilidad metacognitiva (gamma de Goodman–Kruskal que vincula la confianza con la precisión) y los parámetros de la Teoría de Detección de Señales (SDT) ($d'$, criterio $c$, AUC Tipo 2).

Resultados Clave

• La Estructura de la Memoria Dicta el Rendimiento:

  • En el Experimento 1, los modelos alcanzaron una precisión de techo (100%) para los ítems internos en la condición de Turno Único porque la palabra generada permanecía en la ventana de contexto activa, haciendo que la recuperación fuera trivial. Sin embargo, las condiciones de Cadena de Ensayos revelaron fragilidad: la precisión para los ítems internos cayó significativamente para algunos modelos (por ejemplo, Gemma 3 12B cayó a niveles de azar), mientras que la precisión de los ítems externos se volvió variable.
  • En el Experimento 2, la introducción del retraso episódico revirtió la ventaja de la fuente. A diferencia del Experimento 1, los modelos encontraron los ítems externos (percibidos) más fáciles de atribuir que los ítems internos (imaginados). Esto sugiere que cuando se elimina el "atajo" de la recuperación de contexto activo, las características diagnósticas de la generación interna (operaciones cognitivas más ricas) son insuficientes para que los modelos los distingan de los estímulos externos.

• El Papel de las Alucinaciones de Lectura:

  • En el Experimento 1, el predictor más fuerte del fallo de atribución de la fuente fue la tasa de alucinación de lectura (fallo al reproducir la palabra proporcionada externamente). Si un modelo fallaba al codificar correctamente la palabra externa, no podía atribuir la fuente con precisión.
  • En el Experimento 2, la retroalimentación correctiva aumentó paradójicamente las tasas de alucinación de lectura, particularmente en tamaños de conjunto más grandes. Esto indica que los bucles de retroalimentación en las interacciones de múltiples turnos pueden degradar la fidelidad de la codificación en lugar de mejorarla.

• Disociación de la Precisión y la Confianza:

  • Sensibilidad Metacognitiva: En el Experimento 1, la confianza generalmente seguía a la precisión. En el Experimento 2, bajo el retraso episódico y la retroalimentación, este vínculo se desacopló. Para algunos modelos (por ejemplo, Llama 3.3 70B), la precisión mejoró con la retroalimentación mientras que la sensibilidad metacognitiva colapsó (el AUC Tipo 2 cayó por debajo del azar). Para otros (por ejemplo, Gemma 3 12B), la retroalimentación causó una inversión completa de la discriminación de la fuente (atribuyendo sistemáticamente ítems internos como externos y viceversa).
  • Impulsores de la Confianza: En el entorno episódico, la precisión a nivel de ensayo ya no predijo la confianza. En su lugar, la confianza fue impulsada por la arquitectura del modelo y las condiciones del contexto, no por la corrección del juicio específico.

• Escalabilidad y Arquitectura:

  • El rendimiento no escaló linealmente con el conteo total de parámetros. El modelo más grande (Llama 4 16×17B) se desempeñó de manera comparable a los modelos más pequeños. Los resultados implican que el tamaño de las redes de expertos individuales dentro de las arquitecturas de mezcla de expertos es una variable más relevante para el autoconocimiento que el conteo total de parámetros.

Contribuciones Clave

1. Operacionalización del RM en LLM: El estudio proporciona el primer marco conductual sistemático para probar la atribución de la fuente en LLM, directamente comparable con los paradigmas cognitivos humanos.
2. Identificación de la Memoria como una Variable Crítica: El artículo demuestra que el "autoconocimiento" en los LLM no es una propiedad invariante, sino que es altamente sensible a la estructura de la memoria conversacional (Turno Único vs. Episódico).
3. Descubrimiento de Modos de Fallo Ocultos: La investigación revela que los benchmarks de precisión estándar pasan por alto fallos críticos:
   • Reversión de Fuente: Los modelos pueden cambiar su lógica de atribución bajo carga de memoria.
   • Desacoplamiento Confianza-Precisión: Los modelos pueden volverse más precisos mientras simultáneamente se vuelven menos calibrados (o incluso anti-calibrados), lo que hace que la confianza expresada sea una señal de confianza poco fiable.
   • Alucinación Inducida por Retroalimentación: La retroalimentación correctiva puede degradar la fidelidad de la codificación de las entradas externas, un modo de fallo que no se captura en las métricas de turno único.

Significancia y Reivindicaciones
Los autores afirman que a medida que los sistemas de IA adoptan roles autónomos y de múltiples turnos, evaluar qué sabe un modelo es insuficiente; rastrear de dónde proviene ese conocimiento es igualmente esencial. El estudio sugiere que los benchmarks actuales, que a menudo dependen de cargas de memoria mínimas, sobreestiman la capacidad en el mundo real. Los hallazgos implican que:

• Implicaciones de Seguridad: El fallo en la atribución de la fuente es un fallo de seguridad, no solo un error de rendimiento. Un modelo que trata sus propias alucinaciones como hechos del usuario no puede ser confiable en roles agénticos.
• Cambio en la Evaluación: Las evaluaciones de despliegue deben incluir evaluaciones de memoria de fuente. El rendimiento con carga mínima no predice el rendimiento bajo retraso episódico.
• Perspectivas de Arquitectura: Mejorar el autoconocimiento puede requerir cambios arquitectónicos (por ejemplo, optimizar los tamaños de las redes de expertos) en lugar de simplemente aumentar los conteos agregados de parámetros.
• Paralelismo Humano-IA: Los patrones observados (sesgos de externalización, desacoplamiento confianza-precisión) reflejan los fallos de RM humanos, lo que sugiere que los LLM pueden compartir limitaciones cognitivas similares respecto a la atribución de orígenes internos vs. externos.

El artículo concluye que el monitoreo de la realidad ofrece una prueba conductual comparable a los modelos para estas capacidades y que, sin tal evaluación, el despliegue de agentes autónomos conlleva riesgos significativos y no cuantificados respecto a la confusión de fuentes y la alucinación.