How LLMs Detect and Correct Their Own Errors: The Role of Internal Confidence Signals

Resumen Técnico: ¿Cómo los LLM detectan y corrigen sus propios errores? El papel de las señales internas de confianza

1. El Problema (Contexto y Motivación)

Aunque se sabe que los Grandes Modelos de Lenguaje (LLM) pueden detectar y corregir errores sin retroalimentación externa, los mecanismos subyacentes siguen siendo un misterio. El problema central es la distinción entre modelos de primer orden y de segundo orden de confianza (basados en la neurociencia de la decisión):

• Modelos de primer orden: La confianza deriva directamente de la señal de generación (ej. la probabilidad de los tokens o log-probabilities). Bajo una decodificación codiciosa (greedy decoding), la confianza siempre será máxima para la respuesta elegida, lo que teóricamente impide que el modelo detecte que se ha equivocado.
• Modelos de segundo orden: Existe una señal evaluativa parcialmente independiente de la respuesta comprometida. Esta señal puede discrepar de la respuesta elegida, permitiendo la detección de errores.

El estudio busca determinar si los LLM implementan esta arquitectura de segundo orden y si existe una señal interna que no solo indique si una respuesta es incorrecta, sino también si el modelo tiene el conocimiento necesario para corregirla.

2. Metodología

Los autores investigaron este fenómeno utilizando un paradigma de "verificación y luego corrección" (verify-then-correct) en dos modelos: Gemma 3 27B y Qwen 2.5 7B, aplicados a tareas de conocimiento factual (TriviaQA) y de inferencia lógica (MNLI).

Componentes clave del método:

• Identificación del PANL: Basándose en trabajos previos, identificaron que los modelos almacenan una representación de confianza en el token de "nueva línea" inmediatamente posterior a la respuesta (denominado PANL: Post-Answer Newline).
• Sondas Lineales (Linear Probing): Entrenaron sondas para extraer información de las activaciones del flujo residual en la posición PANL para predecir: (i) la respuesta de verificación (¿es correcto?), (ii) el cambio de respuesta y (iii) el éxito de la corrección.
• Intervenciones Causales: Utilizaron activation patching (parcheo de activaciones) y ablación de medias para demostrar si la señal en PANL es causalmente responsable del comportamiento de detección de errores.
• Control de variables: Compararon la capacidad predictiva de las activaciones internas frente a señales conductuales (confianza verbal y log-probabilities).

3. Contribuciones Principales

1. Evidencia de una arquitectura de segundo orden: Demostraron que la confianza verbal y las activaciones internas son mucho más predictivas de la detección de errores que las probabilidades de los tokens, lo que descarta un modelo de primer orden.
2. Descubrimiento del valor predictivo de PANL: Identificaron que la señal en el token PANL es más rica que la confianza verbal; contiene información que el modelo no comunica explícitamente.
3. Predicción de la "corregibilidad": Descubrieron que la señal en PANL puede predecir qué errores pueden ser corregidos con éxito, algo que ninguna señal conductual (ni la confianza verbal ni la probabilidad de los tokens) logra hacer.
4. Validación Causal: Confirmaron que intervenir en las activaciones de PANL es suficiente para "rescatar" la capacidad de detección de errores incluso cuando la información de la respuesta ha sido corrompida.

4. Resultados Clave

• Detección de errores: La confianza verbal predice la verificación mucho mejor que las log-probabilities. Sin embargo, las activaciones en PANL superan incluso a la confianza verbal.
• El "vacío" de las señales conductuales: Cuando el modelo decide cambiar su respuesta, las señales conductuales (como la confianza verbal) pierden toda capacidad de predecir si la nueva respuesta será correcta (caen al nivel del azar). En contraste, la sonda en PANL mantiene una capacidad predictiva significativa sobre el éxito de la corrección.
• Generalización: Los resultados se replicaron consistentemente en modelos de diferentes escalas (7B y 27B) y en diferentes tareas (TriviaQA y MNLI), lo que sugiere que es un mecanismo de evaluación general en los transformadores.
• Mecanismo Causal: El parcheo de activaciones mostró que la señal de error se consolida en las capas medias del modelo en la posición PANL.

5. Significado e Implicaciones

Este estudio revela que los LLM no son simples generadores de texto probabilísticos, sino que poseen un mecanismo de evaluación interna espontáneo.

Implicaciones prácticas:

• Monitoreo selectivo: En lugar de pedirle a un modelo que se corrija siempre (lo cual es costoso y a veces contraproducente), se podrían monitorear las activaciones de PANL para intervenir solo cuando el modelo "sabe" que se ha equivocado y "sabe" cómo arreglarlo.
• Entrenamiento de razonamiento: Estos hallazgos sugieren que las señales de error internas podrían servir como una fuente de "recompensa densa" para entrenar modelos de razonamiento más avanzados, permitiéndoles realizar procesos de backtracking (retroceso) de manera más eficiente.