Resumen Técnico: Interpretabilidad y Fidelidad del Pensamiento en Cadena Bajo Conflicto de Conocimiento

Enunciado del Problema

Cuando los modelos de lenguaje grandes (LLM) se encuentran con un documento que contradice su conocimiento paramétrico de entrenamiento, deben elegir entre seguir el documento o confiar en su conocimiento interno. Investigaciones anteriores establecieron que esta decisión está impulsada por la "fama" de la entidad (vistas de páginas de Wikipedia), donde se resisten los hechos famosos y se siguen los hechos oscuros. Sin embargo, los profesionales dependen cada vez más del razonamiento de Pensamiento en Cadena (CoT) para comprender por qué un modelo tomó una decisión específica.

El problema central abordado es la fidelidad introspectiva: ¿Refleja el razonamiento CoT declarado con precisión el mecanismo real de toma de decisiones? Específicamente, cuando un modelo invierte su decisión sobre la misma pregunta (por ejemplo, de seguir un distractor a resistirlo), ¿cambia el texto de razonamiento para reflejar la nueva decisión, o es el razonamiento una "exhibición de conocimiento" estática que simplemente se envuelve en frases de atribución diferentes? Si el CoT es meramente una racionalización a posteriori en lugar de un informe causal, los sistemas de monitoreo que dependen de argumentos lógicos pueden proporcionar una confianza falsa.

Metodología

El estudio emplea una sonda conductual a través de 200 preguntas factuales (del conjunto de datos PopQA) y 8 modelos (incluyendo GPT-4o, Claude Sonnet 4.6, Gemini 2.5, variantes de DeepSeek y Llama 4 Maverick).

Diseño Experimental

• Paradigma de Conflicto de Conocimiento: Los elementos se dividieron en niveles de alta certeza (entidades famosas) y baja certeza (entidades oscuras). Cada elemento incluía un distractor plausible pero incorrecto.
• Condiciones de Prompts:
  • C1/C2 (Conflicto de múltiples turnos): El modelo responde a una pregunta, recibe un documento contradictorio y debe razonar paso a paso, calificar la confianza (1–5) y proporcionar una respuesta final.
  • C3 (Solo documento): El modelo responde basándose únicamente en el documento (sirviendo como ancla de cumplimiento).
  • C4 (Conocimiento propio): Se instruye al modelo para que priorice su propio conocimiento sobre el documento.
• Variantes de Modelos: El estudio incluye modelos de "razonamiento nativo" (que exponen tokens de pensamiento interno) y sus contrapartes "estándar" (solo salida orientada al usuario) para aislar el efecto de la función de razonamiento.
• Controles: Se utilizaron ablaciones de temperatura emparejadas (por ejemplo, GPT-4o con $T=1$) para descartar la temperatura como un factor de confusión para las anomalías observadas.

Medidas Analíticas

1. Consistencia del Razonamiento: Se calcularon la similitud del coseno (usando all-MiniLM-L6-v2) y las puntuaciones ROUGE-L entre los textos CoT de "pares de inversión" (donde el modelo da respuestas opuestas en el mismo elemento) frente a "pares de misma respuesta". Se eliminaron las frases de atribución (por ejemplo, "el documento dice") para aislar el contenido sustantivo.
2. Calibración de la Confianza: Se probaron correlaciones entre la autoevaluación de confianza y (a) la saliencia de la entidad ($spop$) y (b) la corrección de base (si el modelo conocía el hecho antes del conflicto).
3. Coherencia Conductual: La regresión logística de Ecuaciones de Estimación Generalizadas (GEE) probó si la confianza predice independientemente la decisión de seguir o resistir, controlando la fama de la entidad.
4. Atribución de Fuentes: Análisis de las respuestas "SEGUIR" para detectar confabulación (inventar hechos para justificar seguir un distractor).

Resultados Clave

1. Consistencia del Razonamiento: El Fenómeno de "Inversión"

Cuando los modelos llegaron a conclusiones opuestas sobre la misma pregunta, su razonamiento paso a paso permaneció altamente similar.

• Similitud: Los pares de inversión retuvieron el 96% de la similitud encontrada en los pares de misma respuesta (similitud del coseno 0.784 frente a 0.817; $d=0.34$).
• Implicación: La mayor parte del CoT es una "exhibición de conocimiento" estática (recitar hechos sobre la entidad) que no cambia con la decisión. Solo cambia la atribución final o el encuadre.
• Excepción: GPT-4o fue el único modelo que mostró un delta negativo estadísticamente confiable ($\Delta = -0.132$), lo que significa que su razonamiento cambió genuinamente cuando su decisión se invirtió. Para otros modelos, el argumento lógico es efectivamente invariante a la decisión.

2. La Confianza como Señal Genuina

Mientras que la narrativa lógica fue estable, la autoevaluación de confianza mostró una señal introspectiva genuina pero débil.

• Conocimiento a Nivel de Elemento: En el nivel de baja certeza, la fama de la entidad ($spop$) no predijo la confianza ($\rho = -0.005$). Sin embargo, la corrección de base (si el modelo realmente conocía el hecho) predijo débilmente la confianza ($r = 0.134, p < 0.001$).
• Predicción de Decisión: Una menor confianza predijo una mayor probabilidad de seguir el distractor ($coef = -0.475, p < 0.001$). Esto establece una vía a nivel de elemento: conoce el hecho $\rightarrow$ mayor confianza $\rightarrow$ resiste el distractor.
• Especificidad del Modelo:
  • GPT-4o: Mostró un acoplamiento estadísticamente confiable entre razonamiento y decisión.
  • Claude Sonnet 4.6: Exhibió una "Anomalía de Claude". Su correlación agrupada confianza-decisión fue cercana a cero ($r \approx 0$) porque la relación se invirtió entre condiciones. Bajo el encuadre de "conocimiento propio", siguió distractores con alta confianza, cancelando la correlación negativa observada en condiciones de conflicto. Esto sugiere que Claude rastrea el encuadre de instrucciones en lugar de su estado de conocimiento interno.

3. Razonamiento Interno vs. Declarado

Para los modelos de razonamiento nativo, los tokens de pensamiento interno mostraron mayor sensibilidad a la decisión que el CoT orientado al usuario.

• Los tokens internos en pares de inversión fueron menos similares (0.709) que las salidas declaradas (0.787), una brecha significativa ($p=0.033$).
• Esto sugiere que la salida orientada al usuario "suaviza" las diferencias preservadas en el proceso interno, probablemente para presentar una narrativa coherente.

4. Confabulación

Entre los modelos que siguieron distractores, Llama 4 Maverick fue un claro outlier, exhibiendo un 15.2% de confabulación (fabricar hechos específicos, por ejemplo, un pueblo inexistente, para validar el distractor). Otros modelos mostraron tasas inferiores al 6.3%.

Significado y Afirmaciones

El artículo afirma proporcionar la primera prueba directa de si el razonamiento declarado rastrea el impulsor empírico de las decisiones de conflicto de conocimiento. Sus contribuciones principales son:

1. Descomposición del CoT: El estudio descompone el CoT en dos funciones distintas:
   • Función 1 (Exhibición de Conocimiento): Una recitación estable de conocimiento paramétrico que permanece casi idéntica independientemente de la decisión final.
   • Función 2 (Justificación de Decisión): Una capa delgada de atribución y puntuaciones de confianza que se ajusta a la decisión.
2. Implicaciones de Monitoreo: Los autores argumentan que, para el monitoreo y la auditoría de seguridad, los argumentos lógicos son la métrica equivocada para leer porque a menudo son invariantes a la decisión. En cambio, la confianza expresada (y las reservas) es donde reside la señal genuina de autoconocimiento, aunque es débil y está sujeta a problemas de calibración específicos del modelo (como la anomalía de Claude).
3. Limitaciones de la Introspección: El artículo concluye modestamente que los modelos poseen solo metacognición "modesta" a nivel de elemento. Si bien pueden distinguir hechos conocidos de desconocidos ligeramente mejor que el azar, sus puntuaciones de confianza están fuertemente influenciadas por la fama de la entidad y el encuadre de instrucciones en lugar de un estado interno preciso.

El estudio no afirma fidelidad causal, sino que establece consistencia correlacional entre señales conductuales y un predictor validado ($spop$ y corrección de base), lo que sugiere que las salidas CoT actuales a menudo sirven como racionalizaciones a posteriori en lugar de informes transparentes del mecanismo de decisión.