Resumen Técnico: Confiado pero en Conflicto: Incertidumbre Interna y Resolución de la Disonancia Cognitiva en los LLM

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) operan cada vez más en entornos de apoyo a la toma de decisiones donde encuentran entradas que contradicen sus salidas previas, como el rechazo del usuario, documentos recuperados o resultados de búsquedas web. Este fenómeno se enmarca como la resolución de la disonancia cognitiva, un concepto bien estudiado en psicología (Festinger, 1957) pero poco explorado en los LLM. Si bien trabajos previos han examinado la sicofancia y la persuasión (Sharma et al., 2024; Perez et al., 2023), estos estudios suelen manipular dimensiones individuales (por ejemplo, el encuadre social) de forma aislada. Además, la investigación existente sobre la calibración de los LLM se centra en si la confianza expresada sigue la precisión en benchmarks estáticos (Tian et al., 2023), dejando prácticamente sin examinar la relación entre la incertidumbre interna y las respuestas conductuales ante evidencia conflictiva externa.

El problema central abordado es comprender cómo los LLM resuelven la disonancia cognitiva cuando son desafiados, específicamente cómo esta resolución depende de la autoridad de la fuente y la calidad de la evidencia de la información conflictiva, y cómo estos resultados conductuales se correlacionan con los estados de incertidumbre interna del modelo.

Metodología

Diseño Experimental

Los autores construyeron un pipeline de dos etapas para simular la disonancia cognitiva:

1. Etapa 1 (Línea Base): El modelo evalúa una afirmación en una escala Likert de 7 puntos, estableciendo una postura base ($s_0$).
2. Etapa 2 (Intervención): El modelo es presentado con una contraafirmación emparejada con un encuadre de autoridad-evidencia específico. El modelo reevalúa la afirmación original, produciendo una postura post-intervención ($s_1$).

La intervención está parametrizada a lo largo de dos dimensiones ortogonales:

• Autoridad de la Fuente ($a$): Desde el Nivel 1 (usuario anónimo de Reddit) hasta el Nivel 4 (Organización Mundial de la Salud).
• Calidad de la Evidencia ($e$): Desde el Nivel 1 (pequeño piloto no controlado) hasta el Nivel 4 (ensayo controlado aleatorizado multisitio).

El estudio utilizó 12 afirmaciones de ciencias de la salud estratificadas en tres categorías epistémicas:

• Categoría A (Claramente Falsa): Mecanismos fabricados sin apoyo científico.
• Categoría B (Sobrestimada): Afirmaciones con un núcleo de verdad pero efectos exagerados.
• Categoría C (Absolutista): Afirmaciones razonables formuladas sin matices.

Métricas

1. Elasticidad de la Confianza (TE): Una métrica conductual novedosa inspirada en la elasticidad econométrica, que mide la capacidad de respuesta de un modelo a la persuasión.
   $$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$$
   Donde $d(s_0)$ alinea el signo del cambio con la dirección de la persuasión. Un TE positivo indica persuasión, un TE negativo indica efecto de retroceso (backfire) y un $TE \approx 0$ indica inmunidad.
2. Indicadores de Incertidumbre Interna: Para modelos de pesos abiertos (Qwen y Llama) con acceso a logits, se midieron dos indicadores en el token de decisión de la postura:
   • Brecha de Calibración (CG): La discrepancia entre la confianza autorreportada ($C$) y la certeza interna derivada de la entropía de Shannon normalizada ($1 - \hat{H}(p)$). $CG = C - (1 - \hat{H}(p))$.
   • Magnitud del Cambio de Entropía ($|\Delta H|$): El cambio absoluto en la entropía normalizada entre los estados de línea base e intervención ($|\hat{H}_1 - \hat{H}_0|$).

Modelos Evaluados

• Pesos Abiertos (Acceso a Logits): Qwen3.5-9B, Llama-3.3-70B-Instruct.
• Solo API: Grok-3, GPT-4o.

Resultados Clave

1. Patrones Conductuales: Inmunidad vs. Persuasión

• Inmunidad a Afirmaciones Falsas: En todos los cuatro modelos, las afirmaciones de la Categoría A (Claramente Falsas) provocaron una Elasticidad de la Confianza cercana a cero. Los modelos permanecieron mayormente inmunes a la revisión, incluso bajo intervenciones de alta autoridad y alta evidencia.
• Persuasión Sistemática: Las categorías B (Sobrestimada) y C (Absolutista) provocaron una persuasión sistemática. La persuasión fue generalmente más fuerte para las afirmaciones absolutistas (Categoría C) que para las sobrestimadas.
• Variación entre Modelos: La vulnerabilidad a la persuasión varió significamente. Llama fue el más persuadible (media $\Delta$TE $\approx$ +0.26), seguido de Grok, Qwen y GPT-4o. Notablemente, el modelo más persuadible (Llama-3.3-70B) era el más grande, mientras que el más resistente (Qwen3.5-9B) era el más pequeño, lo que indica que la escala no se correlaciona linealmente con la resistencia a la persuasión.
• Efectos de Autoridad: Para las afirmaciones absolutistas, una mayor autoridad a menudo intensificó el efecto de retroceso (TE negativo), particularmente en Llama y Grok, donde las fuentes de alta autoridad que desafiaban al modelo llevaban a un compromiso más fuerte con la postura original.

2. Correlaciones de Incertidumbre Interna

El estudio identificó "perfiles" distintos que vinculan la incertidumbre interna con la conducta, los cuales diferían por modelo:

• Qwen (Miscalibración de Confianza): La susceptibilidad del modelo a la persuasión (específicamente en afirmaciones sobrestimadas) se asoció significativamente con su Brecha de Calibración ($r = +0.18$). Qwen exhibió una miscalibración estática sustancial, y esta brecha predijo sus cambios conductuales.
• Llama (Cambio de Incertidumbre Interna): Su susceptibilidad se asoció significativamente con la Magnitud del Cambio de Entropía ($r = +0.19$). Llama estaba bien calibrado en la línea base, pero su comportamiento fue impulsado por cambios dinámicos en la incertidumbre interna (grandes cambios en la entropía) al encontrar evidencia conflictiva.

3. Robustez

Los hallazgos persistieron tras excluir temas de alta varianza y bajo análisis de correlación de Spearman. La distinción de los perfiles duales (miscalibración estática vs. cambio dinámico de entropía) se mantuvo robusta.

Significancia y Contribuciones

El artículo realiza tres contribuciones principales:

1. Elasticidad de la Confianza (TE): Introduce una métrica normalizada, inspirada en la econometría, para cuantificar la facilidad con la que los LLM son persuadidos por evidencia conflictiva, distinguiendo entre persuasión, retroceso y la inmunidad.
2. Heterogeneidad Conductual: Demuestra que la vulnerabilidad a la persuasión varía sustancialmente entre modelos y no es estrictamente una función de la escala del modelo. Establece que las afirmaciones claramente falsas provocan inmunidad, mientras que las sobrestimadas y absolutistas invitan a la revisión sistemática.
3. Vínculo entre el Comportamiento y el Estado Interno: El trabajo une las respuestas conductuales con las propiedades internas al mostrar que la variación entre modelos en la persuasión se asocia con indicadores específicos de incertidumbre interna. Crucialmente, encuentra que diferentes modelos dependen de diferentes mecanismos internos para resolver la disonancia: la conducta de Qwen está ligada a la miscalibración estática de la confianza, mientras que la de Llama está ligada a los cambios dinámicos en la incertidumbre interna.

Los autores concluyen que estos hallazgos apuntan hacia intervenciones dirigidas a la incertidumbre interna como una dirección distinta y prometedora para la futura investigación en alineación, separada de las intervenciones que solo se dirigen a la salida verbal o a la calibración estática.

Limitaciones

Los autores señalan las siguientes limitaciones:

• Generalizabilidad: El estudio se limita a cuatro modelos y un único dominio (ciencias de la salud) en inglés.
• Diseño de Estímulos: Las contraafirmaciones fueron generadas por cada modelo para asegurar la adversarialidad, lo que significa que las comparaciones entre modelos reflejan la variación conjunta en el contenido de la contraafirmación y la susceptibilidad, en lugar de un conjunto de estímulos perfectamente emparejados.
• Causalidad: El análisis identifica asociaciones entre indicadores internos y el comportamiento, no mecanismos causales. Establecer la causalidad requeriría intervenciones dirigidas en las representaciones internas.
• Alcance: El análisis de nivel de logits se restringió a los modelos de pesos abiertos; los modelos solo de API se limitaron al análisis conductual.