Resumen Técnico: Creencias Superficiales en la Toma de Decisiones de los LLM

Planteamiento del Problema

Este artículo investiga si los Modelos de Lenguaje de Gran Escala (LLM) poseen una estructura de decisión subyacente sistemática o si simplemente imitan el lenguaje de la creencia al tomar decisiones. Específicamente, aborda la brecha entre el comportamiento externo de un LLM (sus elecciones) y sus autoinformes explícitos (sus razones declaradas). Los autores se preguntan: ¿Exhiben los LLM prioridades estables, similares a las de una creencia, sobre los atributos en entornos de decisión binaria y, de ser así, son estas prioridades accesibles mediante la elicitación verbal directa?

Basándose en una perspectiva "superficialista" (Schwitzgebel, 2025), el artículo postula que la atribución de creencias debería depender de patrones estables en el comportamiento más que en la arquitectura interna. La hipótesis central es que, si bien las elecciones de los LLM pueden ser lo suficientemente sistemáticas como para sustentar una forma débil de "creencia superficial", las razones explícitas proporcionadas por los modelos pueden seguir de manera imperfecta los impulsores reales de esas elecciones.

Metodología

Diseño del Benchmark

Los autores construyeron un benchmark sintético para la toma de decisiones binaria que involucra:

• Estructura: 400 problemas de origen de entrenamiento y 100 de prueba, cada uno consistente en dos opciones (perfiles) definidas por cuatro atributos graduados (Bajo, Medio, Alto).
• Temas: Los atributos base se instancian a través de tres temas principales (Fármacos, Política, Software) y dos temas de control (reemplazando un atributo por otros irrelevantes: Simetría del Empaque o Grosor del Borde de la Etiqueta).
• Objetivos: Cada tema incluye un objetivo de optimización específico (p. ej., "Optimizar el resultado general del paciente a 5 años").
• Variantes: Cada problema se presenta en cuatro variantes de orden de prompts para probar la robustez frente al orden de los atributos.
• Muestreo: Cada prompt se muestrea tres veces para medir la consistencia.

Configuración Experimental

El estudio evalúa cuatro familias de modelos (GPT-5-mini, GPT-5-nano, Qwen3-14B, Ministral-3-14B) en dos entornos: No Pensante (NT) y Pensante (T).

Se comparan tres flujos de evaluación distintos:

1. Reporte Directo: Se le pide al modelo que elija una opción y declare el atributo más importante para esa elección.
2. Juez Basado en Puntuación: Se le pide al modelo que asigne una puntuación de decisividad $[0, 1]$ a cada uno de los cuatro atributos. Estas puntuaciones se basan en la dirección de la diferencia del atributo y se agregan (suma con signo) para inferir una elección y un "impulsor" (el atributo con la mayor contribución absoluta con signo).
3. Modelo de Comportamiento: Se ajusta una regresión logística binomial a las elecciones del conjunto de entrenamiento. El modelo utiliza las diferencias visibles de los atributos como predictores para aprender pesos globales ($\beta$). En el conjunto de prueba, este modelo predice la elección e identifica el "impulsor revelado" (el atributo que contribuye con mayor fuerza a la elección realmente observada del modelo).

Métricas de Evaluación

La comparación principal se realiza entre los impulsores explicitamente elicitados (del Reporte Directo y del Juez Basado en Puntuación) y el impulsor inferido por el comportamiento (de la Regresión Logística). La concordancia se mide en dos niveles:

• Nivel de Elección: ¿Predice el método explicitado la misma opción que el modelo de comportamiento?
• Nivel de Atributo: ¿Identifica el método explicitado el mismo "impulsor" que el modelo de comportamiento?

Contribuciones Clave

1. Benchmark Sintético: Introducción de un benchmark de decisión binaria controlado con atributos graduados, múltiples temas y variantes de control para aislar las estructuras de decisión del ruido semántico.
2. Metodología Operativa: Un marco para reconstruir las prioridades de decisión locales mediante el modelado del comportamiento y compararlas con métodos de elicitación explícita (Reporte Directo y Juez Basado en Puntuación).
3. Hallazgos Empíricos: Una demostración sistemática de que, si bien las elecciones de los LLM son altamente predecibles y estructuradas, las razones explícitas proporcionadas por los modelos (e incluso los jueces basados en puntuación) solo se alinean parcialmente con los impulsores inferidos por el comportamiento.

Resultados

Predicción de Elecciones

El modelo de comportamiento predice las elecciones de la muestra de prueba con alta precisión en todos los temas y modelos.

• Precisión Agregada: 8 4% de acuerdo entre la elección predicha por el modelo de comportamiento y la elección observada del modelo.
• Juez Basado en Puntuación: Logra un 71.7% de acuerdo con el objetivo de elección del modelo de comportamiento.
• Temas de Control: Los atributos irrelevantes son seleccionados raramente (<2%), confirmando que los modelos no eligen al azar, sino que responden a estructuras semánticamente significativas.

Recuperación de Atributos (El Hallazgo Central)

Existe una disociación significativa entre la elección y la razón declarada:

• Reporte Directo: El atributo nombrado por el modelo coincide con el impulsor revelado del modelo de comportamiento solo el 61.0% de las veces.
• Juez Basado en Puntuación: Coincide con el impulsor revelado el 61.3% de las veces.
• Conclusión: Ambos métodos explícitos proporcionan solo un acceso parcial a la estructura de decisión. El "atributo más importante" declarado por el modelo a menudo no se alinea con el atributo que matemáticamente impulsa su elección en el modelo de comportamiento.

Robustez y Perturbación

• Reproducibilidad: El Juez Basado en Puntuación es más reproducible a través de las variantes de prompt que los Reportes Directos, pero esto no recupera el impulsor conductual con mayor exactitud.
• Análisis de Intervención: La oclusión dirigida (eliminar o neutralizar un atributo) muestra que los atributos clasificados más alto por el modelo de comportamiento causan mayores disrupciones tanto en las elecciones como en los atributos declarados. Esto confirma que el modelo de comportamiento está recuperando una estructura relevante para el proceso de decisión real del modelo, incluso si el modelo no puede articularla explícitamente.

Significado y Reivindicaciones

El artículo argumenta a favor de una "creencia superficial de forma débil y local a la decisión" en los LLM.

1. Estructurado pero Opaco: Las decisiones de los LLM no son arbitrarias; exhiben una estructura local probabilística y sistemática sobre los atributos que permite una predicción precisa. Sin embargo, esta estructura no es totalmente transparente para el propio razonamiento del modelo.
2. Limitaciones del Autoinforme: La elicitación explícita (tanto la directa como la basada en puntuación) falla en recuperar plenamente los impulsores de decisión subyacentes. Los modelos se comportan como si estuvieran guiados por prioridades específicas, pero su acceso verbal a estas prioridades es limitado e imperfecto.
3. Reivindicaciones Modestas sobre la Creencia: Los autores no afirman que los LLM posean una "creencia plenamente articulada" en el sentido filosófico. En cambio, la evidencia respalda una visión donde el comportamiento muestra patrones estables (que justifican una atribución superficial de creencia) pero carece de la coherencia interna o el autoconocimiento requerido para afirmaciones más fuertes.
4. Reproducibilidad vs. Alineación: El estudio destaca que una mayor reproducibilidad en la salida (por ejemplo, mediante jueces basados en puntuación) no implica necesariamente una mayor alineación con la estructura de decisión subyacente.

El artículo concluye que, si bien los LLM muestran "creencias superficiales" en forma de disposiciones conductuales estables, estas son distintas de los razonamientos explícitos que generan, lo que sugiere una brecha entre el hacer y el decir en las arquitecturas actuales de los LLM.