🤖 AI

Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

Este artículo investiga la brecha de fidelidad en los agentes de LLM dentro de un simulador controlado de Texas Hold'em Poker, revelando que, si bien los agentes a menudo fallan al alinear su razonamiento declarado con sus conclusiones, paradójicamente actúan de acuerdo con sus conclusiones incluso cuando dichas conclusiones contradicen su propio razonamiento.

Autores originales: Yufeng Wang

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yufeng Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás observando a un grupo de agentes de IA jugando una partida de póker de alto riesgo. Les pides que expliquen su razonamiento antes de realizar un movimiento. Ellos te dicen: "Tengo una mano fuerte, las probabilidades están a mi favor, así que debería subir la apuesta". Entonces, se retiran (fold).

Este artículo plantea una pregunta simple pero complicada: ¿Estos agentes de IA realmente hacen lo que dicen que van a hacer, o solo están inventando excusas después de los hechos?

Los investigadores configuraron un simulador de póker controlado para encontrar la respuesta. En lugar de adivinar, dividieron el proceso de toma de decisiones de la IA en dos pasos distintos, como el lanzamiento de un cohete de dos etapas.

Los dos pasos de la decisión de una IA

Paso 1: El "Cerebro" (Razonamiento → Conclusión)
Aquí es donde la IA observa las cartas, calcula las probabilidades y decide lo que cree que debería hacer.
- La analogía: Imagina a un meteorólogo mirando los datos. Ve que se acerca una tormenta y concluye: "Va a llover".
Paso 2: La "Mano" (Conclusión → Acción)
Aquí es donde la IA realmente presiona el botón para retirarse, igualar o subir la apuesta.
- La analogía: El meteorólogo le dice al presentador de noticias: "Va a llover", y el presentador lo anuncia al mundo.

La gran sorpresa: La "Mano" es honesta, pero el "Cerebro" miente

Los investigadores descubrieron que estos dos pasos se comportan de maneras completamente opuestas:

El Paso 2 (La Mano) es increíblemente confiable.
Una vez que la IA decide qué hacer, casi siempre hace exactamente eso. Si dice "Voy a subir la apuesta", sube la apuesta. La tasa de inconsistencia aquí es mínima (menos del 2%).
- La metáfora: La IA es como un robot muy obediente. Si le dices que recoja una taza, recoge la taza. No la suelta ni recoge una cuchara en su lugar.
El Paso 1 (El Cerebro) es donde reside el verdadero problema.
La IA a menudo calcula los números correctamente y establece las reglas correctamente, pero luego extrae una conclusión que no tiene sentido basado en esos números.
- La metáfora: Imagina que el meteorólogo mira los datos, ve una tormenta masiva y dice: "Los datos dicen que va a llover". Pero luego, por ninguna razón lógica, concluye: "Por lo tanto, estará soleado", y el presentador de noticias reporta: "Soleado".
- El hallazgo: En aproximadamente el 65% de los errores, la IA hizo bien las matemáticas pero luego se convenció a sí misma de no seguir la conclusión lógica. Decía: "Las probabilidades son buenas, pero tal vez no debería ser demasiado agresivo", y elegía un movimiento más seguro y débil. Es como una persona que sabe la matemática y dice "Ve", pero su intuición dice "Espera", e ignora la matemática.

La "Trampa de la Medición"

El artículo también señala un truco curioso que ocurrió en estudios previos. Algunos investigadores intentaron adivinar qué decidió la IA simplemente leyendo sus explicaciones largas y divagantes (texto libre).

El problema: Las explicaciones de la IA eran desordenadas. Podría decir: "Podría igualar, pero subir es mejor, aunque retirarse también es seguro". Un programa informático intentando adivinar la decisión final a partir de este desorden a menudo elegiría la opción incorrecta.
El resultado: Esto hacía parecer que la IA estaba mintiendo o cambiando de opinión el 22–26% de las veces.
La solución: Cuando los investigadores obligaron a la IA a escribir una etiqueta clara y específica como DECISIÓN: SUBIR, la tasa de "mentira" cayó casi a cero. La IA no estaba mintiendo; la herramienta de medición era mala leyendo esa escritura desordenada.

¿Por qué es esto importante?

Los investigadores intentaron solucionar el problema del "Cerebro" dándole a la IA las reglas de forma explícita (por ejemplo, "Si las probabilidades son altas, DEBES subir la apuesta"). Sorprendentemente, esto no ayudó. La IA seguía ignorando las reglas que se le ordenó seguir.

Esto sugiere que el problema no es que la IA no conozca las reglas o no pueda encontrarlas. El problema es que no puede aplicarlas de manera consistente. Conoce la regla, pero la anula con sus propios "sentimientos cualitativos" (como ser demasiado cautelosa).

La conclusión

Si estás construyendo agentes de IA para simulaciones sociales (como personas virtuales negociando o comerciando), no te limites a comprobar si hacen lo que dicen. Comprueba si lo que dicen sigue realmente su propia lógica.

La buena noticia: Si una IA dice que hará algo, probablemente lo hará.
La mala noticia: La razón que da para hacerlo puede estar completamente inventada o ser lógicamente errónea, incluso si los números parecen correctos.

El artículo concluye que para entender verdaderamente el comportamiento de la IA, debemos dejar de observar solo el movimiento final y empezar a auditar las matemáticas detrás de la decisión, porque es ahí donde se esconde la verdadera "brecha de fidelidad".

Resumen Técnico: Localizando la Brecha de Fidelidad en Agentes LLM

Declaración del Problema

El artículo aborda un problema crítico en la simulación social con Modelos de Lenguaje Extensos (LLM): la "brecha de fidelidad" (faithfulness gap), o la discrepancia entre el razonamiento declarado de un agente y su comportamiento real. Si bien trabajos previos han observado que los LLM pueden producir racionalizaciones superficiales que no gobiernan sus acciones (Park et al., 2023; Zhou et al., 2024), medir esta brecha en entornos sociales abiertos (por ejemplo, negociaciones, intercambios culturales) es difícil debido a la ausencia de una referencia de verdad fundamental para el comportamiento correcto. Los autores argumentan que, sin una referencia verificable, es imposible distinguir el comportamiento estratégico genuino de los artefactos del modelo o de las brechas de "saber-hacer" (Lin et al., 2026).

Metodología

Para crear un entorno controlado con una referencia verificable, los autores construyeron un simulador de Texas Hold'em poker donde cada asiento es ocupado por un agente LLM. El marco experimental se basa en tres componentes principales:

El Entorno: Una arena de Texas Hold'em donde un heurístico de umbral basado en la equidad sirve como una política de referencia reproducible. Para cada decisión, un calculador de equidad por Monte Carlo (500 simulaciones) determina la acción "correcta" (retirarse/fold, igualar/call, o subir la apuesta/raise) basándose en la equidad de la mano y las probabilidades del bote (pot odds).
Descomposición del Pipeline de Decisión: Los autores descomponen la brecha de fidelidad en dos pasos distintos:
- Razonamiento $\to$ Conclusión: ¿La decisión declarada del agente sigue lógicamente de sus propios datos de entrada declarados (equidad, pot odds) y de la regla que afirma seguir?
- Conclusión $\to$ Acción: ¿Ejecuta el agente la acción que explicitó en su traza de razonamiento?
Configuración Experimental: El estudio involucra tres familias de modelos: Claude Haiku 4.5, Gemini 2.5 Flash-Lite y DeepSeek-v4-pro (un modelo de razonamiento entrenado nativamente). Se prueban cuatro estrategias de prompt:
- Baseline: Encuadre de experto mínimo, sin solicitud de razonamiento.
- CoT (Cadena de Pensamiento): Instrucciones para "pensar paso a paso" y emitir una etiqueta DECISION explícita.
- Persona: Estilo de comportamiento impuesto (por ejemplo, "agresivo-estricto") sin solicitudes de razonamiento.
- GTO-constrained (Restringido por GTO): La regla de decisión (equidad vs. pot odds) se inyecta explícitamente en el prompt.
- GTO-verbose (Diagnóstico): Una estrategia específica que instruye a los agentes a generar líneas etiquetadas para Equidad, Pot Odds, Regla y Decisión para permitir un análisis de errores granular.

Contribuciones Clave

El artículo realiza cuatro contribuciones primarias:

Cautela en la Medición: Demuestra que las tasas de "infidelidad" reportadas son altamente sensibles a los métodos de extracción. La extracción de frases de texto libre arroja tasas de inconsistencia del 22–26%, mientras que el etiquetado de decisiones explícito reduce esto a menos del 2%, lo que sugiere que gran parte de la brecha reportada anteriormente es un artefacto de medición.
Localización de la Brecha: Al separar los pasos del pipeline, los autores muestran que la brecha de fidelidad se concentra en la etapa ascendente (upstream). Los agentes ejecutan sus decisiones declaradas con alta fidelidad (la relación Conclusión $\to$ Acción es fiable), pero frecuentemente derivan esas decisiones de manera inválida a partir de su propio razonamiento (la relación Razonamiento $\to$ Conclusión es poco fiable).
Caracterización del Fallo Ascendente: El modo de error dominante (65% de los fallos) es la "aplicación errónea de la regla". Los agentes estiman correctamente los datos de entrada y reiteran la regla, pero luego anulan la regla cuantitativa con un lenguaje cualitativo de vacilación (por ejemplo, "no significativamente por encima") en una dirección sistemáticamente adversa al riesgo. Inyectar la regla en el prompt no mitiga esto.
Instrumento de Fidelidad Portable: Los autores lanzan un banco de pruebas verificable y reproducible (código y una demo en vivo multi-agente) que puede adaptarse a simulaciones sociales más ricas para detectar la deriva de la personalidad (persona drift) y la racionalización superficial al nivel de paso.

Resultados

Consistencia Conclusión $\to$ Acción: Cuando se elicitan las conclusiones mediante etiquetas explícitas, las tasas de inconsistencia son insignificantes (0.0%–1.8% entre modelos). En contraste, los analizadores de texto libre reportan un 22–33% de inconsistencia, debido principalmente a que el analizador extrae la última acción candidata mencionada en lugar de la decisión final.
Validez Razonamiento $\to$ Conclusión: En el diagnóstico GTO-verbose, el 65% de las decisiones erróneas fueron causadas por la aplicación errónea de la regla. Los agentes calcularon correctamente la equidad y los pot odds (dentro de 0.15 de la verdad de Monte Carlo en el 68% de los casos) y enunciaron la regla correcta, pero extrajeron una conclusión que contradecía las matemáticas.
- Direccionalidad: Los errores no son equivocaciones aritméticas aleatorias. En el 97% de las aplicaciones erróneas de la regla, la regla implicaba "subir la apuesta" (raise), pero el agente eligió una acción pasiva (igualar o retirarse). Los agentes utilizaron consistentemente un lenguaje de vacilación para justarificar un comportamiento adverso al riesgo a pesar de tener probabilidades matemáticamente favorables.
Inyección de Prompt: La estrategia "GTO-constrained", que proporcionaba explícitamente la regla de decisión al modelo, no mejoró la adherencia. Las tasas de adherencia para esta estrategia estuvieron consistentemente en el nivel más bajo o cerca de él (47.9%–54.6%), confirmando que el cuello de botella es la aplicación de la regla, no su recuperación o comprensión.

Significancia y Reivindicaciones

El artículo sostiene que la preocupación central de distinguir el comportamiento estratégico genuino de los artefactos del modelo requiere un cambio en el enfoque de la evaluación.

Reevaluación de la Fidelidad: La aparente "infidelidad" de los LLM es a menudo un artefacto de medición causado por la forma en que se extraen las conclusiones. Cuando se mide correctamente, los agentes son altamente fieles a sus decisiones declaradas.
El Verdadero Modo de Fallo: El fallo sustantivo no es que los agentes ignoren su razonamiento, sino que realizan inferencias inválidas a partir de su propio razonamiento. Exponen premisas y reglas correctas, pero las anulan con juicios cualitativos y adversos al riesgo.
Implicaciones para la Simulación Social: En simulaciones sociales complejas, este fallo "ascendente" puede manifestarse como "deriva de la personalidad" (persona drift). Un agente puede articular una personalidad específica (por ejemplo, "agresivo") y razonar correctamente sobre ella, pero su acción final es arrastrada hacia un sesgo previo genérico y conservador. Debido a que esta deriva ocurre en el paso de derivación, es invisible para las comprobaciones de nivel de resultado o de nivel de conclusión.
Cambio Metodológico: Los autores abogan por evaluaciones de fidelidad de proceso que apunten a la derivación de conclusiones a partir del razonamiento y que requieran conclusiones explícitas verificables por máquinas para evitar confundir el ruido de medición con el comportamiento del modelo.

El artículo concluye que, si bien el póker no es una simulación social completa, proporciona un entorno de calibración necesario para exponer estas sondas de fidelidad a nivel de paso, que luego pueden portarse a dominios más complejos donde la verdad fundamental es más difícil de definir.