TriEx: A Game-based Tri-View Framework for Explaining Internal Reasoning in Multi-Agent LLMs

Resumen Técnico: TriEx

1. El Problema

La explicabilidad (XAI) de los Agentes de Modelos de Lenguaje Grande (LLM) presenta desafíos críticos en entornos interactivos y parcialmente observables, como juegos de estrategia o negociación.

• Limitaciones actuales: Los métodos existentes (como las justificaciones Chain-of-Thought o la atribución de características) se han diseñado principalmente para tareas estáticas de una sola vuelta. No capturan la dinámica de creencias dependiente de la interacción ni el razonamiento multi-agente.
• La brecha de confianza: Observaciones recientes (ej. AlphaArena) muestran que, aunque los LLMs pueden tener un buen rendimiento, sus explicaciones en lenguaje natural a menudo divergen de sus decisiones reales, sugiriendo racionalización post-hoc y falta de fidelidad.
• Falta de modelos internos: No existen marcos robustos para exponer cómo los LLMs modelan a otros agentes (sus preferencias, tendencias y perfiles estratégicos) y cómo estas representaciones internas moldean sus decisiones futuras.

2. Metodología: El Framework TriEx

Los autores proponen TriEx, un marco de explicabilidad de "tres vistas" que instrumenta la toma de decisiones secuenciales con artefactos alineados. El marco se basa en la cognición social humana y utiliza juegos de estrategia imperfecta (Texas Hold'em de Poker) como banco de pruebas controlado.

TriEx registra una traza de decisión estructurada en cada punto de decisión que contiene tres perspectivas complementarias:

1. Vista de Primera Persona (Self-Reasoning):

   • Captura la justificación del agente antes de ejecutar la acción.
   • Se estructura como un artefacto con un narrativo libre y un registro JSON estructurado que compromete al agente a una acción concreta y declara variables internas (ej. fuerza de la mano, actitud de riesgo).
   • Funciona como una hipótesis comprobable sobre el proceso de razonamiento interno.

2. Vista de Segunda Persona (Modelado de Oponentes):

   • Expone cómo el agente modela a los demás jugadores.
   • Mantiene un perfil de oponente explícito actualizado incrementalmente tras cada interacción.
   • El perfil incluye un vector de creencias latentes sobre dimensiones conductuales interpretables (ej. agresividad, tolerancia al riesgo, frecuencia de bluff) y un resumen cualitativo.
   • Permite analizar si las creencias del agente son estables, se actualizan con la evidencia y son sensibles a intervenciones.

3. Vista de Tercera Persona (Auditoría Oracle):

   • Utiliza un "Oracle" (un LLM evaluador o reglas deterministas) para auditar la consistencia entre las tres vistas anteriores y las señales de referencia objetivas del entorno (ej. probabilidades del bote, equidad de la mano).
   • Evalúa la fidelidad de la explicación de primera persona y la coherencia de las creencias de segunda persona.
   • Diseñado para ser escalable y reducir sesgos mediante el uso de múltiples modelos LLM como evaluadores.

3. Contribuciones Clave

• Nuevo Marco Tri-View: Introducción de TriEx, que transforma las explicaciones de narrativas libres a objetos anclados en evidencia, permitiendo comparaciones cruzadas a lo largo del tiempo y entre perspectivas.
• Explicabilidad Comprobable: Hace que la explicabilidad de los agentes sea testeable mediante:
  • Verificaciones cruzadas de fidelidad entre explicación y acción.
  • Pruebas de sensibilidad causal de las creencias mediante intervenciones controladas.
  • Evaluación de la fiabilidad de los evaluadores (LLMs) entre sí.
• Benchmark de Evaluación: Propone TriEx no solo como herramienta de análisis, sino como un benchmark para generar perfiles de modelos multidimensionales (estilo de decisión, alineación de creencias, estabilidad).

4. Resultados Experimentales

Los experimentos se realizaron en mesas mixtas de Texas Hold'em con varios LLMs (GPT-4, DeepSeek, Llama, etc.) y jugadores algorítmicos de referencia. Se identificaron seis hallazgos principales:

• Hallazgo 1 (Fidelidad sensible a la complejidad): La fidelidad de las explicaciones de primera persona degrada sistemáticamente a medida que aumenta la complejidad de la interacción. En fases iniciales (pre-flop), las explicaciones son fieles; en fases posteriores (post-flop), aumenta drásticamente la racionalización post-hoc (justificaciones que no coinciden con la decisión real).
• Hallazgo 2 (Interpretaciones divergentes): Los agentes forman creencias internas estables sobre otros. Las creencias sobre acciones superficiales (agresividad) convergen entre modelos, pero las interpretaciones de alto nivel (tolerancia al riesgo) divergen sistemáticamente, revelando semánticas internas específicas de cada modelo.
• Hallazgo 3 (Sensibilidad causal): Las creencias de segunda persona son funcionalmente significativas. La intervención controlada en los vectores de creencia (ej. aumentar artificialmente la "agresividad" percibida de un oponente) induce cambios direccionales y consistentes en las políticas de decisión del agente, demostrando que estas creencias no son solo decorativas.
• Hallazgo 4 (Fiabilidad de la auditoría): La fiabilidad de la evaluación por parte de LLMs es sensible a la complejidad. Los evaluadores coinciden en señales de racionalidad de decisiones, pero su fiabilidad disminuye en estados complejos o de alta incertidumbre.
• Hallazgo 5 (Jerarquía de fiabilidad): Existe una jerarquía clara en la evaluación: las juicios categóricos y basados en rangos (ej. "¿Es más agresivo A que B?") son robustos y consistentes entre diferentes modelos evaluadores. En cambio, los puntuaciones escalares absolutas son inestables y dependen del modelo evaluador.
• Hallazgo 6 (Consistencia cruzada): Los modelos LLM muestran un alto acuerdo en el ordenamiento relativo de la fidelidad de las explicaciones, a pesar de tener diferentes calibraciones de puntuación absoluta.

5. Significado e Impacto

• Cambio de Paradigma: TriEx sugiere que la explicabilidad en agentes de lenguaje no es una propiedad aislada, sino dependiente de la interacción. No basta con preguntar "¿por qué lo hiciste?", sino que se debe analizar la relación entre lo que el agente dice, lo que cree sobre los demás y lo que hace en un contexto dinámico.
• Herramienta Diagnóstica: Proporciona un método para identificar fallos sistemáticos en el razonamiento de los LLMs (ej. cuándo racionalizan en lugar de razonar) y para entender cómo modelan a otros agentes.
• Guía para Futuras Investigaciones: Sugiere que las futuras evaluaciones de agentes deben priorizar juicios comparativos y estructurados sobre puntuaciones absolutas, y que es necesario desarrollar mecanismos de anclaje de creencias (grounding) para conceptos abstractos como el riesgo.
• Aplicabilidad General: Aunque probado en póker, el marco es aplicable a cualquier entorno interactivo con incertidumbre y razonamiento social (negociación, planificación colaborativa, sistemas de recomendación).

En conclusión, TriEx ofrece una metodología rigurosa para desentrañar la "caja negra" de los agentes LLM en entornos multi-agente, revelando que la explicabilidad es un fenómeno complejo, dependiente del contexto y que requiere validación desde múltiples perspectivas para ser fiable.