Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

Resumen Técnico: Predicción de Decisiones de Agentes de IA a partir de Interacciones Limitadas mediante Modelado Texto-Tabular

Formulación del Problema
El artículo aborda el desafío de predecir la siguiente decisión de un agente de IA basado en lenguaje desconocido (el "agente objetivo") dado únicamente un número limitado de historiales de interacción previa ($K$ juegos). En escenarios como la negociación automatizada o la adquisición, el Modelo de Lenguaje Grande (LLM) subyacente del agente objetivo, los prompts del sistema, la lógica de control y los respaldos basados en reglas permanecen ocultos. Cada punto de decisión implica una mezcla de estados de juego estructurados (ofertas, números de ronda, pagos) y diálogos de texto libre. Los autores formulan esto como un problema de predicción texto-tabular adaptativa al objetivo. El objetivo es predecir dos tareas complementarias:

1. Predicción de Respuesta: Una tarea de clasificación binaria que determina si el objetivo aceptará o rechazará una oferta actual.
2. Predicción de Propuesta: Una tarea de regresión que estima el valor de la siguiente oferta que hará el objetivo.

El escenario requiere adaptarse a un nuevo agente sin acceso a su código interno o prompts, confiando únicamente en $K$ ejemplos etiquetados de su comportamiento pasado y en una gran población fuente de agentes previamente observados.

Metodología
El enfoque propuesto se aparta del prompting directo de "LLM como Predictor" (donde se pide a un LLM grande que prediga directamente el siguiente movimiento). En su lugar, los autores emplean un modelo fundacional texto-tabular (TabPFN) que se condiciona sobre una representación multimodal del punto de decisión. Los componentes centrales son:

1. Modalidades de Características: Cada punto de decisión se representa como una sola fila de tabla que combina tres bloques de características:

   • Características del Estado del Juego: Variables estructuradas que incluyen parámetros de configuración (por ejemplo, factores de descuento, valoraciones), índice de ronda, ofertas actuales e históricas, e historial de decisiones.
   • Representación del Diálogo: Embeddings semánticos genéricos del historial de conversación, codificados mediante un transformador de oraciones (por ejemplo, all-MiniLM-L6-v2) y reducidos mediante PCA.
   • Representación del Observador (LLM como Observador): Un bloque de características novedoso donde un LLM pequeño y congelado (por ejemplo, Gemma-2-2B, Qwen3-1.7B) lee el estado público en el momento de la decisión y el diálogo. Crucialmente, la salida directa del LLM (su decisión predicha) se descarta. En su lugar, sus estados ocultos (específicamente de las capas de la pila superior, profundidad relativa 0.6–0.9) se extraen y utilizan como un vector de características de alta dimensión. Esto trata al LLM como un codificador de señales relevantes para la decisión en lugar de un predictor directo.

2. Aprendizaje Adaptativo al Objetivo: El modelo TabPFN se entrena sobre una población fuente de agentes (13 LLMs de vanguardia del benchmark GLEE) y se adapta al agente objetivo utilizando sus $K$ juegos observados como ejemplos etiquetados en contexto. El modelo combina regularidades a nivel de población con evidencia específica del objetivo sin reentrenamiento basado en gradientes.

3. Líneas Base: Los autores comparan su modelo completo contra:

   • Características Juego+Texto: El mismo modelo tabular pero sin las características de estado oculto del Observador.
   • LLM como Predictor: Un LLM de vanguardia condicionado directamente con el estado del juego, el diálogo y los $K$ ejemplos para generar una predicción.

Contribuciones Clave

1. Formulación: El artículo reformula la predicción con pocos ejemplos de agentes basados en lenguaje como una tarea texto-tabular adaptativa al objetivo, utilizando $K$ juegos previos como ejemplos de adaptación etiquetados.
2. LLM como Observador: La introducción de un bloque de características orientado a la decisión donde un LLM congelado actúa como codificador. Los autores demuestran que los estados ocultos de un LLM pequeño y congelado proporcionan señales complementarias y relevantes para la decisión que no se exponen de manera fiable en la salida directa del modelo.
3. Conjunto de Datos y Evaluación Transpoblacional: Los autores introducen un conjunto de datos retenido de 91 agentes "andamiados" (construidos por estudiantes utilizando un LLM subyacente compartido pero variando en prompts y lógica de control) y evalúan la transferencia desde una población fuente de LLMs de vanguardia (que varían en el modelo subyacente). Esto prueba la robustez de los predictores a través de diferentes ejes de heterogeneidad de agentes.

Resultados
Se realizaron experimentos en juegos de regateo y negociación del marco GLEE.

• Rendimiento: El modelo texto-tabular completo con características de Observador supera tanto a la línea base "Juego+Texto" como al enfoque directo "LLM como Predictor" en todos los valores de $K$ (de 0 a 16).
• Contribución del Observador: En $K=16$, las características del Observador mejoran el AUC de Predicción de Respuesta en aproximadamente 4 puntos porcentuales sobre la mejor línea base y reducen el error de Predicción de Propuesta (medido por la mediana de $R^2$) en un 14% en tareas de regateo.
• Estados Ocultos vs. Salida Directa: Los estudios de ablación confirman que el poder predictivo proviene de los estados ocultos del LLM, no de sus logits directos. Los estados ocultos superan consistentemente a las propias probabilidades de aceptar/rechazar del LLM, lo que sugiere que codifican información estratégica que la cabeza de salida no logra revelar.
• Robustez: Las ganancias de las características del Observador son estables entre diferentes proveedores de LLMs congelados (Gemma, Qwen, Llama) y a través de capas medias a tardías, lo que indica que la señal es una propiedad intrínseca de la representación.
• Limitaciones del LLM como Predictor: El prompting directo con grandes LLMs de vanguardia tiene un rendimiento deficiente en la predicción de propuestas (regresión), a menudo arrojando puntuaciones de $R^2$ negativas, probablemente debido a la dificultad de calibrar la generación de tokens autoregresiva para valores numéricos continuos en comparación con las capacidades de regresión del modelo tabular.

Significado y Afirmaciones
El artículo afirma que predecir las decisiones de agentes de IA desconocidos se formula mejor como un problema de aprendizaje texto-tabular adaptativo al objetivo que como una predicción few-shot directa con LLM. El significado radica en demostrar que:

• Separar la representación (extraída mediante un codificador de LLM congelado) de la adaptación (realizada por un aprendiz tabular supervisado) produce un rendimiento superior.
• Las representaciones ocultas de los LLM exponen señales relevantes para la decisión que el prompting directo no revela de manera fiable, incluso cuando se utilizan modelos más pequeños y congelados en comparación con modelos grandes de vanguardia.
• Este enfoque permite una adaptación efectiva a nuevos agentes diseñados (agentes andamiados) utilizando una población fuente reutilizable, sugiriendo una receta general para modelar la toma de decisiones de agentes de IA desconocidos en el comercio mediado por lenguaje.

Los autores señalan limitaciones, incluyendo que los juegos son abstracciones controladas en lugar de mercados reales, y que el método asume el acceso a una población fuente relevante. Enfatizan que el enfoque es un paso hacia agentes conscientes de la predicción que pueden adaptarse a socios sin compartir estados privados.