Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

Resumo Técnico: Previsão de Decisões de Agentes de IA a Partir de Interações Limitadas por Meio de Modelagem Texto-Tabular

Formulação do Problema
O artigo aborda o desafio de prever a próxima decisão de um agente de IA baseado em linguagem, desconhecido (o "agente-alvo"), dado apenas um número limitado de históricos de interação anteriores ($K$ jogos). Em cenários como negociação automatizada ou compras, o Modelo de Linguagem de Grande Escala (LLM) subjacente do agente-alvo, os prompts do sistema, a lógica de controle e os fallbacks baseados em regras são ocultos. Cada ponto de decisão envolve uma mistura de estados de jogo estruturados (ofertas, números de rodada, pagamentos) e diálogo em texto livre. Os autores formulam isso como um problema de previsão texto-tabular adaptativa ao alvo. O objetivo é prever duas tarefas complementares:

1. Previsão de Resposta: Uma tarefa de classificação binária determinando se o alvo aceitará ou rejeitará uma oferta atual.
2. Previsão de Proposta: Uma tarefa de regressão estimando o valor da próxima oferta que o alvo fará.

O cenário exige adaptação a um novo agente sem acesso ao seu código interno ou prompts, confiando exclusivamente em $K$ exemplos rotulados de seu comportamento passado e em uma grande população fonte de agentes previamente observados.

Metodologia
A abordagem proposta afasta-se da instrução direta "LLM como Preditor" (onde um grande LLM é solicitado a prever a próxima jogada diretamente). Em vez disso, os autores empregam um modelo fundamental texto-tabular (TabPFN) que condiciona-se a uma representação multimodal do ponto de decisão. Os componentes principais são:

1. Modalidades de Características: Cada ponto de decisão é representado como uma única linha de tabela combinando três blocos de características:

   • Características de Estado do Jogo: Variáveis estruturadas incluindo parâmetros de configuração (por exemplo, fatores de desconto, valorações), índice da rodada, ofertas atuais e históricas, e histórico de decisões.
   • Representação de Diálogo: Embeddings semânticos genéricos do histórico de conversação, codificados via um transformador de sentenças (por exemplo, all-MiniLM-L6-v2) e reduzidos via PCA.
   • Representação do Observador (LLM como Observador): Um novo bloco de características onde um pequeno LLM congelado (por exemplo, Gemma-2-2B, Qwen3-1.7B) lê o estado público no momento da decisão e o diálogo. Crucialmente, a saída direta do LLM (sua decisão prevista) é descartada. Em vez disso, seus estados ocultos (especificamente das camadas da pilha superior, profundidade relativa 0,6–0,9) são extraídos e usados como um vetor de características de alta dimensão. Isso trata o LLM como um codificador de sinais relevantes para a decisão, em vez de um preditor direto.

2. Aprendizado Adaptativo ao Alvo: O modelo TabPFN é treinado em uma população fonte de agentes (13 LLMs de fronteira do benchmark GLEE) e adapta-se ao agente-alvo usando seus $K$ jogos observados como exemplos rotulados em contexto. O modelo combina regularidades em nível de população com evidências específicas do alvo sem re-treinamento baseado em gradiente.

3. Baselines: Os autores comparam seu modelo completo contra:

   • Características Jogo+Texto: O mesmo modelo tabular, mas sem as características de estado oculto do Observador.
   • LLM como Preditor: Um LLM de fronteira instruído diretamente com o estado do jogo, o diálogo e $K$ exemplos para produzir uma previsão.

Principais Contribuições

1. Formulação: O artigo reestrutura a previsão few-shot de agentes baseados em linguagem como uma tarefa texto-tabular adaptativa ao alvo, utilizando $K$ jogos anteriores como exemplos de adaptação rotulados.
2. LLM como Observador: A introdução de um bloco de características orientado à decisão onde um LLM congelado atua como um codificador. Os autores demonstram que os estados ocultos de um pequeno LLM congelado fornecem sinais complementares e relevantes para a decisão que não são expostos de forma confiável na saída direta do modelo.
3. Conjunto de Dados e Avaliação Cross-População: Os autores introduzem um conjunto de dados retido de 91 agentes "scaffolded" (construídos por estudantes usando um LLM subjacente compartilhado, mas variando em prompts e lógica de controle) e avaliam a transferência de uma população fonte de LLMs de fronteira (variando no modelo subjacente). Isso testa a robustez dos preditores através de diferentes eixos de heterogeneidade de agentes.

Resultados
Experimentos foram conduzidos em jogos de barganha e negociação do framework GLEE.

• Desempenho: O modelo texto-tabular completo com características do Observador supera tanto a baseline "Jogo+Texto" quanto a abordagem direta "LLM como Preditor" em todos os valores de $K$ (0 a 16).
• Contribuição do Observador: Em $K=16$, as características do Observador melhoram o AUC de Previsão de Resposta em aproximadamente 4 pontos percentuais sobre a melhor baseline e reduzem o erro de Previsão de Proposta (medido pela mediana $R^2$) em 14% em tarefas de barganha.
• Estados Ocultos vs. Saída Direta: Estudos de ablação confirmam que o poder preditivo vem dos estados ocultos do LLM, e não de seus logits diretos. Os estados ocultos consistentemente superam as próprias probabilidades de aceitar/rejeitar do LLM, sugerindo que codificam informações estratégicas que o cabeçalho de saída não consegue trazer à tona.
• Robustez: Os ganhos das características do Observador são estáveis entre diferentes provedores de LLMs congelados (Gemma, Qwen, Llama) e através de camadas médias a tardias, indicando que o sinal é uma propriedade intrínseca da representação.
• Limitações do LLM como Preditor: A instrução direta com grandes LLMs de fronteira desempenha mal na previsão de propostas (regressão), frequentemente produzindo pontuações $R^2$ negativas, provavelmente devido à dificuldade de calibrar a geração de tokens autoregressiva para valores numéricos contínuos em comparação com as capacidades de regressão do modelo tabular.

Significado e Alegações
O artigo alega que prever as decisões de agentes de IA desconhecidos é melhor estruturado como um problema de aprendizado texto-tabular adaptativo ao alvo do que como previsão few-shot direta por LLM. O significado reside em demonstrar que:

• Separar representação (extraída via um codificador LLM congelado) de adaptação (realizada por um aprendiz tabular supervisionado) produz desempenho superior.
• Representações ocultas de LLM expõem sinais relevantes para a decisão que a instrução direta não revela de forma confiável, mesmo ao usar modelos menores e congelados em comparação com grandes modelos de fronteira.
• Esta abordagem permite uma adaptação eficaz a novos agentes engenheirados (agentes scaffolded) usando uma população fonte reutilizável, sugerindo uma receita geral para modelar a tomada de decisão de agentes de IA desconhecidos no comércio mediado por linguagem.

Os autores notam limitações, incluindo que os jogos são abstrações controladas em vez de mercados reais, e que o método assume acesso a uma população fonte relevante. Eles enfatizam que a abordagem é um passo em direção a agentes conscientes de previsão que podem se adaptar a parceiros sem compartilhar estados privados.