Resumo Técnico: Medindo a Portabilidade de Comportamento em Grandes Modelos de Linguagem

Declaração do Problema

Grandes modelos de linguagem (LLMs) são cada vez mais implantados como tomadores de decisão autônomos, mapeando entradas para distribuições de ações. Um desafio crítico em sua avaliação é a portabilidade comportamental: o quanto um mapeamento comportamental aprendido em um ambiente de decisão se transfere para outro ambiente que preserva a mesma estrutura de incentivos subjacente (características relevantes para o ganho/payoff) mas difere na apresentação superficial (enquadramento irrelevante para o ganho).

As práticas atuais de avaliação baseiam-se em suítes de prompts finitas, assumindo implicitamente que, uma vez fixada uma tarefa, a distribuição de ações induzida pelo modelo permanece estável sob enquadramentos de variáveis irrelevantes para o ganho. No entanto, essa suposição não foi testada e é potencialmente frágil. Se o comportamento de um LLM depender de características irrelevantes para o ganho (ex: tom narrativo, rótulos específicos ou enquadramento), avaliações finitas não podem certificar de forma confiável o desempenho em cenários de implantação em mundo aberto, onde o "contrato" entre o principal e o agente é incompleto. O artigo postula que, se um modelo estiver verdadeiramente alinhado aos objetivos de um avaliador, seu comportamento deve depender apenas de variáveis relevantes para o ganho ($x$) e ser invariante a variáveis irrelevantes para o ganho ($z$).

Metodologia

Estrutura Conceitual

Os autores formalizam um ambiente de decisão como $e = (x, z)$, onde $x$ representa características relevantes para o ganho e $z$ representa características irrelevantes para o ganho.

• Alinhamento: Uma política $\pi$ está alinhada se ela seleciona a distribuição de ações que maximiza a utilidade para um dado $x$, independentemente de $z$.
• Portabilidade: Uma política é $T$-portável se um resumo comportamental $T$ (ex: a distribuição de ações) depende apenas de $x$.
• Implicação Teórica: Sob uma condição de unicidade para o ótimo do avaliador, o alinhamento implica portabilidade. Consequentemente, um modelo comportamental ajustado em ambientes de origem usando apenas $x$ deve prever o comportamento em um ambiente de destino retido (com a mesma distribuição de $x$) tão acuradamente quanto um modelo ajustado diretamente nos dados do destino.

Protocolo Empírico

Os autores introduzem um protocolo treinar-nos-ambientes, testar-em-outro para medir a portabilidade:

1. Seleção de Tarefas: Sete problemas econômicos canônicos são utilizados: Ditador, Ultimato, Confiança, Bens Públicos, Concurso de Beleza, Escolha de Loterias e Jogos de Forma Normal. Essas tarefas oferecem estruturas de ganho transparentes e de baixa dimensionalidade.
2. Geração de Ambientes: Para cada tarefa, 40 ambientes textuais distintos ($z$) são gerados. Eles variam em enquadramento narrativo, metáforas e estilo, mantendo os parâmetros de ganho ($x$) e os espaços de ação idênticos.
3. Coleta de Dados: Os LLMs são consultados através desses ambientes com variados parâmetros de ganho. As ações são extraídas e analisadas.
4. Ajuste de Modelo:
   • Treinado na Origem (Source-trained): Um modelo comportamental interpretável (Regressão de Mínimos Quadrados Ordinários) é ajustado em dados agrupados de um subconjunto de ambientes de origem, mapeando $x$ para ações previstas.
   • Treinado no Destino (Target-trained): A mesma arquitetura de modelo é ajustada diretamente nos dados de um ambiente de teste retido.
5. Avaliação: Ambos os modelos são avaliados no conjunto de teste do ambiente de destino retido.
6. Métrica: A métrica primária é a distância de Variação Total (TV) entre a distribuição conjunta de (ação prevista, ação realizada) induzida pelo modelo treinado na origem versus o modelo treinado no destino no ambiente de destino.
   • Esta métrica é agnóstica à perda: Uma distância TV de $\epsilon$ implica que, para qualquer critério de avaliação limitado definido sobre o par previsão-ação, a diferença esperada de desempenho entre os dois modelos é, no máximo, $\epsilon$.

Modelos e Condições

O estudo avalia vários modelos: GPT-4.1-nano, Gemma-3-12B, Llama-3.1-8B, Llama-3.1-70B e DeepSeek-R1. Os experimentos são conduzidos sob dois regimes de prompting:

• Não-CoT (Non-CoT): Geração de resposta direta.
• Cadeia de Pensamento (CoT - Chain-of-Thought): Raciocínio passo a passo seguido por uma resposta.

Principais Resultados

1. Perdas Substanciais de Portabilidade

O estudo descobre que a portabilidade comportamental é imperfeita em todos os modelos testados.

• Magnitude: A distância TV média entre modelos e jogos é de 0,349, indicando uma divergência significativa. Isso implica que um mapeamento comportamental aprendido em uma redação frequentemente falha em prever o comportamento em uma alternativa equivalente em termos de ganho.
• Variância por Tarefa: A portabilidade varia conforme o tipo de tarefa.
  • Alta Portabilidade: Escolha de Loterias (TV $\approx$ 0,052), onde as decisões são explicitamente quantitativas.
  • Baixa Portabilidade: Tarefas sociais e estratégicas como Ditador (TV $\approx$ 0,525), Confiança (TV $\approx$ 0,525) e Ultimato (TV $\approx$ 0,480). Estas tarefas, envolvendo justiça, cooperação ou reciprocidade, mostram a maior sensibilidade ao enquadramento.

2. Impacto da Cadeia de Pensamento (CoT)

O prompting CoT melhora a portabilidade em média, mas não o faz de forma monotônica ou uniforme.

• Melhoria Média: O CoT reduz a distância TV média em 0,047 (12,6%) comparado ao Não-CoT.
• Heterogeneidade: O efeito do CoT depende da interação entre o modelo, a tarefa específica e o enquadramento.
  • Em jogos de Forma Normal, o CoT reduz drasticamente a perda de portabilidade (ex: -79,7% para GPT-4.1-nano), provavelmente ao ancorar o raciocínio à matriz de ganhos explícita.
  • Nos jogos de Ultimato e Ditador, o CoT às vezes aumenta a perda de portabilidade (ex: +21,3% para GPT-4.1-nano em Ultimato), sugerindo que os rastros de raciocínio podem amplificar a sensibilidade a narrativas de justiça ou redações específicas em vez de abstrair delas.
• Diagnóstico: Adicionar indicadores de ambiente aos modelos preditivos aumenta o $R^2$ mais sob Não-CoT do que sob CoT, confirmando que o CoT reduz, mas não elimina, a dependência residual de enquadramentos irrelevantes para o ganho.

3. Modelos de Raciocínio

O DeepSeek-R1, um modelo especializado em raciocínio, demonstra portabilidade superior nas tarefas onde foi testado (Escolha de Loterias, Concurso de Beleza, Forma Normal).

• Ele se posiciona consistentemente próximo à melhor fronteira de portabilidade observada.
• Mecanismo: O DeepSeek-R1 exibe alta "ancoragem numérica", mencionando parâmetros relevantes para o ganho em quase 100% das respostas. Seus motivos de raciocínio são organizados em torno de estruturas formais de tarefas (ex: valor esperado, equilíbrio de Nash) em vez de narrativas específicas de enquadramento.
• Suporte de Nash: Em jogos de Forma Normal, o DeepSeek-R1 seleciona ações suportadas por um equilíbrio de Nash em 99,5% dos casos, superando significativamente os outros modelos.

Significância e Alegações

O artigo alega fornecer um framework formal e evidência empírica de que caracterizações comportamentais de LLMs obtidas em um ambiente de decisão não podem ser assumidas como transferíveis de forma confiável para alternativas estruturalmente equivalentes.

• Implicações de Avaliação: Os resultados desafiam a prática padrão de extrapolar o desempenho de suítes de prompts finitas para variantes textuais não vistas. Se a portabilidade é baixa, o comportamento de um modelo em uma suíte de teste pode não refletir seu comportamento em implantação, mesmo que os incentivos subjacentes sejam idênticos.
• Alinhamento: Os achados sugerem que os LLMs atuais não estão totalmente "alinhados" no sentido de serem invariantes a características irrelevantes para o ganho. Seus processos de tomada de decisão são sensíveis ao "contrato" da forma superficial do prompt.
• Robustez: Embora o CoT e modelos especializados em raciocínio (como o DeepSeek-R1) possam melhorar a portabilidade ao recuperar a estrutura subjacente relevante para o ganho, eles não garantem isso. A sensibilidade ao enquadramento permanece uma propriedade fundamental dos modelos testados.

O estudo conclui que a portabilidade é um objeto empírico a ser medido, não uma propriedade que possa ser certificada por uma suíte finita, e que alcançar verdadeira portabilidade comportamental em LLMs continua sendo um desafio significativo.