Resumo Técnico: Destilação de Estados de Crença Bayesiana em Modelos de Linguagem para Negociação Auditável

Declaração do Problema

Agentes de negociação requerem a capacidade de inferir os valores ocultos de um oponente, atualizar essas crenças ao longo das rodadas de diálogo e selecionar ações sob incerteza. Embora Modelos de Linguagem de Grande Escala (LLMs) de ponta a ponta possam gerar diálogos de negociação fluentes, suas representações internas das crenças do oponente são tipicamente implícitas e opacas. Essa falta de transparência dificulta distinguir se a ação de um agente decorre de um modelo estável e atualizado do oponente ou de uma imitação superficial do diálogo. Por outro lado, modelos cognitivos bayesianos tradicionais oferecem priores, verossimilhanças e posteriores explícitos, mas frequentemente dependem de funções de verossimilhança projetadas manualmente que não escalonam para linguagem de negociação estratégica e livre. O desafio central é combinar a flexibilidade linguística dos LLMs com a interpretabilidade da inferência bayesiana para criar um agente de negociação que seja tanto eficaz quanto auditável.

Metodologia: A Estrutura BOND

Os autores propõem o BOND (Destilação de Crença do Oponente Bayesiana para Negociação), uma estrutura modular que separa a interpretação da linguagem, a revisão de crenças e a seleção de ações. O sistema opera no domínio de negociação CaSiNo, onde dois participantes negociam três itens (Comida, Água, Lenha) com ordenações de prioridade privadas. O espaço de hipóteses consiste em seis ordenações de prioridade possíveis ($\Theta$, onde $|\Theta|=6$).

1. O Professor Bayesiano

O agente professor funciona como um "estimador de verossimilhança" em vez de uma política de caixa preta. Sua arquitetura envolve quatro etapas:

• Pontuação de Linguagem: Um LLM (Llama-3.1-8B-Instruct com LoRA) pontua a compatibilidade do contexto de diálogo observado contra cada uma das seis ordenações de prioridade candidatas do oponente. Essas pontuações servem como sinais semelhantes a verossimilhanças.
• Atualização Bayesiana: Um módulo bayesiano converte essas pontuações em uma distribuição posterior sobre as seis ordenações usando a fórmula:
  $$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$$
  onde $\tilde{L}_t$ representa a pontuação de verossimilhança escalonada por temperatura e limitada. O prior é inicialmente uniforme.
• Pontuação do Menu: O agente enumera alocações viáveis e as pontua com base em sua própria utilidade e na utilidade esperada do oponente, marginalizada sobre a distribuição posterior.
• Decisão: O agente seleciona uma ação (aceitar, rejeitar, contra-ofertar, etc.) com base nas pontuações do menu.

2. Destilação para o Aluno

Os autores destilam o professor bayesiano em um modelo aluno de 8B menor. Diferentemente de agentes padrão de ponta a ponta, o aluno é treinado para emitir uma saída estruturada e marcada que inclui:

• <posterior>: Uma distribuição de probabilidade normalizada sobre as seis ordenações de prioridade do oponente.
• <selected_intent>: A ação escolhida (ex: submeter, aceitar, rejeitar).
• <selected_content>: A alocação específica, se aplicável.
• <utterance>: A resposta em linguagem natural.

Este design externaliza o estado de crença, permitindo que seja pontuado e inspecionado a cada rodada.

3. Protocolo de Avaliação

O sistema é avaliado em um conjunto retido de 150 diálogos CaSiNo (1.054 previsões em nível de rodada). As métricas-chave incluem:

• Pontuação Brier do Posterior: Mede a calibração da distribuição de probabilidade prevista contra a ordenação real do oponente.
• Previsão de Aceitação (F1): Precisão das decisões de aceitar/rejeitar.
• Semelhança de Lance: Semelhança de cosseno entre alocações previstas e humanas.
• Diagnósticos de Auditabilidade: Decomposição de erros em "erros de crença" (posterior errado) versus "erros de política" (ação errada dado o posterior) e intervenções onde a tag do posterior é forçadamente substituída.

Resultados Principais

Calibração do Posterior e Destilação

• Desempenho do Professor: O professor bayesiano alcança uma pontuação Brier média de 0,085 sobre as seis hipóteses de prioridade do oponente, superando significativamente a referência uniforme de $5/36 \approx 0,139$.
• Desempenho do Aluno: O aluno destilado de 8B preserva grande parte desse sinal, alcançando uma pontuação Brier de 0,114. Isso também está bem abaixo da referência uniforme, indicando que o aluno aprende com sucesso a emitir estados de crença calibrados.
• Comparação com a Linha de Base de 70B: Uma linha de base estruturada de Cadeia de Pensamento (CoT) de 70B alcança uma maior F1 de Aceitação (0,947 vs. 0,908), mas falha em fornecer um posterior calibrado. Quando forçada a emitir um posterior via auto-consistência, a linha de base de 70B alcança uma pontuação Brier de 0,194, que é pior que a referência uniforme e significativamente pior que o aluno de 8B.

Auditabilidade e Decomposição de Erros

• Separação de Erros: A análise de 181 rodadas de decisão revela que erros de crença e erros de ação são separáveis. Por exemplo, 67 rodadas tiveram a crença MAP (Máximo A Posteriori) correta, mas uma ação inconsistente, enquanto 27 rodadas tiveram uma crença errada, mas uma ação consistente com essa crença errada.
• Limites de Intervenção: Quando a tag do posterior foi forçadamente substituída pela verdade fundamental (intervenção de prefixo correto) ou por um valor incorreto (intervenção de prefixo adversarial), a ação do aluno mudou em apenas 1,5% a 1,8% dos casos. Isso sugere que, embora o aluno aprenda a relatar crenças com precisão, o acoplamento causal entre o posterior relatado e a seleção de ação (a dependência "posterior $\to$ planejador") é mais fraco no aluno destilado do que no professor.

Achados de Ablação

• Contexto Completo vs. Incremental: O professor depende da pontuação do contexto de diálogo completo. Uma abordagem incremental (pontuar apenas a última fala) falhou, produzindo posteriores piores que o uniforme, indicando que o mecanismo de atenção do LLM é crucial para a integração de evidências temporais.
• Papel das Tags: Remover a tag do posterior durante o treinamento (Aluno apenas de Ação) resultou em métricas de decisão ligeiramente melhores (F1 de Aceitação 0,921), confirmando que o valor primário da tag do posterior é a inspeção, não o desempenho da decisão.

Significado e Alegações

O artigo não afirma que o aluno destilado é a política de negociação superior em termos de resultados de vitória; na verdade, a linha de base de 70B supera-o nas métricas de decisão. Em vez disso, o significado do BOND reside na auditabilidade:

1. Estados de Crença Externalizados: A estrutura destila com sucesso uma interface de crença válida e pontuável em um modelo menor. O aluno expõe uma distribuição posterior calibrada a cada rodada, permitindo que pesquisadores distingam entre falhas de "crença errada" e falhas de "crença certa/ação errada".
2. Transparência sobre Desempenho de Caixa Preta: O trabalho demonstra que um modelo menor (8B) pode expor um estado de crença válido que é melhor calibrado do que um modelo muito maior (70B) usando prompts estruturados.
3. Limitações da Destilação Atual: Os autores notam modestamente que a destilação padrão de Ajuste Fino Supervisionado (SFT) transfere o relato de crenças mais efetivamente do que o uso causal dessas crenças para a tomada de decisão. O acoplamento fraco entre crença e ação no aluno sugere que futuros agentes auditáveis exigirão decodificação restrita ou perdas de planejamento auxiliares para garantir que as ações sejam estritamente condicionadas às crenças relatadas.

Em resumo, o BOND fornece um método para tornar o modelo oculto do oponente de um agente de negociação explícito, destilável e pontuável, oferecendo uma nova lente diagnóstica para entender onde e por que agentes de negociação falham.