Resumo Técnico: EmoDistill

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) pós-treinados são tipicamente otimizados via Aprendizado por Reforço a partir de Feedback Humano (RLHF) e Otimização Direta de Preferência (DPO) para serem seguros, educados e acomodativos. Embora eficazes para assistência geral, esse alinhamento cria uma vulnerabilidade estratégica em negociação adversária. Em tais cenários, linguagem enquadrada emocionalmente pode inadvertidamente direcionar agentes a ceder valor aos interesses de uma contraparte.

As abordagens atuais para negociação consciente de emoções enfrentam duas limitações primárias:

1. Custos de Aprendizado Online: Métodos que dependem de aprendizado por reforço online (e.g., PPO) são computacionalmente caros e instáveis para interações entre agentes de múltiplos turnos, pois exigem execuções de API custosas e lutam com feedback esparsos em nível de trajetória.
2. Estratégia e Expressão Desacopladas: Métodos existentes frequentemente tratam a seleção de emoção como uma variável de decisão, mas deixam o gerador de enunciados fixo. Consequentemente, uma emoção selecionada (e.g., "raiva") pode ainda ser realizada através de polidez vaga ou concessão prematura, porque o modelo carece da habilidade específica de expressar essa emoção estrategicamente dentro do contexto de barganha.

O desafio central é aprender habilidades de negociação emocional — vinculando estados de diálogo, posturas emocionais, enunciados concretos e feedback de juízes em movimentos de barganha reutilizáveis — sem incorrer no custo de treinamento online.

Metodologia: EmoDistill

Os autores propõem o EmoDistill, um framework offline que destila habilidades de negociação emocional de trajetórias pré-computadas de LLM-vs-LLM em um modelo de linguagem menor (SLM). O framework decompõe o problema em dois componentes distintos: Seleção de Emoção e Expressão Emocional.

1. Conjunto de Dados de Trajetória Offline e Design de Sinais

O sistema começa construindo um conjunto de dados de $N=80$ cenários $\times$ $M=100$ execuções aleatórias de sequências de emoções por domínio (totalizando 8.000 trajetórias). Cada trajetória é anotada com dois sinais complementares:

• Sinal Objetivo ($R(\tau)$): Um retorno em nível de trajetória baseado em dinâmicas de barganha (e.g., fechar a lacuna entre a âncora da contraparte e o alvo do agente focal) e acordo terminal.
• Sinal Subjetivo ($r_t$): Uma pontuação densa, por turno, atribuída por um juiz LLM (Qwen3.5-Plus) avaliando a qualidade do enunciado focal com base em ancoragem, alavancagem e consistência com a postura emocional.

2. Pipeline de Treinamento em Três Estágios

O EmoDistill utiliza esses sinais em três estágios para treinar um SLM de 7B parâmetros (Qwen2.5-7B-Instruct) com adaptadores LoRA:

• Estágio 1: Seleção de Emoção (Q-Learning Implícito - IQL)

  • Objetivo: Aprender qual emoção expressar dado um estado de diálogo.
  • Mecanismo: Um seletor IQL é treinado no conjunto de dados offline usando o retorno de trajetória objetivo $R(\tau)$ como recompensa. Ele aprende uma política $\pi_\phi(e|s)$ para selecionar a ação de emoção ótima $e$ de um vocabulário de 28 rótulos do GoEmotions.
  • Saída: Um seletor que identifica sequências emocionais de alto valor (e.g., transição de medo para raiva) sem atualizar o gerador de enunciados.

• Estágio 2: Inicialização da Expressão (LoRA-SFT)

  • Objetivo: Aprender como expressar a emoção selecionada.
  • Mecanismo: O SLM é ajustado finamente via Ajuste Fino Supervisionado (SFT) usando um filtro híbrido. As demonstrações são selecionadas com base em uma pontuação $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$, garantindo que o modelo imite turnos que são localmente bem formados (alta pontuação do juiz) e globalmente produtivos (alto retorno de trajetória).
  • Saída: Um adaptador LoRA inicializado para gerar enunciados concretos e estratégicos condicionados ao estado e à emoção selecionada.

• Estágio 3: Refinamento da Expressão (Otimização de Política de Juiz - JPO)

  • Objetivo: Refinar a política de expressão usando feedback denso.
  • Mecanismo: O JPO aplica um objetivo substituto PPO-clipped offline. Ele usa a vantagem do juiz por turno ($A_t$) para atualizar a política. Crucialmente, o JPO emprega um mecanismo de vantagem assimétrica onde amostras de vantagem negativa são ponderadas para baixo por um fator $\kappa$. Isso permite que o modelo aprenda quais expressões emocionais específicas melhoram a trajetória de negociação, preservando o prior de "fechamento de negócio" estabelecido durante o SFT.
  • Saída: Uma política refinada que otimiza a redação específica das expressões emocionais para maximizar a utilidade.

Contribuições Principais

1. Framework EmoDistill: A introdução de um pipeline offline que destila estratégias de troca e expressão emocional em nível de LLM em um SLM menor de 7B, permitindo negociação de alto desempenho sem execuções de API ao vivo.
2. Desacoplamento de Seleção e Expressão: Evidência empírica demonstrando que otimizar como um agente expressa uma emoção selecionada (via LoRA-SFT e JPO) é distinto e complementar a escolher a emoção (via IQL). O pipeline completo supera linhas de base que apenas selecionam emoções ou apenas usam geradores fixos.
3. Otimização de Política de Juiz (JPO): Um método de refinamento inovador que alavanca vantagens densas em nível de turno de juízes LLM para melhorar a expressão emocional. Diferentemente de métodos em nível de sequência, o JPO permite atribuição de crédito fina, distinguindo entre expressões de alta e baixa qualidade dentro da mesma trajetória de negociação.

Resultados Experimentais

O framework foi avaliado em quatro domínios de negociação de alto risco: Recuperação de Crédito (CRAD), Resgate em Desastres, Agendamento de Cirurgias Hospitalares e Agendamento de Sono de Estudantes.

• Desempenho: A política completa do EmoDistill (IQL+SFT+JPO) alcançou a maior Utilidade (taxa de sucesso ponderada pela qualidade do acordo) em três dos quatro domínios, superando linhas de base LLM/SLM puras, promptagem de emoção aleatória e linhas de base apenas IQL.
• Estudos de Ablação:
  • Análise de Componentes: Remover o seletor de emoção (IQL) ou o refinamento de expressão (JPO) degradou significativamente o desempenho, confirmando a necessidade de ambos os componentes.
  • Análise de Sinais: O SFT beneficiou-se mais de filtros de qualidade híbridos (selecionando boas demonstrações), enquanto o JPO beneficiou-se mais de vantagens densas de juízes em nível de turno.
  • Ablação Livre de Emoção: Remover o canal de condicionamento de emoção explícito resultou em menor confiabilidade e utilidade, sugerindo que a estratégia emocional não é totalmente internalizada sem uma interface de controle explícita.
• Transferência: As habilidades destiladas mostraram transferência parcial entre domínios e contrapartes não vistas (e.g., DeepSeek-V3, GPT-4o-mini). Embora as taxas de sucesso se transferissem bem, a extração de valor (Utilidade) permaneceu sensível às geometrias de barganha específicas do domínio.
• Controle de Risco: O parâmetro $\kappa$ no JPO permitiu ajustar o trade-off entre sucesso do acordo e valor por acordo, com $\kappa=0.5$ oferecendo um equilíbrio ótimo no domínio CRAD.

Significado e Alegações

O artigo afirma que a emoção na negociação deve ser tratada como uma interface de barganha controlável, não meramente um estilo de geração. Ao separar a seleção de uma postura emocional da geração do enunciado, o EmoDistill permite que modelos menores aprendam comportamentos de barganha eficazes e estratégicos, robustos contra o "viés de polidez" de LLMs padrão.

Os autores enfatizam que sua abordagem:

• Evita Custos Online: Ao depender inteiramente de dados offline de interações pré-julgadas entre LLMs, contorna os custos proibitivos e a instabilidade do RL online em configurações multiagente.
• Fornece Controle Defensivo: Modelar a influência emocional como uma habilidade aprendível permite que agentes resistam a enquadramentos emocionais manipulativos de contrapartes, preservando objetivos do usuário em cenários adversários.
• Oferece uma Habilidade Modular: O framework trata a negociação emocional como uma habilidade reutilizável que pode ser destilada, transferida e refinada, indo além da engenharia de prompts estática.

Os autores mantêm modéstia quanto às limitações, notando que o framework depende de trajetórias offline fixas (arriscando deslocamento de distribuição), requer um canal de emoção explícito para desempenho ótimo e ainda não foi validado em interações humano-agente. Eles posicionam o trabalho como um passo em direção a agentes autônomos mais robustos e estratégicos em ambientes de alto risco.