Riepilogo Tecnico: EmoDistill

Enunciato del Problema

I Modelli Linguistici di grandi dimensioni (LLM) post-allenati sono tipicamente ottimizzati tramite Apprendimento per Rinforzo da Feedback Umano (RLHF) e Ottimizzazione Diretta delle Preferenze (DPO) per essere sicuri, cortesi e accomodanti. Sebbene efficaci per l'assistenza generale, tale allineamento crea una vulnerabilità strategica nella negoziazione avversaria. In tali contesti, un linguaggio strutturato emotivamente può involontariamente indirizzare gli agenti verso la concessione di valore agli interessi della controparte.

Gli approcci attuali alla negoziazione consapevole delle emozioni affrontano due limitazioni primarie:

1. Costi dell'Apprendimento Online: I metodi basati sull'apprendimento per rinforzo online (es. PPO) sono computazionalmente costosi e instabili per le interazioni multi-turno tra agenti, poiché richiedono implementazioni API onerose e faticano a gestire feedback sparsi a livello di traiettoria.
2. Disaccoppiamento tra Strategia ed Espressione: I metodi esistenti spesso trattano la selezione dell'emozione come una variabile decisionale, ma lasciano il generatore di enunciati fisso. Di conseguenza, un'emozione selezionata (es. "rabbia") può comunque realizzarsi attraverso una cortesia vaga o una concessione prematura, poiché il modello manca della specifica abilità di esprimere quell'emozione strategicamente all'interno del contesto negoziale.

La sfida fondamentale consiste nell'apprendere abilità negoziali emotive — vincolando stati dialogici, posizioni emotive, enunciati concreti e feedback dei giudici in mosse negoziali riutilizzabili — senza incorrere nei costi dell'addestramento online.

Metodologia: EmoDistill

Gli autori propongono EmoDistill, un framework offline che distilla le abilità negoziali emotive da traiettorie precalcolate LLM-vs-LLM in un modello linguistico più piccolo (SLM). Il framework scompone il problema in due componenti distinte: Selezione dell'Emozione ed Espressione Emotiva.

1. Dataset di Traiettorie Offline e Progettazione del Segnale

Il sistema inizia costruendo un dataset di $N=80$ scenari $\times$ $M=100$ rollout casuali di sequenze emotive per dominio (per un totale di 8.000 traiettorie). Ogni traiettoria è annotata con due segnali complementari:

• Segnale Oggettivo ($R(\tau)$): Un ritorno a livello di traiettoria basato sulle dinamiche negoziali (es. chiusura del divario tra l'ancora della controparte e l'obiettivo dell'agente focale) e sull'accordo terminale.
• Segnale Soggettivo ($r_t$): Un punteggio denso, per turno, assegnato da un giudice LLM (Qwen3.5-Plus) che valuta la qualità dell'enunciato focale basandosi sull'ancoraggio, sulla leva e sulla coerenza con la posizione emotiva.

2. Pipeline di Addestramento in Tre Fasi

EmoDistill utilizza questi segnali attraverso tre fasi per addestrare un SLM da 7 miliardi di parametri (Qwen2.5-7B-Instruct) con adattatori LoRA:

• Fase 1: Selezione dell'Emozione (Implicit Q-Learning - IQL)

  • Obiettivo: Imparare quale emozione esprimere dato uno stato dialogico.
  • Meccanismo: Un selettore IQL viene addestrato sul dataset offline utilizzando il ritorno di traiettoria oggettivo $R(\tau)$ come ricompensa. Impara una politica $\pi_\phi(e|s)$ per selezionare l'azione emotiva ottimale $e$ da un vocabolario GoEmotions di 28 etichette.
  • Output: Un selettore che identifica sequenze emotive ad alto valore (es. transizione dalla paura alla rabbia) senza aggiornare il generatore di enunciati.

• Fase 2: Inizializzazione dell'Espressione (LoRA-SFT)

  • Obiettivo: Imparare come esprimere l'emozione selezionata.
  • Meccanismo: L'SLM viene fine-tunato tramite Supervised Fine-Tuning (SFT) utilizzando un filtro ibrido. Le dimostrazioni sono selezionate in base a un punteggio $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$, assicurando che il modello imiti i turni che sono sia localmente ben formati (alto punteggio del giudice) sia globalmente produttivi (alto ritorno di traiettoria).
  • Output: Un adattatore LoRA inizializzato per generare enunciati concreti e strategici condizionati dallo stato e dall'emozione selezionata.

• Fase 3: Raffinamento dell'Espressione (Judge Policy Optimization - JPO)

  • Obiettivo: Raffinare la politica di espressione utilizzando feedback densi.
  • Meccanismo: JPO applica un obiettivo surrogato PPO-clipped offline. Utilizza il vantaggio per turno del giudice ($A_t$) per aggiornare la politica. Crucialmente, JPO impiega un meccanismo di vantaggio asimmetrico in cui i campioni con vantaggio negativo sono ridimensionati da un fattore $\kappa$. Ciò permette al modello di apprendere quali espressioni emotive specifiche migliorano la traiettoria negoziale, preservando al contempo il prior di "chiusura dell'affare" stabilito durante l'SFT.
  • Output: Una politica raffinata che ottimizza la formulazione specifica delle espressioni emotive per massimizzare l'utilità.

Contributi Chiave

1. Framework EmoDistill: L'introduzione di una pipeline offline che distilla strategie di switching ed espressione emotiva di livello LLM in un SLM più piccolo da 7 miliardi di parametri, abilitando negoziazioni ad alte prestazioni senza implementazioni API live.
2. Disaccoppiamento tra Selezione ed Espressione: Evidenza empirica che dimostra come l'ottimizzazione di come un agente esprime un'emozione selezionata (tramite LoRA-SFT e JPO) sia distinta e complementare alla scelta dell'emozione (tramite IQL). L'intera pipeline supera le baseline che selezionano solo emozioni o utilizzano solo generatori fissi.
3. Judge Policy Optimization (JPO): Un metodo di raffinamento innovativo che sfrutta vantaggi densi a livello di turno forniti da giudici LLM per migliorare l'espressione emotiva. A differenza dei metodi a livello di sequenza, JPO permette un'assegnazione del credito fine, distinguendo tra espressioni di alta e bassa qualità all'interno della stessa traiettoria negoziale.

Risultati Sperimentali

Il framework è stato valutato su quattro domini negoziali ad alto rischio: Recupero Crediti (CRAD), Soccorso in Disastri, Programmazione Chirurgica Ospedaliera e Programmazione del Sonno degli Studenti.

• Prestazioni: La politica completa EmoDistill (IQL+SFT+JPO) ha ottenuto la più alta Utilità (tasso di successo ponderato per la qualità dell'affare) in tre dei quattro domini, superando le baseline LLM/SLM vanilla, il prompting casuale di emozioni e le baseline solo-IQL.
• Studi di Ablazione:
  • Analisi dei Componenti: La rimozione del selettore di emozioni (IQL) o del raffinamento dell'espressione (JPO) ha degradato significativamente le prestazioni, confermando la necessità di entrambi i componenti.
  • Analisi dei Segnali: L'SFT ha beneficiato maggiormente dai filtri di qualità ibridi (selezione di buone dimostrazioni), mentre JPO ha beneficiato maggiormente dei vantaggi densi a livello di turno forniti dal giudice.
  • Ablazione Senza Emozioni: La rimozione del canale esplicito di condizionamento emotivo ha portato a una minore affidabilità e utilità, suggerendo che la strategia emotiva non è completamente interiorizzata senza un'interfaccia di controllo esplicita.
• Trasferimento: Le abilità distillate hanno mostrato un trasferimento parziale tra domini e controparti non viste (es. DeepSeek-V3, GPT-4o-mini). Sebbene i tassi di successo si siano trasferiti bene, l'estrazione di valore (Utilità) è rimasta sensibile alle geometrie negoziali specifiche del dominio.
• Controllo del Rischio: Il parametro $\kappa$ in JPO ha permesso di sintonizzare il compromesso tra successo dell'accordo e valore per affare, con $\kappa=0.5$ che offre un equilibrio ottimale nel dominio CRAD.

Significato e Affermazioni

Il paper afferma che l'emozione nella negoziazione dovrebbe essere trattata come un'interfaccia negoziale controllabile, non meramente come uno stile di generazione. Separando la selezione di una posizione emotiva dalla generazione dell'enunciato, EmoDistill permette a modelli più piccoli di apprendere comportamenti negoziali efficaci e strategici, robusti contro il "bias di cortesia" degli LLM standard.

Gli autori sottolineano che il loro approccio:

• Evita i Costi Online: Affidandosi interamente a dati offline da interazioni pre-valutate LLM-vs-LLM, aggira i costi proibitivi e l'instabilità dell'RL online in contesti multi-agente.
• Fornisce Controllo Difensivo: Modellare l'influenza emotiva come un'abilità apprendibile permette agli agenti di resistere a quadri emotivi manipolatori da parte delle controparti, preservando gli obiettivi dell'utente in contesti avversari.
• Offre un'Abilità Modulare: Il framework tratta la negoziazione emotiva come un'abilità riutilizzabile che può essere distillata, trasferita e raffinata, andando oltre l'ingegneria statica dei prompt.

Gli autori mantengono modestia riguardo alle limitazioni, notando che il framework si basa su traiettorie offline fisse (rischiando uno spostamento distribuzionale), richiede un canale emotivo esplicito per prestazioni ottimali e non è ancora stato validato in interazioni uomo-agente. Posizionano il lavoro come un passo verso agenti autonomi più robusti e strategici in ambienti ad alto rischio.