Riepilogo Tecnico: Sbloccare la Proattività nel Dialogo Orientato al Compito

1. Definizione del Problema

Il documento affronta la sfida del Dialogo Orientato al Compito Proattivo (TOD), specificamente in scenari come le vendite in uscita, dove un agente deve avviare interazioni, identificare preoccupazioni latenti dell'utente e indirizzare le conversazioni verso un obiettivo predefinito (ad esempio, l'accettazione) entro un numero limitato di turni.

Gli autori identificano due lacune strutturali negli approcci esistenti:

1. Mancanza di Modellazione delle Preoccupazioni Implicite nei Simulatori: I simulatori di utenti attuali modellano tipicamente solo tratti superficiali (tono, cortesia), fallendo nel catturare le preoccupazioni latenti che guidano effettivamente le decisioni dell'utente. Ciò risulta in traiettorie omogenee e decisioni del simulatore scarsamente fondate.
2. Reattività Intrinseca degli LLM: I Modelli Linguistici su Grande Scala (LLM) standard sono allineati per essere utili e reattivi, rendendoli inadatti all'iniziativa richiesta nel TOD proattivo. I metodi di post-addestramento come il Fine-Tuning Supervisionato (SFT) mancano di dati di alta qualità, mentre i metodi di Apprendimento per Rinforzo (RL) (ad esempio, GRPO) faticano ad attribuire credito ai turni specifici in cui avviene la persuasione, affidandosi spesso a ricompense di esito sparse o punteggi di qualità generici piuttosto che al reale progresso verso l'accettazione.

Uno studio pilota dimostra che, mentre l'escalation al momento del test (Pass@16) e il RL standard di rimodellamento delle ricompense producono miglioramenti solo marginali, condizionare gli agenti sulle preoccupazioni latenti degli utenti sblocca un salto significativo sia nella proattività che nei tassi di accettazione, spostando gli agenti da un "piano di reattività" a un regime ad alte prestazioni.

2. Metodologia

Il framework proposto, SI-AVPO (Ottimizzazione della Politica con Visione Asimmetrica Indotta dal Simulatore), è composto da due componenti fondamentali progettate per modellare le preoccupazioni latenti e convertirle in segnali di addestramento.

A. Simulatore Cognitivo dell'Utente (CUS)

Il CUS è un simulatore di utenti stratificato che modella ogni utente come una persona composta da tre livelli:

• Contesto ($P_{bg}$): Quadri situazionali (ad esempio, dati demografici).
• Persona Esterna ($P_{ext}$): Tratti superficiali osservabili (tono, cortesia, stile comunicativo).
• Persona Interna ($P_{int}$): Preoccupazioni latenti nascoste attraverso aspetti finanziari, psicologici e operativi. Ogni preoccupazione include un punto di resistenza, condizioni di sblocco e anti-modelli.

Il CUS mantiene un sistema di dinamiche di stato sincrono che traccia uno stato scalare di "disponibilità" e lo stato di risoluzione di ogni preoccupazione (Non Risolta $\to$ Parzialmente Affrontata $\to$ Risolta). Ciò produce:

• Segnale Privilegiato: La persona interna $P_{int}$, invisibile all'agente distribuito.
• Feedback di Simulazione: Decisioni binarie finali (Accetta/Rifiuta) e transizioni di stato per turno (variazioni di disponibilità $\Delta w$).

B. Ottimizzazione della Politica con Visione Asimmetrica Indotta dal Simulatore

Questo modulo converte i segnali dal CUS in due obiettivi di addestramento complementari:

1. Distillazione Self-Asimmetrica On-Policy (AOPD):

   • Valuta la stessa politica $\pi_\theta$ sotto due visioni: una visione insegnante privilegiata (condizionata su $P_{int}$) e una visione studente distribuibile (condizionata solo sulla cronologia del dialogo).
   • Minimizza la divergenza KL tra la distribuzione consapevole delle preoccupazioni dell'insegnante e la distribuzione dello studente.
   • Obiettivo: Distillare strategie mirate e consapevoli delle preoccupazioni nella politica distribuibile senza richiedere un modello insegnante separato.

2. Raffinamento della Politica di Transizione di Stato (STPR):

   • Utilizza le dinamiche di stato del simulatore per fornire un'attribuzione del credito fine.
   • Vantaggio a Livello di Traiettoria: Derivato dalla ricompensa terminale finale ($r$).
   • Credito a Livello di Turno: Aggiustato dalle variazioni di disponibilità per turno ($\Delta w$). Se la variazione di disponibilità di un turno è allineata con l'esito finale, il credito è rafforzato; se contraddittoria, è soppresso.
   • Obiettivo: Guidare l'agente a bilanciare l'iniziativa con risposte consapevoli del contesto, assicurando che le mosse proattive siano fondate sulla reale ricettività dell'utente.

La funzione di perdita totale è:
$$\mathcal{L}_{SI-AVPO} = \mathcal{L}_{AOPD}(P_{int}) + \lambda_{st} \mathcal{L}_{STPR}(d, \{\Delta w_k\})$$

3. Contributi Chiave

1. Simulatore Cognitivo dell'Utente (CUS): Un framework di persona stratificato calibrato su oltre 100.000 registrazioni reali di chiamate in uscita che modella esplicitamente preoccupazioni interne nascoste e dinamiche di stato sincrono, producendo interazioni fedeli e diversificate dal punto di vista comportamentale.
2. Framework SI-AVPO: Un nuovo paradigma di addestramento che sfrutta l'asimmetria informativa ($P_{int}$ privilegiata) e le transizioni di stato per creare obiettivi complementari (AOPD e STPR) senza modelli di ricompensa esterni, giudici o modelli insegnanti separati.
3. Validazione Empirica: Successo dimostrato su due benchmark reali di consegna di cibo (Promozione del Commerciante e Bonus Regionale del Corriere), mostrando robustezza attraverso diversi simulatori di utenti basati su LLM.

4. Risultati Sperimentali

Il metodo è stato valutato su backbones Qwen3-4B e Qwen3-8B rispetto a:

• Baseline RL: GRPO, PPO, DAPO e SEAD.
• LLM Proprietari: GPT-4.1, DeepSeek-V3.2, GLM-5.1, Kimi-K2.5 e Claude-Sonnet-4.5.

Risultati Chiave:

• Prestazioni: SI-AVPO supera costantemente tutte le baseline RL. Nella scena del Commerciante con Qwen3-8B, ha migliorato il Tasso di Risoluzione delle Preoccupazioni (CSR) del +12,2% e il Tasso di Accettazione (Acc) del +12,2% rispetto alla migliore baseline RL (SEAD).
• Confronto con i Leader: SI-AVPO eguaglia o supera i principali modelli proprietari. Con Qwen3-8B, ha superato Claude-Sonnet-4.5 nel CSR (52,6% contro 51,1%) e nella Proattività (3,18 contro 3,09) nella scena del commerciante.
• Generalizzazione: Il metodo si generalizza efficacemente attraverso sei diversi simulatori di utenti basati su LLM (inclusi quelli rigorosi come DeepSeek-V3.2), mostrando miglioramenti coerenti nel CSR e nell'Acc indipendentemente dalla rigidità intrinseca del simulatore.
• Ablazione: La rimozione di AOPD ha causato un calo netto nella Proattività (-0,76), confermando il suo ruolo nel guidare l'iniziativa. La rimozione di STPR ha portato a comportamenti eccessivamente aggressivi, evidenziando il suo ruolo nel fondare le azioni nel contesto.

5. Significato e Affermazioni

Il documento afferma che le preoccupazioni latenti degli utenti sono la variabile critica mancante per il TOD proattivo. Modellando esplicitamente queste preoccupazioni in un simulatore e convertendole in segnali di addestramento tramite visioni asimmetriche e transizioni di stato, gli autori dimostrano che:

• La capacità proattiva non può essere recuperata semplicemente tramite campionamento o rimodellamento standard delle ricompense; richiede un segnale al momento dell'addestramento fondato sul processo decisionale dell'utente.
• Una politica di dimensioni distribuibili addestrata con SI-AVPO può eguagliare o superare modelli proprietari proprietari molto più grandi e generici in compiti di dialogo proattivo.
• Il framework offre una strada verso agenti proattivi ad alta fedeltà e convenienti, senza fare affidamento su modelli di ricompensa esterni o giudici umani.

Gli autori sottolineano che il loro approccio colma il divario tra l'allineamento reattivo degli LLM e l'iniziativa richiesta per scenari reali di vendita in uscita, offrendo una soluzione scalabile per sistemi di dialogo persuasivi.