Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

Sintesi Tecnica: Potenziamento dell'Intelligenza Sociale negli LLM tramite Ragionamento Gerarchico e Premiazione degli Obiettivi a Livello di Enunciato

Problematica
Sebbene i Large Language Models (LLM) eccellano in compiti statici e basati su regole, essi faticano nelle interazioni sociali dinamiche, in particolare nelle negoziazioni multi-agente che richiedono coordinamento di obiettivi a lungo termine e rapida adattabilità. Gli attuali metodi di ottimizzazione spesso applicano premi basati su obiettivi in modo uniforme a ogni enunciato, trascurando la specificità degli obiettivi in ogni turno di dialogo e non tenendo conto della razionalità dietro le potenziali strategie. Questo approccio rischia di addestrare gli agenti a identificare "enunciati scorciatoia" che massimizzano le metriche di successo senza apprendere realmente l'inferenza sociale e la pianificazione strategica tipiche dell'essere umano. Inoltre, i metodi gerarchici esistenti spesso si concentrano sull'ottimizzazione a livello di strategia, trascurando la stabilità e la coerenza dell'esecuzione a livello di enunciato.

Metodologia
Gli autori propongono il framework Think-Strategy-Response (TSR), basato sulla Teoria del Comportamento Pianificato (TPB), per decomporre il dialogo sociale in due stadi gerarchici:

1. Pianificazione Strategica di Alto Livello (Thinking & Strategy): Il modello genera prima una fase di "Thinking" (speculazione, inferenza, analisi) e una fase di "Strategy" (intenzione comportamentale). Questa fase traduce la valutazione cognitiva in un piano azionabile, garantendo che la risposta sia guidata da una strategia specifica e di alto livello piuttosto che da un obiettivo generico.
2. Esecuzione Linguistica di Basso Livello (Response): Sulla base della strategia generata, il modello produce l'enunciato effettivo. In particolare, il contenuto del "Thinking" viene escluso dall'input del secondo stadio per ridurre il carico computazionale e prevenire che un ragionamento eccessivo possa compromettere le prestazioni.

Per ottimizzare questo framework, l'articolo introduce il Linearized Hierarchical Reinforcement Learning with Variance-Gated Rewards (LHRL-VGR). Questo algoritmo impiega un nuovo meccanismo di routing dei premi:

• Premio Composto per la Strategia: Il generatore di strategie è ottimizzato utilizzando un premio composito composto da Predicted Outcome Rewards (stima del progresso verso l'obiettivo) e Content Completeness Rewards (valutazione dell'allineamento con la guida comportamentale e gli obiettivi a livello di enunciato).
• Premio con Gate di Varianza per la Risposta: Il generatore di risposte utilizza un router di premi dinamico. Esso calcola la varianza dei punteggi di raggiungimento dell'obiettivo tra molteplici campioni di risposta.
  • Se la varianza supera una soglia ($\theta$), indicando incertezza nel completamento dell'obiettivo, il sistema dà priorità al Premio di completamento dell'obiettivo ($r_{goal}$).
  • Se la varianza è bassa (stabile), il sistema dà priorità al Premio di aderenza alla strategia ($r_{follow}$), garantendo l'osservanza della strategia pianificata.
• Two-Stage Group Relative Policy Optimization (GRPO): Il processo di addestramento ottimizza congiuntamente entrambi gli stadi utilizzando un algoritmo di Group Relative Policy Optimization. Calcola i vantaggi per il contenuto della strategia e i premi di completamento dell'obiettivo trasferiti, bilanciandoli tramite un iperparametro $\alpha$.

Contributi Chiave

1. Framework TSR: Un paradigma gerarchico linearizzato che separa esplicitamente la pianificazione strategica dall'esecuzione linguistica, consentendo una generazione di dialogo più razionale e interpretabile.
2. Algoritmo LHRL-VGR: Un nuovo algoritmo di addestramento caratterizzato da un router di premi con gate di varianza che assegna dinamicamente il premio di completamento dell'obiettivo o il premio di aderenza alla strategia al generatore di risposte, ottimizzando congiuntamente entrambi i livelli di policy attraverso un premio strategico composito.
3. Prestazioni allo Stato dell'Arte: Il metodo raggiunge risultati superiori sul benchmark SOTOPIA, dimostrando che un agente Qwen2.5-7B affinato con LHRL-VGR supera la baseline GPT-4o.

Risultati Sperimentali
Gli esperimenti sono stati condotti sui benchmark SOTOPIA e SOTOPIA-Hard, valutando gli agenti in dialoghi multi-turno contro GPT-4o come partner.

• Prestazioni: L'agente Qwen2.5-7B affinato con LHRL-VGR ha ottenuto un miglioramento relativo del 7,32% nel successo del completamento dell'obiettivo rispetto alla baseline GPT-4o sul benchmark SOTOPIA.
• Studi di Ablazione: La rimozione del premio di completezza della strategia o del premio di completamento dell'obiettivo trasferito ha portato a cali significativi delle prestazioni, confermando la necessità dell'ottimizzazione congiunta.
• Paradigma di Addestramento: L'addestramento congiunto coordinato di entrambi gli stadi ha superato l'addestramento sequenziale (Stadio 1 poi Stadio 2, o viceversa) e gli approcci RL a stadio singolo, in particolare per quanto riguarda le metriche valutate dagli umani per la qualità della strategia e della risposta.
• Routing dei Premi: Il meccanismo di routing con gate di varianza ha superato significativamente le strategie di routing alternative basate su modalità di dialogo predefinite o modalità predette dalla strategia.

Significatività e Rivendicazioni
L'articolo sostiene che l'approccio proposto affronta due sfide fondamentali nel potenziamento dell'intelligenza sociale per gli LLM:

1. Vera Inferenza Sociale: Generando ed ottimizzando esplicitamente le strategie, il metodo impedisce ai modelli di apprendere enunciati scorciatoia, promuovendo invece capacità simili a quelle umane come il ragionamento sull'intento e la pianificazione strategica.
2. Adattamento Dinamico dei Premi: Il meccanismo con gate di varianza supera il limite di applicare premi basati sugli obiettivi in modo uniforme, permettendo al modello di adattarsi agli obiettivi distinti di diversi enunciati bilanciando il completamento dell'obiettivo con l'aderenza alla strategia.

Gli autori concludono che il loro metodo offre una strada promettente verso agenti basati su LLM più umani e intelligenti in compiti complessi di negoziazione sociale, raggiungendo prestazioni allo stato dell'arte e mantenendo l'interpretabilità attraverso il framework strutturato TSR.