Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

Technische Samenvatting: Verbeteren van Sociale Intelligentie in LLM's met Hiërarchisch Redeneren en Utterance-Level Doelbeloning

Probleemstelling
Hoewel Large Language Models (LLM's) uitblinken in statische, op regels gebaseerde taken, hebben ze moeite met dynamische sociale interacties, met name in multi-agent onderhandelingen die langetermijncoördinatie van doelen en snelle aanpassing vereisen. Huidige optimalisatiemethoden passen vaak uniforme doelgebaseerde beloningen toe op elke uiting (utterance), wat het oog voor de specificiteit van doelstellingen bij elke dialoogbeurt tekortdoet en er niet in slaagt de rationale achter potentiële strategieën te verklaren. Deze aanpak riskeert het trainen van agenten om "shortcut utterances" te identificeren die succesmetrieken maximaliseren zonder werkelijk menselijke sociale inferentie of strategische planning te leren. Bovendien richten bestaande hiërarchische methoden zich vaak op strategie-optimalisatie, terwijl ze de stabiliteit en coherentie van de uitvoering op utterance-niveau verwaarlozen.

Methodologie
De auteurs stellen het Think-Strategy-Response (TSR) framework voor, gebaseerd op de Theory of Planned Behavior (TPB), om sociale dialoog te deconstrueren in twee hiërarchische stadia:

1. Strategische Planning op Hoog Niveau (Thinking & Strategy): Het model genereert eerst een "Thinking"-fase (speculatie, inferentie, analyse) en een "Strategy"-fase (gedragsintentie). Deze fase vertaalt cognitieve evaluatie naar een actiegericht plan, waardoor wordt gewaarborgd dat de respons wordt gestuurd door een specifieke, hoogwaardige strategie in plaats van een generiek doel.
2. Linguïstische Uitvoering op Laag Niveau (Response): Op basis van de gegenereerde strategie produceert het model de feitelijke uiting. Opvallend genoeg wordt de "Thinking"-inhoud uit de input van de tweede fase weggelaten om de computationele overhead te verminderen en te voorkomen dat excessief redeneren de prestaties verslechtert.

Om dit framework te optimaliseren, introduceren de auteurs Linearized Hierarchical Reinforcement Learning with Variance-Gated Rewards (LHRL-VGR). Dit algoritme maakt gebruik van een nieuw reward-routingmechanisme:

• Samengestelde Beloning voor Strategie: De strategie-generator wordt geoptimaliseerd met behulp van een samengestelde beloning bestaande uit Predicted Outcome Rewards (het schatten van de voortgang naar het doel) en Content Completeness Rewards (het evalueren van de afstemming met gedragsbegeleiding en doelstellingen op utterance-niveau).
• Variance-Gated Reward voor Respons: De respons-generator maakt gebruik van een dynamische reward router. Deze berekent de variantie van de scores voor doelbereik over meerdere respons-samples.
  • Als de variantie een drempelwaarde ($\theta$) overschrijdt, wat duidt op onzekerheid over de voltooiing van het doel, geeft het systeem prioriteit aan de Goal-completion Reward ($r_{goal}$).
  • Als de variantie laag is (stabiel), geeft het systeem prioriteit aan de Strategy-followed Reward ($r_{follow}$), wat zorgt voor naleving van de geplande strategie.
• Two-Stage Group Relative Policy Optimization (GRPO): Het trainingsproces optimaliseert beide stadia gezamenlijk met behulp van een Group Relative Policy Optimization algoritme. Het berekent voordelen (advantages) voor de strategie-inhoud en de overgedragen doelvolingsbeloningen, waarbij deze worden gebalanceerd via een hyperparameter $\alpha$.

Belangrijkste Bijdragen

1. TSR Framework: Een lineair hiërarchisch paradigma dat strategische planning expliciet scheidt van linguïstische uitvoering, wat leidt tot meer rationele en interpreteerbare dialooggeneratie.
2. LHRL-VGR Algoritme: Een nieuw trainingsalgoritme met een variance-gated reward router die dynamisch ofwel doelvolings- ofwel strategie-nalevingsbeloningen toewijst aan de respons-generator, terwijl beide beleidsniveaus gezamenlijk worden getraind via een samengestelde strategische beloning.
3. State-of-the-Art Prestaties: De methode behaalt superieure resultaten op de SOTOPIA benchmark, waarbij wordt aangetoond dat een Qwen2.5-7B agent, gefinetuned met LHRL-VGR, de GPT-4o baseline overtreft.

Experimentele Resultaten
Experimenten werden uitgevoerd op de SOTOPIA en SOTOPIA-Hard benchmarks, waarbij agenten in multi-turn dialogen werden geëvalueerd tegenover een GPT-4o partner.

• Prestaties: De met LHRL-VGR gefinetunde Qwen2.5-7B agent bereikte een relatieve verbetering van 7,32% in het succes van doelvoltooiing ten opzichte van de GPT-4o baseline op de SOTOPIA benchmark.
• Ablatieonderzoeken: Het verwijderen van de strategie-volledigheidsbeloning of de overgedragen doelvollingsbeloning leidde tot significante prestatieverliezen, wat de noodzaak van gezamenlijke optimalisatie bevestigt.
• Trainingsparadigma: Gecoördineerde gezamenlijke training van beide stadia presteerde beter dan sequentiële training (eerst Fase 1 dan Fase 2, of vice versa) en single-stage RL-benaderingen, met name op menselijke evaluatiemetrieken voor strategie- en responskwaliteit.
• Reward Routing: Het variance-gated routingmechanisme presteerde significant beter dan alternatieve routingstrategieën gebaseerd op vooraf gedefinieerde dialoogmodi of strategie-voorspelde modi.

Betekenis en Claims
Het artikel stelt dat de voorgestelde aanpak twee kernuitdagingen aanpakt bij het verbeteren van sociale intelligentie voor LLM's:

1. Echte Sociale Inferentie: Door expliciet strategieën te genereren en te optimaliseren, voorkomt de methode dat modellen "shortcut utterances" leren, maar bevordert het in plaats daarvan menselijke capaciteiten zoals intentie-redeneren en strategische planning.
2. Dynamische Beloningsadaptatie: Het variance-gated mechanisme overwint de beperking van het toepassen van uniforme doelgebaseerde beloningen, waardoor het model kan adapteren aan de specifieke doelstellingen van verschillende uitingen door een balans te vinden tussen doelvoltooiing en strategie-naleving.

De auteurs concluderen dat hun methode een veelbelovend pad biedt naar meer menselijke en intelligente LLM-gebaseerde agenten in complexe sociale onderhandelings-taken, waarbij state-of-the-art prestaties worden behaald met behoud van interpreteerbaarheid door het gestructureerde TSR-framework.