Technische Samenvatting: Van Passieve Delegaten naar Strategische Onderhandelaars

Probleemstelling

AI-agenten worden steeds vaker ingezet als delegaten die handelen namens gebruikers in door de principaal gestuurde taken zoals planning, aankopen en onderhandelingen. Er bestaat echter een kritieke mismatch tussen de disposities die algemene assistenten "behulpzaam" maken (transparantie, meegaandheid, drang naar consensus) en de strategische vereisten van delegatie. In adversariële of conflicterende settings geven frontier-modellen vaak ongevraagd privéinformatie prijs en geven ze posities voortijdig op bij weerstand. Dit paper behandelt de kloof in sociale redenering: het vermogen om de latente voorkeuren van een tegenpartij af te leiden, de privéinformatie van de principaal te beschermen en strategisch effectieve acties te kiezen (bijv. wanneer te toegeven, afwijzen of een anker te leggen) om de utiliteit van de principaal te maximaliseren.

De kernuitdaging is om deze strategische capaciteiten te induceren in een compact model (4B parameters) door middel van gerichte post-training, in plaats van te vertrouwen op de schaal van frontier-modellen, terwijl wordt gewaarborgd dat deze capaciteiten generaliseren over heterogene interactiestructuren.

Methodologie: SOCIALRL

De auteurs presenteren SOCIALRL, een algemeen recept en infrastructuur voor het trainen van sociale redenering in taalmodel-agenten. De aanpak bestaat uit drie hoofdonderdelen:

1. Ontkoppelde Trainingsinfrastructuur

Om complexe, multi-turn, stateful interacties met heterogene tegenpartijen (lokaal, remote, black-box) te ondersteunen, hebben de auteurs een systeem gebouwd met twee belangrijke ontkoppelingen:

• Event-gebaseerde Agent-interface: Omgevingen communiceren met agenten via asynchrone event-streams (observaties, notificaties, acties) in plaats van state-snapshots. Dit ondersteunt partiële observeerbaarheid en maakt het mogelijk dat agenten worden geïmplementeerd als LLM's, code-agenten of mensen zonder de logica van de omgeving te veranderen.
• Rollout Proxy: Een OpenAI-compatibele proxy zit tussen de agent-runtime en de inference engine. Deze registreert authentieke modelinputs, outputs en log-waarschijnlijkheden tijdens uitvoering, waardoor de generatie van de rollout wordt gescheiden van de training. Dit maakt het mogelijk dat dezelfde infrastructuur RL en distillatie ondersteunt met uitwisselbare componenten.

2. Environment Suite en Beloningsontwerp

De studie beslaat zes heterogene domeinen:

• Multi-issue Allocatie: Deal-or-No-Deal (DnD), CaSiNo.
• Single-issue Prijsonderhandeling: Craigslist, Marketplace.
• Multi-issue Contractonderhandeling: Job Interview.
• Preferentie-gebaseerde Coördinatie: Calendar.

Beloningsontwerp: Alle omgevingen gebruiken terminale, outcome-only beloningen die genormaliseerd zijn naar een bereik van $[0, 1]$. De normalisatie is "moeilijkheidsbewust", waarbij beloningen worden gekalibreerd op basis van scenario-specifieke referentieovereenkomsten (bijv. Pareto-optimale en envy-free allocaties voor DnD/CaSiNo, of prijscorridors voor onderhandelingen). Dit zorgt ervoor dat het trainingssignaal de kwaliteit van een overeenkomst reflecteert ten opzichte van de specifieke mogelijkheden van het scenario.

3. Trainingsstrategie

De training verloopt in twee stadia:

• Stadium 1: In-domain Specialisten. Een 4B-model (Qwen3-4B-Instruct) wordt in elk domein getraind. Voor prijsonderhandelingen (Craigslist/Marketplace) wordt Supervised Fine-Tuning (SFT) gebruikt als warm-start voor PPO om basis-anchoring gedrag te vestigen. Voor andere domeinen wordt directe PPO toegepast.
• Stadium 2: Unificatie. De zes domeinspecifieke policies worden geconsolideerd in een enkele verenigde policy met behulp van twee complementaire methoden:
  • Transfer-bewuste Cascade RL: Traint de policy sequentieel over domeinen in een volgorde die wordt bepaald door de gemeten cross-domain transfer matrix (bijv. het plaatsen van destructieve donoren vroegtijdig en begunstige paren opeenvolgend).
  • Multi-Teacher On-Policy Distillatie (MOPD): Gebruikt de Stage 1 specialisten als docenten om capaciteiten te distilleren in een enkel student-model. Een "gap-closed" curriculum sampleert adaptief omgevingen op basis van hoeveel van het voordeel van de docent nog geleerd moet worden.

4. Expliciete Theory-of-Mind (ToM) Supervisie

Als complementaire studie introduceren de auteurs een expliciet redeneer-scaffold: INFER $\rightarrow$ ACT $\rightarrow$ ANTICIPATE. Zij distilleren traces van GPT-5.2 die expliciete preferentie-inferentie en volgende-actie-voorspelling bevatten. Dit test of directe supervisie van intermediaire redenering de onderhandelingsresultaten verbetert vergeleken met enkel outcome-gebaseerde RL.

Belangrijkste Resultaten

Prestaties van Specialisten en Unified Modellen

• Frontier Prestaties: De domein-getrainde 4B specialisten bereiken een geaggregeerde prestatie die vergelijkbaar is met veel grotere GPT-modellen. Het verenigde 4B model (via Cascade RL) bereikt een gemiddelde utiliteit van 0,627 over alle zes de omgevingen, wat overeenkomt met of hoger is dan GPT-4.1 (0,625), GPT-5.1 (0,619) en GPT-5.2 (0,613).
• Transfer Structuur: Cross-omgeving transfer is zeer asymmetrisch en structuurafhankelijk. Structureel gelijkaardige domeinen (bijv. Craigslist en Marketplace) versterken elkaar aanzienlijk. Daarentegen fungeren sommige domeinen (zoals Calendar) als negatieve donoren voor anderen.
• Unificatie Efficiëntie:
  • Cascade RL: Bereikt de hoogste prestatie (0,627) maar vereist volledige RL-stadia voor elk domein.
  • MOPD: Herstelt 92,6% van het gemiddelde voordeel van de specialisten in slechts 60 extra optimalisatiestappen, wat een zeer efficiënte route naar unificatie aantoont.

Impact van Theory-of-Mind Supervisie

• Prompting vs. Training: Het simpelweg prompten van het basismodel met een ToM-scaffold vermindert de prestaties (0,454 $\rightarrow$ 0,353).
• Distillatie: Trainen op expliciete ToM-traces (INFER $\rightarrow$ ACT $\rightarrow$ ANTICIPATE) verbetert de onderhandelingsutiliteit ten opzichte van standaard SFT.
• Kernvaardigheid: Onder de ToM-vaardigheden is volgende-actie voorspelling (het anticiperen op de reactie van de tegenpartij) de component die het sterkst correleert met succes in onderhandelingen, terwijl preferentie-inferentie alleen een zwakke correlatie vertoont.

Gedragsanalyse

Kwalitatieve analyse van interactietrajecten onthult specifieke strategische verschuivingen in de getrainde modellen:

• Selectieve Concessie: Getrainde agenten leggen agressiever een anker (bijv. 78% van de openingsbiedingen van kopers onder de target in Craigslist vs. 3% voor ongetrainde modellen) en geven langzamer toe.
• Informatiebescherming: Drastische vermindering van het lekken van privé reserveringsprijzen of target-waarden.
• Strategische Afwijzing: Afwijzing wordt een frequente strategische actie (14–20% van de beurten), vergezeld van tegenvoorstellen, in plaats van onmiddellijke capitulatie.
• Commitment Taalgebruik: Toegenomen gebruik van strikte grenzen ("final offer") terwijl de beleefdheid behouden blijft.

Betekenis en Claims

Het paper claimt dat strategische delegatie effectief geïnduceerd kan worden in kleine modellen (4B) door gerichte post-training, wat de opvatting uitdaagt dat dergelijke capaciteiten frontier-schaal modellen vereisen. De betekenis van het werk ligt in:

1. Infrastructuur: Het bieden van een algemeen, ontkoppeld platform (SOCIALRL) dat heterogene multi-agent interacties en diverse trainingsparadigma's (RL, distillatie) ondersteunt zonder de omgeving aan de trainer te koppelen.
2. Transfer Dynamiek: Het aantonen dat sociale redeneercapaciteiten over domeinen heen transfereren op een gestructureerde, voorspelbare manier gebaseerd op de interactie-geometrie, wat geëxploiteerd kan worden om gespecialiseerde agenten efficiënt te verenigen.
3. Trainingsrecept: Het aantonen dat een combinatie van SFT (voor prerequisiet gedrag) en PPO (voor strategische optimalisatie), potentieel aangevuld met expliciete ToM-distillatie, agenten produceert die de belangen van de principaal beschermen en effectief onderhandelen.
4. Gedragsverschuiving: Het vaststellen dat de transitie van "passieve delegeer" naar "strategische onderhandelaar" specifieke, leerbare gedragingen omvat: agressief ankeren, selectieve concessie, informatiebescherming en het strategisch gebruik van afwijzing.

De auteurs concluderen dat sterk multi-domein sociaal gedrag leerbaar is in compacte modellen en dat de richting van cross-domein transfer een cruciale factor is bij het consolideren van gespecialiseerde agenten naar verenigde, hoogwaardige policies.