Technische Samenvatting: You Only Align Once (YOAO)

Probleemstelling

De implementatie van autonome agenten op grote schaal heeft open multi-agent ecosystemen gecreëerd waarin onafhankelijke partijen agenten inzetten met mogelijk uiteenlopende doelen. In dergelijke gedistribueerde systemen kan geen centrale autoriteit de gewichten, trainingsdata of beloningsfuncties van elke deelnemer dicteren. Bijgevolg bevatten populaties onvermijdelijk niet-uitgelijnde, op provocatie gerichte of doelmatigheid verkeerd gespecificeerde agenten. Recent bewijs suggereert dat op prompt gebaseerde agenten moeite hebben in collaboratieve omgevingen, waarbij ze vaak vrijbuitersgedrag vertonen dat multi-agent dynamiek doet ontaarden in nul-sum competitie, ten koste van collectief welzijn voor lokale winst.

De centrale uitdaging die door dit werk wordt aangepakt, is het waarborgen van gewenst collectief gedrag (samenwerking) bij interactie met onbekende peers. Specifiek onderzoeken de auteurs of uitgelijnd gedrag puur via interactie in natuurlijke taal kan worden doorgegeven, zonder dat elke ingezette agent opnieuw getraind hoeft te worden.

Methodologie

De studie introduceert een raamwerk genaamd Alignementverspreiding, waarbij een enkele uitgelijnde "zaad"-agent samenwerkend gedrag verspreidt naar ongetrainde agenten via interactie. De methodologie omvat drie hoofdbestanddelen:

1. Omgevingen

De auteurs evalueren Alignementverspreiding in twee verschillende omgevingen met toenemende distributieverandering:

• Rood-Zwart Spel: Een teamgebaseerd, herhaald Gevangenendilemma waarbij twee teams van vijf agenten sequentieel beraadslagen via uitzending en stemmen volgens meerderheidsregel over 10 rondes. Het spel omvat acht scenario-framingen (bijv. Klimaat, Pandemie, AGI Veiligheid) die de narratieve context variëren terwijl de identieke uitbetalingsmatrijzen behouden blijven.
• Sugarscape: Een ruimtelijk verankerde overlevingssimulatie op een 20×20 rooster met 100 agenten. Agenten moeten paarsgewijs handelen om te overleven, middelen (Suiker en Kruid) beheren en hun "Identiteitsneiging" (morele dispositie) laten evolueren op basis van handelsuitkomsten. Deze omgeving test zero-shot overdracht van uitzendingsberaadslaging naar gelokaliseerde, privé-uitwisselingen.

2. Trainingspijplijn voor Zaadagent

De auteurs maken gebruik van een vijftrapspijplijn om een coöperatieve zaadagent te creëren:

• Docentselectie: Een voorlopige evaluatie van zeven LLM's in het Rood-Zwart Spel identificeerde Kimi-K2 als het best presterende model (127/150 welzijn).
• Datageneratie: Kimi-K2 werd gebruikt om 10.000 spellen te genereren tegen tien diverse tegenstanderstrategieën over vijf trainingsscenario's. Een meta-prompt dwong specifieke eigenschappen af: situationele analyse, sociaal bewustzijn (verwijzing naar eerdere argumenten), framing van collectief welzijn, principiële robuustheid (samenwerken zelfs na exploitatie) en overtuiging boven vergelding.
• Kwaliteitscontrole: Een filterproces selecteerde gevallen waarin agenten kozen voor samenwerking en principiële redenering over collectief welzijn verwoordden, waarbij data gedreven door vergeldingslogica of puur uitkomstgerichte redenering werd uitgesloten. Dit resulteerde in een dataset van 300.000 voorbeelden.
• Distillatie (SFT): De coöperatieve redenering en overtuigende dialogen werden gedistilleerd in een Qwen-3-14B model met behulp van Low-Rank Adaptation (LoRA). Het doelmodel werd specifiek gekozen vanwege zijn slechte basale coöperatieve prestaties (25,2/150 welzijn) om een strenge test te bieden voor de effectiviteit van de methode.
• Implementatie: De resulterende "zaad"-agent werd geplaatst tussen ongetrainde teamgenoten (hetzij Qwen-3-14B, LLaMA-3.1-8B, of Mistral-Small-3.1-24B) om verspreidingseffecten te observeren.

3. Evaluatiemetrics

Belangrijke metrics omvatten:

• Samenwerkingspercentage: Het fractie van rondes waarin het team kiest voor samenwerking.
• Collectief Welzijn: Cumulatieve uitbetaling.
• Invloedverschuiving: Het aantal ongetrainde teamgenoten dat hun stemmen aanpast om zich te aligneren met de zaad.
• Handelssuccespercentage & Overlevingspercentage: In Sugarscape, het meten van de effectiviteit van paarsgewijze onderhandeling en middelenbeheer.

Belangrijkste Resultaten

Efficiëntie in Rood-Zwart Spel

• Impact van enkele zaad: Het introduceren van een enkele uitgelijnde zaadagent (Qwen-3-14B SFT) in een team van vier ongetrainde agenten verdubbelde het samenwerkingspercentage in out-of-distribution (OOD) scenario's, waarbij het steeg van 24,8% naar 62,2%.
• Schaling: Naarmate het aantal zaadagenten toenam, schaalde samenwerking monotoon, waarbij 95,6% werd bereikt met vijf zaden.
• Superioriteit boven prompting: De SFT-zaad presteerde beter dan zowel de ongetrainde Qwen-3-14B als het grotere docentmodel (Kimi-K2), zelfs toen de docent was uitgerust met coöperatieve prompts. Dit suggereert dat SFT specifieke beraadslagingsvaardigheden installeert (teamgenoten betrekken, bezwaren herformuleren) die alleen prompting niet kan repliceren.

Zero-shot Overdracht naar Sugarscape

• Generalisatie: Ondanks uitsluitend getraind te zijn op Rood-Zwart Spel-data, bereikten de zaadagenten robuuste zero-shot overdracht naar Sugarscape.
• Prestaties: In Sugarscape bereikten getrainde agenten een 91,5% handelssuccespercentage vergeleken met een 21,6% basislijn voor ongetrainde agenten onder identieke exploitatie-prompten.
• Downstream-effecten: Dit coördinatievoordeel cascadeerde naar overlevingspercentages (85% versus 13%) en gemiddelde levensduur (72,4 versus 44,3 ticks).
• Identiteitsverschuiving: Getrainde agenten verschoven hun identiteitsneiging naar samenwerking ($\Delta\ell = 0,046$), terwijl ongetrainde agenten statisch bleven ($\Delta\ell = 0,002$), wat aangeeft dat SFT een dispositie installeert die actief overtuigingen herschikt via interactie.

Cross-architectuur Verspreiding

• De coöperatieve capaciteiten van de Qwen-SFT-zaad slaagden erin architecturaal verschillende modellen te beïnvloeden. Een enkele zaad verhoogde samenwerking in LLaMA-3.1-8B van ~65% naar ~92%. Hoewel Mistral-Small-3.1-24B moeilijker te beïnvloeden was (waarvoor drie zaden nodig waren om >85% samenwerking te bereiken), bevestigden de resultaten dat beraadslagingsvaardigheden genereren over model-families heen.

Mechanisme-analyse

• Semantische overtuiging: "Stompe tests" (het beperken van zaden tot kale aanbevelingen zonder argumenten) veroorzaakten dat samenwerking instortte naar basislijnniveaus, wat bevestigt dat semantische overtuiging, niet louter aanwezigheid, de verspreiding drijft.
• Normpersistentie: Na verwijdering van de zaad bleef samenwerking gedeeltelijk behouden (82,5% met drie zaden), wat suggereert dat geïnduceerde norminternalisatie heeft plaatsgevonden.
• Topologie-afhankelijkheid: In uitzendingsomgevingen (Rood-Zwart) was een zaadratio van 20% voldoende om samenwerking bijna te verdubbelen. In paarsgewijze omgevingen (Sugarscape) was een hogere drempel (~50%) vereist om het bottleneck-probleem van ontmoetingskansen te overwinnen en te voorkomen dat vroege afwijzing cumuleert tot permanent pessimisme.

Betekenis en Claims

Het paper herformuleert multi-agent uitlijning van een exhaustief per-agent trainingsprobleem naar een schaalbare sociale vaardigheid die kan worden ontworpen via strategische plaatsing van zaden.

De auteurs claimen dat:

1. Alignementverspreiding haalbaar is: Een enkele uitgelijnde agent kan coöperatief gedrag doorgeven aan ongetrainde agenten puur via interactie in natuurlijke taal.
2. SFT beraadslagingsvaardigheden installeert: Het succes van de zaadagenten is niet louter te wijten aan modelcapaciteit, maar aan het specifieke vermogen om teamgenoten te overtuigen en wederzijds voordelige normen te stabiliseren, een vaardigheid verworven door supervised fine-tuning op coöperatieve redeneertrajecten.
3. Zero-shot overdracht: Coöperatieve disposities die in één domein zijn geleerd (uitzendingsberaadslaging) kunnen worden overgedragen naar fundamenteel verschillende dynamieken (gelokaliseerde handel in middelen) zonder extra training.
4. Ontwerprichtlijnen: Multi-agent uitlijning vereist niet dat elke deelnemer opnieuw wordt getraind. In plaats daarvan kan dit worden bereikt door strategisch een kleine minderheid van uitgelijnde agenten te plaatsen, waarbij de vereiste ratio afhankelijk is van de interactietopologie (uitzending versus paarsgewijs) en groepsgrootte.

Het werk concludeert dat coöperatief gedrag kan worden ontworpen als een sociale vaardigheid die voortvloeit uit een strategisch geplaatste minderheid, en biedt een praktische weg voorwaarts om collectief welzijn te waarborgen in open, heterogene multi-agent systemen.