Technische Samenvatting: Persuasieve en Compliante Tendensen Voorspellen Groepsbesluitvorming in Mensen en Taalmodellen

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in scenario's voor groepsbesluitvorming, samen met andere LLM's en mensen. De mechanismen die hun invloed drijven, blijven echter onduidelijk. Specifiek is het onbekend of de impact van een LLM primair wordt gedreven door persuasie-georiënteerde expressie (actieve argumentatie en assertiviteit) of door compliance-georiënteerde accommodatie (luisteren en zich aanpassen aan anderen). Hoewel sociaal netwerkonderzoek twee perspectieven biedt op invloed — diegenen met brede uitgaande communicatiekanalen versus diegenen die inkomende informatie aggregeren — is het nog niet vastgesteld welke gedragsoriëntatie betere resultaten oplevert in LLM-systemen. Bov�enstaande is er ook een behoefte om te bepalen of deze intrinsieke gedragstendensen meetbaar zijn en of ze correleren met taakprestaties, met name in omgevingen met asymmetrische informatie en verborgen doelstellingen.

Methodologie

De auteurs stellen een tweefasig kader voor om deze tendensen te isoleren en te evalueren:

1. DecisionQE: Het Meten van Intrinsieke Tendensen

Om individuele gedragstendensen te scheiden van de verwarrende factoren van interactieve groepsdynamiek (zoals roltoewijzing), hebben de auteurs DecisionQE ontwikkeld, een op vragenlijsten gebaseerd kader.

• Structuur: Het kader beoordeelt modellen over zes besluitvormingsdomeinen: publieke communicatie, alledaagse besluitvorming, marketing en persuasie, presentatie en expressie, interpersoonlijke communicatie, en onderhandeling en strategische interactie.
• Scoring: Het maakt gebruik van 70 items afgeleid uit de psychologische literatuur. Respons wordt gescoord op een continuüm van 0 (compliant) tot 100 (persuasief).
• Stabiliteit: Modellen werden over vijf herhaalde runs geëvalueerd om de stabiliteit van hun tendensprofielen te waarborgen.

2. Werewolf Game: Interactieve Testomgeving

De auteurs gebruikten het Werewolf-spel als een interactieve testomgeving om te valideren hoe deze gemeten tendensen sociale invloed en groepsresultaten beïnvloeden onder asymmetrische informatie.

• Opzet: Spellen bestonden uit acht spelers (twee weerwolven, vier dorpelingen, één heks, één ziener). Weerwolven kenden hun teamgenoten en streefden ernaar dorpelingen te elimineren; dorpelingen streefden ernaar weerwolven te identificeren en te elimineren.
• Variabelen: De studie manipuleerde de roltoewijzing om specifieke configuraties te creëren:
  • Willekeurige toewijzing: Om de algemene prestatiecorrelatie te beoordelen.
  • Gecontroleerde toewijzing: Zes configuraties (Reverse, High, Low) waarbij informatieve rollen (Weerwolf, Ziener, Heks) aan modellen werden toegewezen op verschillende posities op het persuasief-compliant continuüm om rolafhankelijke effecten te testen.
• Mens-LLM Integratie: Om de consistentie van gedrag te verifiëren, voerden de auteurs experimenten uit waarbij een menselijke deelnemer een LLM verving in ofwel een "goede" (dorpeling/ziener/heks) of een "wolf"-rol, terwijl er interactie plaatsvond met zeven LLM's.

Belangrijkste Bijdragen

1. Kwantificering van Gedragstendensen: Het artikel introduceert een gestandaardiseerde methode (DecisionQE) om LLM's te meten en te categoriseren langs een persuasief-compliant spectrum, en toont aan dat verschillende modellen unieke, stabiele posities innemen op dit continuüm.
2. Ontkoppeling van Tendens en Prestatie: De studie stelt vast dat hogere persuasieve scores niet automatisch leiden tot betere groepsresultaten. In plaats daarvan vertonen compliant-georiënteerde modellen vaak superieure prestaties in coöperatieve taken.
3. Dubbel effect van Compliance: Het onderzoek onthult de "tweezijdige" aard van compliance: het ondersteunt samenwerking wanneer modellen in eerlijke rollen zitten (dorpelingen), maar bevordert camouflage en succes wanneer ze in vijandige rollen zitten (weerwolven).
4. Mens-LLM Consistentie: De bevindingen laten zien dat de rolafhankelijke patronen die in LLM-only groepen werden waargenomen, standhouden in gemengde mens-LLM interacties, wat suggereert dat deze tendensen een gedeelde gedragsas zijn voor het analyseren van zowel kunstmatige als door mensen bemiddelde besluitvorming.

Resultaten

Tendensprofielen

• Variatie: Geëvalueerde modellen vertoonden aanzienlijke variatie in hun tendensscores. Zo scoorden Kimi K2 en Gemini 3.5 het hoogst (meest persuasief), terwijl Doubao 1.5 en GLM 4 het laagst scoorden (meest compliant).
• Stabiliteit: De binnen-model standaarddeviaties waren laag (0,6–2,1 punten), wat wijst op stabiele gedragsprofielen bij herhaalde evaluaties.

Game Performance (Willekeurige Toewijzing)

• Winrates: Modellen met sterkere persuasieve tendensen behaalden lagere algemene winrates (40,28%–51,39%). Daarentegen behaalden matig compliant en compliant modellen hogere winrates (54,17%–56,94%).
• Overleving en Identificatie: Compliant modellen overleefden langer (3,10–3,24 rondes vs. 2,94–3,15) en behaalden een hogere nauwkeurigheid bij rolidentificatie (43,75%–52,78% vs. 35,42%–41,67%).

Rolafhankelijke Resultaten

• Succes Goed Team: Configuraties waarbij persuasieve modellen aan weerwolfrollen werden toegewezen (wat hen dwingt agressief te zijn) en compliant modellen aan goede rollen (H1, R1), resulteerden in de hoogste winrates voor het goede team (90,00%).
• Succes Wolf Team: Configuraties waarbij compliant modellen aan weerwolfrollen werden toegewezen (R2, L1) resulteerden in de hoogste winrates voor het weerwolfteam (45,00%).
• Interpretatie: Persuasief gedrag vergroot de zichtbaarheid en initiatief, wat helpt bij het mobiliseren van een groep, maar trekt aandacht en kritiek in spellen met verborgen rollen. Compliant gedrag stelt modellen in staat om op te gaan in de massa, wat coördinatie in eerlijke rollen vergemakkelijkt, maar ook camouflage en succes in vijandige rollen verbetert.

Mens-LLM Experimenten

• Gedragsalignement: Menselijke deelnemers scoorden over het algemeen dichter bij het compliant-uiteinde van het spectrum dan de geëvalueerde LLM's, hoewel met een hogere variantie.
• Resultaatconsistentie: Wanneer mensen goede rollen speelden, kwamen de winrate van het team (70%) en de overlevingsdagen nauw overeen met de H1 (LLM-only) conditie. Wanneer mensen wolfrollen speelden, kwam de winrate van het wolfteam (80%) overeen met de R2 conditie, wat bevestigt dat de rolafhankelijke patronen standhouden in gemengde groepen.

Betekenis en Claims

Het artikel claimt dat LLM-groepinteracties dienen als een controleerbare observatieomgeving voor sociologisch onderzoek, waarbij meetbare patronen van intrinsieke gedragstendensen worden onthuld die verder gaan dan eenvoudige taakredenering.

• Veiligheidsimplicaties: De auteurs betogen dat veiligheidsevaluaties ook intrinsieke gedragstendensen moeten bevatten. Hoewel agressieve of manipulatieve outputs gemakkelijk te detecteren zijn, kunnen compliant-georiënteerde modellen een uniek risico vormen in vijandige omgevingen. Hun lage salience en coöperatieve stijl kunnen onveilige doelstellingen maskeren, waardoor ze moeilijker te detecteren zijn tijdens screening.
• Evaluatieverschuiving: De bevindingen suggereren dat betrouwbare LLM-systemen "tendens-bewuste" veiligheidsevaluaties vereisen. Modellen moeten niet alleen worden beoordeeld op de veiligheid van geïsoleerde outputs, maar ook op hoe hun intrinsieke tendensen (persuasief vs. compliant) de zichtbaarheid en detecteerbaarheid van risico's in interactieve, meer-erge-turn settings beïnvloeden.
• Sociologische Lens: De studie stelt dat LLM's kunnen dienen als een lens om taal-gemedieerde interactie te observeren, waarbij wordt aangetoond dat "invloedrijke luisteraars" (compliant agents) groepsresultaten even effectief kunnen vormgeven als, of zelfs effectiever dan, actieve persuaders, afhankelijk van de context en de doelstellingen.