Technisch overzicht: Verborgen Ankers in Multi-Agent LLM-deliberatie

Probleemstelling

Multi-agent Large Language Model (LLM) deliberatie, waarbij agenten antwoorden uitwisselen en herzien over meerdere rondes, wordt steeds vaker gebruikt om redeneren en nauwkeurigheid te verbeteren. De onderliggende mechanismen die deze verbeteringen aansturen, blijven echter grotendeels ongemodelleerd. Bestaande literatuur behandelt deliberatie als een "black box" die empirisch de prestaties verbetert, maar faalt in het verklaren van hoe of waarom dit werkt.

Klassieke opiniedynamica-modellen, zoals DeGroot, Hegselmann–Krause en Friedkin–Johnsen, behandelen multi-agent systemen als open-loop dynamische systemen. Een fundamentele beperking van deze lineaire consensusregels is de convex-hull-grens: ze dicteren dat de opinie van een agent in elke ronde binnen de convexe huls van de initiële overtuigingen van de groep moet blijven.

De auteurs observeren een empirische anomalie in echte LLM-deliberatie: de waarschijnlijkheid van de correcte (gouden) klasse stijgt vaak strikt boven de maximale initiële waarschijnlijkheid die door enige agent werd vastgehouden. Deze "ontsnapping" uit de initiële convexe huls schendt de garanties van klassieke open-loop modellen, wat wijst op de aanwezigheid van een verborgen drijvende kracht die niet wordt gevangen door bestaande kaders.

Methodologie

1. Het Verborgen Anker-model

De auteurs stellen voor om multi-agent LLM-deliberatie te modelleren als een closed-loop dynamisch systeem. Ze hypothetiseren dat elke agent een verborgen interne overtuiging bezit (een "anker", aangeduid als $b_i$) die fungeert als een controlesignaal, dat de agent voortdurend naar zich toe trekt, ongeacht de inputs van buren.

De update-regel voor agent $i$ in ronde $k$ wordt gedefinieerd als:
$$x_i(k+1) = x_i(k) - \alpha \sum_{j \in N_i} A_{ij}(x_i(k) - x_j(k)) - \beta_i(x_i(k) - b_i)$$

Waar:

• De eerste term de consensus-trek vertegenwoordigt (een geschaalde DeGroot-stap) gebaseerd op de opinies van buren.
• De tweede term de anker-trek vertegenwoordigt, een persistente aantrekking naar de latente prior $b_i$ van de agent.
• $\alpha$ is een gedeelde consensus-gain, en $\beta_i$ is een per-agent anker-gain.

Deze formulering generaliseert klassieke modellen strikt:

• Het instellen van $\beta_i = 0$ herstelt het DeGroot-model.
• Het instellen van $b_i = x_i(0)$ (de geobserveerde initiële opinie) herstelt het Friedkin–Johnsen-model.

2. Systeemidentificatie en Validatie

Om het model te valideren, hanteren de auteurs een systeemidentificatie-aanpak:

• Parameterherstel: Ze herparametriseren de update-regel om lineair te zijn in parameters $\theta = (\alpha, \{\beta_i\}, \{\gamma_i\})$, waarbij $\gamma_i = \beta_i b_i$. Door middel van ordinary least squares op geobserveerde trajecten, herstellen ze $\hat{\alpha}$, $\hat{\beta}_i$ en $\hat{\gamma}_i$. Het verborgen anker wordt vervolgens hersteld als $\hat{b}_i = \hat{\gamma}_i / \hat{\beta}_i$ en geprojecteerd op de waarschijnlijkheidssimplex.
• Modelselectie via Held-Out Validatie: Cruciaal is dat de auteurs niet enkel vertrouwen op in-sample fit. Ze gebruiken een leave-one-seed-out protocol. Parameters worden gefit op een subset van deliberatieruns (seeds) en getest op een held-out seed. Dit dient als een test om te bepalen of het herstelde anker een genuwe, overdraagbare eigenschap van het model is of slechts een overfitting-artefact.

3. Experimentele Opzet

• Modellen: Drie open-weight instructie-getunede LLM's: Llama-3.1-70B-Instruct, Qwen3-32B, en gpt-oss-20b.
• Taak: Symptoom-naar-ziekte diagnose (het rangschikken van kandidaat-ziekten voor een gegeven symptoomset).
• Protocol: Een gerichte ringtopologie met $n=3$ agenten en $K=5$ rondes van deliberatie.
• Data: 10 verschillende doelziekten, 3 willekeurige seeds per probleem, wat in totaal 90 deliberatietrajecten oplevert.

Belangrijkste Resultaten

1. Trajectdivergentie tussen Modelfamilies

Het gedrag van deliberatie is niet uniform over modelfamilies heen:

• Llama-3.1-70B: Vertoont scherpe, niet-monotone schommelingen waarbij de waarschijnlijkheid van de gouden klasse de initiële band van opinies aanzienlijk overschiet.
• Qwen3-32B en gpt-oss-20b: Vertoont vlakkere trajecten waarbij de coördinaat van de gouden klasse weinig beweegt, vaak goed beschreven door lineaire convexe updates.

2. Modelselectie en Generalisatie

Held-out validatie onthult een spectrum van "anker"-gedrag:

• Llama-3.1-70B: Het volledige verborgen anker-model presteert aanzienlijk beter dan lineaire baselines op held-out data (Gemiddelde $R^2 = 0.44$ vs. $\approx 0.05$ voor baselines). Het latente anker is een genuwe, overdraagbare eigenschap.
• Qwen3-32B: Het volledige model wordt in 70% van de groepen geselecteerd, maar biedt slechts marginale verbetering ten opzichte van baselines op held-out data ($R^2 = 0.08$ vs. $\approx 0.10$), wat duidt op een zwak anker-signaal.
• gpt-oss-20b: Lineaire baselines (specifiek Friedkin–Johnsen) presteren beter dan het volledige model (Gemiddelde $R^2 = -0.94$ voor het volledige model). Het verborgen anker voegt geen voorspellende waarde toe, wat aangeeft dat de deliberatie van dit model effectief lineaire consensus is.

3. Geometrische Verklaring van de "Ontsnapping"

De auteurs identificeren dat de "ontsnapping" uit de initiële convexe huls geometrisch wordt bepaald door de locatie van het herstelde anker ten opzichte van de initiële opinies:

• Voor Llama liggen de herstelde ankers ver buiten de initiële opinieband (mediaan marge 0.33). Dit drijft het traject aan om te ontsnappen aan de initiële huls en te landen binnen de anker-huls ($conv\{b_i\}$).
• Voor Qwen en gpt-oss bevinden de herstelde ankers zich nagenoeg bij de initiële band (mediaan marge 0.10). Wanneer het anker samenvalt met de initiële opinie, gedraagt het systeem zich als Friedkin–Johnsen en kan het de initiële huls niet ontsnappen.

4. Parameteronzekerheid

Bootstrap-analyse laat zien dat hoewel de consensus-gain ($\alpha$) consistent significant is, de anker-gain ($\beta_i$) vaak niet significant is op een per-run basis (betrouwbaarheidsintervallen bevatten nul in 46–87% van de agent-runs). Echter, de breedte van deze intervallen is smaller voor Llama, wat wijst op een stabielere anker-herwinning vergeleken met de andere modellen.

Betekenis en Claims

Het artikel claimt de eerste dynamische systeemmodel te bieden voor multi-agent LLM-deliberatie die rekening houdt met de geobserveerde "ontsnapping" uit de initiële opiniegrenzen.

• Mechanisme: De auteurs beargumenteren dat LLM-deliberatie een closed-loop systeem is dat wordt gedreven door een verborgen interne overtuiging (anker) die fungeert als een controlesignaal.
• Spectrum van Gedrag: De aanwezigheid en invloed van dit anker zijn niet binair maar bestaan op een spectrum over modelfamilies heen. Het is een eigenschap van de specifieke modelarchitectuur en pre-training, en geen universeel kenmerk van alle LLM's.
• Validatie: De studie demonstreert dat systeemidentificatie gecombineerd met held-out validatie kan onderscheid maken tussen modellen die werkelijk worden gedreven door latente ankers en modellen die simpelweg lineaire consensusdynamica volgen.
• Beperkingen: De auteurs stellen expliciet dat het "verborgen anker" een geïnferreerde latente grootheid is, geen gemeten interne representatie. De positieve resultaten zijn het sterkst voor één specifieke modelfamilie (Llama-3.1-70B) op een specifieke benchmark, en het fenomeen van de hull-ontsnapping staat los van de nauwkeurigheid van het uiteindelijke antwoord (de meest dynamische familie was de minst nauwkeurige).

Concluderend stelt het paper dat het begrijpen van multi-agent deliberatie vereist dat we verder gaan dan open-loop consensusmodellen naar closed-loop systemen waarbij agenten worden getrokken door interne, verborgen priors die aanzienlijk kunnen verschillen van hun initiële geuite opinies.