🤖 machine learning

Contagion Networks: Evaluator Bias Propagation in Multi-Agent LLM Systems

Dit artikel introduceert het Contagion Networks-framework om te kwantificeren hoe evaluator-biases zich verspreiden door multi-agent LLM-systemen, waarbij wordt onthuld dat hoewel biases consistent verspreiden, homogene modellen aanzienlijk minder besmetting vertonen dan cross-model opstellingen en dat het vergroten van de omvang van de evaluator-commissie een effectieve mitigatiestrategie biedt.

Oorspronkelijke auteurs: Zewen Liu

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zewen Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep van drie vrienden voor, die allemaal hetzelfde type slimme assistent gebruiken (laten we ze "DeepSeek-vrienden" noemen), die samen een reeks puzzels proberen op te lossen. Ze werken niet alleen naast elkaar; ze nemen ook om de beurt elkaars werk beoordelen.

Dit artikel gaat over wat er gebeurt wanneer de persoonlijke "beoordelingsstijl" van de ene vriend begint over te gaan op de anderen.

De Opzet: De "Beoordelingsketen"

In dit experiment zetten de onderzoekers een kettingreactie op:

Vriend A (die houdt van stapsgewijze lijsten) beoordeelt het werk van Vriend B.
Vriend B bekijkt de feedback, realiseert zich: "Oh, A houdt van lijsten," en begint zelf meer lijsten te schrijven.
Vriend B beoordeelt vervolgens het werk van Vriend C. Omdat B door A is beïnvloed, houdt B nu ook van lijsten.
Vriend C krijgt de feedback, ziet de voorkeur voor lijsten en begint ook lijsten te schrijven.

De onderzoekers noemen dit een "Besmettingsnetwerk" (Contagion Network). Net zoals een verkoudheid van persoon naar persoon overgaat, verspreidt een "bias" (een voorkeur voor een bepaalde manier van denken) zich van de ene AI-agent naar de andere.

De Grote Ontdekking: Het "Virus" is Zwak

De onderzoekers wilden weten: Verspreidt deze bias zich zo sterk dat iedereen precies hetzelfde gaat denken, waardoor hun unieke perspectieven verloren gaan?

Ze kwamen tot een verrassende ontdekking: In deze specifieke opstelling is het "virus" erg zwak.

Het "Hetzelfde Model"-effect: Omdat alle drie de vrienden exact hetzelfde onderliggende brein gebruikten (hetzelfde AI-model), hadden ze een natuurlijk "immuunsysteem". Hoewel ze elkaar beïnvloedden, vervaagde de invloed snel.
- Analogie: Stel je drie mensen voor die hetzelfde dialect spreken. Als één persoon plotseling een nieuw straattaalwoord begint te gebruiken, kunnen de anderen het oppikken, maar ze zullen niet plotseling hun moedertaal vergeten. De verandering is klein en vervaagt na een paar stappen.
De Cijfers: Na drie stappen van het doorgeven van de "bias" (A → B → C), was de oorspronkelijke invloed bijna verdwenen (met 99,4% verminderd). Het systeem stopte de verspreiding vanzelf.

De Vergelijking: Waarom Sommige "Virussen" Sterker Zijn

Het papier vergelijkt dit met een eerdere studie waarbij verschillende modellen (zoals GPT-4o die DeepSeek beoordeelt) werden gebruikt.

Het "Cross-Model"-gevaar: Wanneer verschillende modellen elkaar beoordelen, verspreidt de bias zich veel sneller en sterker.
- Analogie: Stel je voor dat iemand die een totaal andere taal spreekt, probeert iemand die die taal niet spreekt een nieuw straattaalwoord aan te leren. De verwarring kan zo groot zijn dat de luisteraar zijn eigen manier van spreken volledig loslaat om de nieuwe stijl te evenaren. De "infectie" is sterk genoeg om het over te nemen.

De Oplossing: De "Commissie van Drie"

De onderzoekers testten een eenvoudige oplossing: in plaats van dat slechts één vriend het werk beoordeelt, wat als ze een commissie van drie vrienden hadden die het werk samen beoordeelden?

Het Resultaat: Wanneer ze een commissie van drie diverse beoordelaars gebruikten, nam de "besmetting" met 72% af.
Waarom het werkt: Als één beoordelaar van lijsten houdt, een ander van korte antwoorden en een derde van bewijsvoering, dan vallen hun tegenstrijdige meningen elkaar op. De doelagent wordt niet in slechts één richting geduwd; het blijft in balans.
De Les: Je hoeft de verspreiding niet volledig te stoppen (aangezien deze in deze opstelling al zwak was), maar het toevoegen van meer diverse stemmen maakt het systeem zelfs veiliger en creatiever.

Samenvatting van de gevonden "Regels"

Bias Verspreidt Zich: Zelfs AI-agents die hetzelfde brein gebruiken, beïnvloeden elkaars denkstijl.
Hetzelfde Brein = Veilig: Als alle agents hetzelfde model gebruiken, sterft de bias vanzelf snel uit (Onderdrukking).
Andere Breinen = Risicovol: Wanneer agents verschillende modellen gebruiken, kan de bias zich ongecontroleerd verspreiden en de hele groep overnemen (Cascade).
Meer Stemmen = Beter: Het gebruik van een groep van drie diverse beoordelaars is een krachtige manier om het systeem in balans te houden en te voorkomen dat een enkele bias de overhand krijgt.

De Kernboodschap: Bij het bouwen van een team van AI-agents die elkaars werk beoordelen, hoef je je niet veel zorgen te maken als ze allemaal hetzelfde model gebruiken — ze houden elkaar vanzelf in toom. Maar als je verschillende modellen mengt, wees dan voorzichtig en gebruik altijd een commissie van minstens drie verschillende rechters om het team divers en gezond te houden.

Technische Samenvatting: Besmettingsnetwerken: Propagatie van Evaluator-bias in Multi-Agent LLM-systemen

1. Probleemstelling

In multi-agent Large Language Model (LLM) systemen evalueren agenten regelmatig elkaars outputs om samenwerking te sturen, taken toe te wijzen en responsen te selecteren. Hoewel dit peer-evaluatiemechanisme centraal staat in frameworks zoals AutoGen en MetaGPT, creëert het een gesloten feedbackloop waarbij bevooroordeelde oordelen van de ene agent de daaropvolgende outputs van een andere agent direct beïnvloeden.

Het kernprobleem dat wordt geadresseerd is Evaluator-bias Propagatie: het fenomeen waarbij systematische evaluatie-biases (bijv. een voorkeur voor stapsgewijze redenering of op bewijs gebaseerde responsen) zich verspreiden door het agentennetwerk. Als dit onbeheerd blijft, kan deze propagatie leiden tot systeembrede voorkeursinstorting (preference collapse), waarbij het gehele netwerk convergeert naar een enkele strategie, waardoor de cognitieve diversiteit die multi-agent systemen juist bedoeld zijn te exploiteren, wordt geëlimineerd. Het paper onderzoekt of deze biases zich tussen agenten verspreiden en onder welke omstandighedenheden ze escaleren tot systeembrede uitval.

2. Methodologie

Theoretisch Kader: Besmettingsnetwerken (Contagion Networks)

De auteurs formaliseren bias-propagatie met behulp van een framework genaamd Contagion Networks, waarbij zij een analogie trekken met epidemiologische modellen (SIS/SIR).

Cross-Agent Besmettingsmatrix ( $\Gamma_N$ ): Een $N \times N$ matrix waarbij de off-diagonaal entries $\gamma_{j \to i}$ de besmettingscoëfficiënt vertegenwoordigen—de grootte van de verschuiving in de stratagie-distributie van agent $A_i$ na $R$ ronden van evaluatie door agent $A_j$ .
Propagatie Dynamiek: Bias-propagatie langs een pad van lengte $L$ wordt gekwantificeerd door de cumulatieve factor $\beta_L = \prod \gamma$ .
Regime Classificatie: Het gedrag van het systeem wordt beheerst door de spectrale radius $\rho(\Gamma_N)$ $ρ (Γ_{N})$ :
- Onderdrukking (Suppression) ( $\rho < 1$ ): De bias neemt af met elke stap (hop).
- Persistentie (Persistence) ( $\rho \approx 1$ ): De bias verspreidt zich met minimale afname.
- Cascade ( $\rho > 1$ ): De bias versterkt zichzelf, wat leidt tot voorkeursinstorting.
Mitigatie via Diversiteit: Stelling 2 stelt dat het vergroten van het aantal onafhankelijke evaluatoren ( $k$ ) met diverse voorkeursprofielen de effectieve besmettingsfactor $\gamma_{eff}$ vermindert, wat potentieel de cascade-conditie kan doorbreken.

Experimenteel Ontwerp

De studie maakt gebruik van een gecontroleerd 3-agent experiment met DeepSeek-chat (deepseek-v4-flash) om een ondergrens vast te stellen voor besmetting binnen een homogene modelfamilie.

Agent Configuratie: Drie agenten (A, B, C) die enkel verschillen door hun evaluator-bias prompts:
- Agent A: Structuur-gebiased (verkiest stapsgewijze redenering).
- Agent B: Gebalanceerd (neutraal).
- Agent C: Bewijs-gebiased (verkiest op bewijs gebaseerde responsen).
Leermechanisme: Agenten updaten hun strategie-gewichten via Test-Time Reinforcement Learning (TTRL), een parameterloze adaptatiemechanisme dat de sampling-distributies van strategieën multiplicatief aanpast op basis van evaluator-feedback.
Fases:
1. Baseline: Meten van de standalone voorkeursprofielen.
2. Paarsgewijze Besmetting: Meten van $\gamma_{i \to j}$ voor alle geordende paren om $\Gamma_3$ te construeren.
3. Keten-propagatie: Simuleren van een 3-hop keten ( $A \to B \to C$ ) om cumulatieve attenuatie te meten.
4. Mitigatie: Testen van het effect van het vergroten van de evaluator-commissie grootte ( $k=1, 2, 3$ ) op de effectieve besmetting.

3. Belangrijkste Resultaten

1. Meetbare maar Zwakke Besmetting in Homogene Systemen

Zelfs binnen dezelfde onderliggende modelfamilie verspreiden evaluator-biases zich consistent tussen agenten.

Besmettingscoëfficiënten: De off-diagonaal entries in $\Gamma_3$ varieerden van 0,143 tot 0,304 (gemiddelde $\gamma \in [0,157, 0,352]$ ).
Asymmetrie: Besmetting was asymmetrisch; de Bewijs-gebiased agent (C) oefende de sterkste externe besmetting uit ( $\bar{\gamma}_{C \to \cdot} = 0,241$ ), terwijl de Structuur-gebiased agent (A) de zwakste externe besmetting uitoefende ( $\bar{\gamma}_{A \to \cdot} = 0,154$ ).

2. Onderdrukkingsregime versus Cascade-regime

Het systeem opereerde in het Onderrukkingsregime onder een keten-topologie.

Keten-attenuatie: In een 3-hop keten ( $A \to B \to C$ ) was de cumulatieve propagatiefactor $\beta_3 = 0,0055$ , wat duidt op bijna volledige attenuatie na drie hops.
Topologische Gevoeligheid: Hoewel de keten-topologie onderdrukking vertoonde (alle $\gamma < 1,0$ ), was de spectrale radius van de volledig verbonden matrix $\rho(\Gamma_3) \approx 1,402$ . Dit suggereert dat dezelfde agenten in een Cascade-regime kunnen terechtkomen als ze in een volledig verbonden topologie worden ingezet, hoewel ze stabiel blijven in een keten.
Homogeen versus Cross-Model: Deze homogene-model coëfficiënten (0,14–0,30) zijn 3–5 $\times$ zwakker dan de cross-model coëfficiënten waargenomen in eerder werk (MM-EPC: GPT-4o $\to$ DeepSeek, $\gamma \approx 0,85–1,3$ ). Dit ondersteunt de hypothese dat een gedeelde architectuur zorgt voor impliciete regularisatie tegen bias-versterking.

3. Evaluator-diversiteit als Mitigatiestrategie

Het vergroten van de omvang van de evaluator-commissie verminderde de effectieve besmetting aanzienlijk.

Reductie: Het vergroten van de commissie van $k=1$ naar $k=3$ verminderde de effectieve besmettingsfactor ( $\gamma_{eff}$ ) met 72,4% (van 0,264 naar 0,073).
Diversiteitsherstel: De strategie-entropie ( $H$ ) benaderde de theoretische maximum ( $\ln 5 \approx 1,609$ ) naarmate de commissiegrootte toenam, wat bevestigt dat diverse evaluatoren de cognitieve diversiteit behouden, zelfs in onderdrukkingsregimes.

4. Bijdragen

Cross-Agent Besmettingsmatrix ( $\Gamma_N$ ): Een formeel framework dat de meting van bias uitbreidt van 2-agent of cross-modale settings naar willekeurige $N$ -agent topologieën.
Propagatie-regime Stelling: Een karakterisering van drie dynamische regimes (Suppression, Persistence, Cascade) die worden beheerst door de spectrale radius $\rho(\Gamma_N)$ , waarbij bewezen wordt dat $\rho > 1$ de conditie is voor een cascade in volledig verbonden netwerken.
Empirische Validatie van Onderdrukking: Demonstratie dat homogene-model agenten opereren in een onderdrukkingsregime met snelle bias-attenuatie ( $\beta_3 = 0,0055$ ), in contrast met het cascade-regime gezien bij cross-model interacties.
Kritische Diversiteitsdrempel: Bewijs en verificatie dat een commissie van $k \ge 3$ diverse evaluatoren de effectieve besmetting onder de cascade-drempels brengt, wat een actiebare mitigatiestrategie biedt.
Open Framework: Publicatie van het Contagion Network experimentele framework om de gemeenschap in staat te stellen $\Gamma_N$ te meten.

5. Betekenis en Claims

Het paper claimt de eerste analyse te bieden van bias-propagatie in multi-hop agent evaluatieketens, waarbij wordt onthuld dat evaluator-biases zich gedragen als infectieuze agenten in een contactnetwerk.

Verenigd Beeld van Bias: Het werk verbindt met eerdere MM-EPC research om een verenigde "besmettingsspectrum" te definiëren. Het stelt dat cross-model diversiteit de bias-propagatie versterkt (wat leidt tot potentiële instorting), terwijl homogene evaluator-pools natuurlijke onderdrukking bieden.
Ontwerpimplicaties: De auteurs pleiten ervoor dat ontwerpers van multi-agent systemen:
- De voorkeur geven aan homogene modelfamilies met diverse prompts boven heterogene modelfamilies om bias-versterking te voorkomen.
- $\Gamma$ moeten meten vóór implementatie om potentiële cascade-risico's te diagnosticeren.
- Evaluator-commissies ( $k \ge 3$ ) moeten gebruiken als een "defense-in-depth" strategie.
- Strategie-entropie moeten monitoren als een real-time gezondheidsindicator voor het systeem.

Het paper concludeert met een praktische les: "Wanneer je een multi-agent systeem bouwt waarin agenten elkaar evalueren, bouw je een besmettingsnetwerk." Het benadrukt de noodzaak om besmettingsmatrices te meten en evaluator-diversiteit te handhaven om de cognitieve diversiteit te bewaren die essentieel is voor complexe redeneertaken.