🤖 machine learning

Contagion Networks: Evaluator Bias Propagation in Multi-Agent LLM Systems

Dieses Paper führt das Contagion Networks Framework ein, um zu quantifizieren, wie sich Evaluator-Biases durch Multi-Agenten-LLM-Systeme ausbreiten, wobei aufgezeigt wird, dass sich Biases zwar konsistent verbreiten, homogene Modelle jedoch eine signifikant schwächere Kontagion als Cross-Model-Setups aufweisen und die Erhöhung der Größe des Evaluator-Komitees eine effektive Minderungsstrategie darstellt.

Ursprüngliche Autoren: Zewen Liu

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zewen Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von drei Freunden vor, die alle denselben Typ eines intelligenten Assistenten verwenden (nennen wir sie „DeepSeek-Freunde“) und gemeinsam versuchen, eine Reihe von Rätseln zu lösen. Sie arbeiten nicht nur nebeneinander her, sondern bewerten auch abwechselnd die Arbeit der jeweils anderen.

Dieses Paper handelt davon, was passiert, wenn der persönliche „Bewertungsstil“ eines Freundes beginnt, die anderen zu infizieren.

Das Setup: Die „Bewertungskette“

In diesem Experiment richteten die Forscher eine Kettenreaktion ein:

Freund A (der Schritt-für-Schritt-Listen liebt) bewertet die Arbeit von Freund B.
Freund B sieht das Feedback, erkennt: „Oh, A mag Listen“, und beginnt, mehr Listen zu schreiben.
Freund B bewertet dann die Arbeit von Freund C. Da B durch A beeinflusst wurde, bevorzugt B nun ebenfalls Listen.
Freund C erhält das Feedback, sieht die Vorliebe für Listen und beginnt ebenfalls, Listen zu schreiben.

Die Forscher nennen dies ein „Kontagions-Netzwerk“ (Ansteckungs-Netzwerk). Genau wie eine Erkältung von Person zu Person übertragen wird, verbreitet sich ein „Bias“ (eine Vorliebe für eine bestimmte Denkweise) von einem KI-Agenten zum nächsten.

Die große Entdeckung: Der „Virus“ ist schwach

Die Forscher wollten wissen: Verbreitet sich dieser Bias so stark, dass am Ende alle genau gleich denken und ihre einzigartigen Perspektiven verlieren?

Sie fanden etwas Überraschendes heraus: In diesem speziellen Setup ist der „Virus“ sehr schwach.

Der „Gleiches-Modell“-Effekt: Da alle drei Freunde exakt dasselbe zugrunde liegende Gehirn (dasselbe KI-Modell) verwendeten, besaßen sie ein natürliches „Immunsystem“. Obwohl sie sich gegenseitig beeinflussten, verblasste der Einfluss schnell.
- Analogie: Stellen Sie sich drei Personen vor, die denselben Dialekt sprechen. Wenn eine Person beginnt, ein neues Slang-Wort zu benutzen, werden die anderen es vielleicht aufgreifen, aber sie werden nicht plötzlich ihre Muttersprache vergessen. Die Veränderung ist klein und verblasst nach ein paar Schritten.
Die Zahlen: Nach drei Schritten, in denen der „Bias“ weitergegeben wurde (A → B → C), war der ursprüngliche Einfluss fast vollständig verschwunden (um 99,4 % reduziert). Das System stoppte die Ausbreitung von Natur aus.

Der Vergleich: Warum manche „Viren“ stärker sind

Das Paper vergleicht dies mit einer früheren Studie, bei der verschiedene Modelle (wie GPT-4o, das DeepSeek bewertet) verwendet wurden.

Die „Cross-Model“-Gefahr: Wenn verschiedene Modelle einander bewerten, verbreitet sich der Bias viel schneller und stärker.
- Analogie: Stellen Sie sich vor, eine Person, die eine völlig andere Sprache spricht, versucht, jemandem, der diese Sprache nicht beherrscht, ein neues Slang-Wort beizubringen. Die Verwirrung könnte so groß sein, dass der Zuhörer seine eigene Art zu sprechen komplett aufgibt, um sich dem Neuen anzupassen. Die „Infektion“ ist stark genug, um die Kontrolle zu übernehmen.

Die Lösung: Das „Komitee aus drei Personen“

Die Forscher testeten eine einfache Lösung: Anstatt dass nur ein Freund die Arbeit bewertet, was wäre, wenn ein Komitee aus drei Freunden die Arbeit gemeinsam bewertet?

Das Ergebnis: Als sie ein Komitee aus drei diversen Evaluatoren einsetzten, sank die „Kontagion“ um 72 %.
Warum es funktioniert: Wenn ein Bewerter Listen liebt, ein anderer kurze Antworten und ein dritter Beweise, heben sich ihre gegensätzlichen Meinungen gegenseitig auf. Der Ziel-Agent wird nicht in nur eine Richtung gedrängt; er bleibt ausgewogen.
Das Fazit: Man muss die Ausbreitung nicht vollständig stoppen (da sie in diesem Setup ohnehin bereits schwach war), aber das Hinzufügen vielfältigerer Stimmen macht das System noch sicherer und kreativer.

Zusammenfassung der gefundenen „Regeln“

Bias verbreitet sich: Selbst KI-Agenten, die dasselbe Gehirn nutzen, beeinflussen sich gegenseitig in ihrem Denkstil.
Gleiches Gehirn = Sicher: Wenn alle Agenten dasselbe Modell verwenden, stirbt der Bias von Natur aus schnell ab (Suppression/Unterdrückung).
Verschiedene Gehirne = Riskant: Wenn Agenten unterschiedliche Modelle verwenden, kann sich der Bias wild verbreiten und die gesamte Gruppe übernehmen (Cascade/Kaskade).
Mehr Stimmen = Besser: Die Verwendung einer Gruppe von drei diversen Evaluatoren ist ein wirkungsvoller Weg, um das System im Gleichgewicht zu halten und zu verhindern, dass ein einzelner Bias das Ganze übernimmt.

Das Kernfazit: Wenn Sie ein Team von KI-Agenten aufbauen, die sich gegenseitig bewerten, müssen Sie sich keine Sorgen machen, falls sie alle dasselbe Modell verwenden – sie werden sich gegenseitig von Natur aus kontrollieren. Aber wenn Sie verschiedene Modelle mischen, seien Sie vorsichtig und verwenden Sie immer ein Komitee aus mindestens drei verschiedenen Richtern, um das Team divers und gesund zu halten.

Technisches Resümee: Contagion Networks: Evaluator Bias Propagation in Multi-Agent LLM Systems

1. Problemstellung

In Multi-Agent-Systemen mit Large Language Models (LLMs) bewerten Agenten häufig die Ausgaben der jeweils anderen, um die Zusammenarbeit zu steuern, Aufgaben zuzuweisen und Antworten auszuwählen. Während dieser Peer-Evaluation-Mechanismus zentral für Frameworks wie AutoGen und MetaGPT ist, erzeugt er eine geschlossene Rückkopplungsschleife, in der die voreingenommenen Urteile eines Agenten die nachfolgenden Ausgaben eines anderen direkt beeinflussen.

Das adressierte Kernproblem ist die Evaluator Bias Propagation (Ausbreitung von Evaluator-Bias): das Phänomen, bei dem systematische Evaluations-Biases (z. B. eine Präferenz für schrittweise Argumentation oder evidenzbasierte Antworten) sich durch das Agenten-Netzwerk verbreiten. Wenn dies unkontrolliert bleibt, kann diese Propagation zu einem systemweiten Preference Collapse (systemweiter Präferenzkollaps) führen, bei dem das gesamte Netzwerk auf eine einzige Strategie konvergiert und dadurch die kognitive Diversität eliminiert, die Multi-Agenten-Systeme eigentlich nutzen wollen. Die Arbeit untersucht, ob sich diese Biases über Agenten hinweg ausbreiten und unter welchen Bedingungen sie in einen systemweiten Ausfall münden.

2. Methodik

Theoretischer Rahmen: Contagion Networks

Die Autoren formalisieren die Bias-Propagation mithilfe eines Frameworks namens Contagion Networks und ziehen dabei eine Analogie zu epidemiologischen Modellen (SIS/SIR).

Cross-Agent Contagion Matrix ( $\Gamma_N$ ): Eine $N \times N$ Matrix, wobei die Nebendiagonal-Einträge $\gamma_{j \to i}$ den Kontagionskoeffizienten darstellen – das Ausmaß der Verschiebung der Strategieverteilung bei Agent $A_i$ nach $R$ Runden der Evaluation durch Agent $A_j$ .
Propagationsdynamik: Die Bias-Propagation entlang eines Pfades der Länge $L$ wird durch den kumulativen Faktor $\beta_L = \prod \gamma$ quantifiziert.
Regime-Klassifizierung: Das Verhalten des Systems wird durch den Spektralradius $\rho(\Gamma_N)$ $ρ (Γ_{N})$ bestimmt:
- Suppression (Unterdrückung) ( $\rho < 1$ ): Der Bias schwächt sich mit jedem Schritt ab.
- Persistence (Persistenz) ( $\rho \approx 1$ ): Der Bias breitet sich mit minimalem Zerfall aus.
- Cascade (Kaskade) ( $\rho > 1$ ): Der Bias verstärkt sich, was zum Preference Collapse führt.
Minderung durch Diversität: Theorem 2 postuliert, dass die Erhöhung der Anzahl unabhängiger Evaluatoren ( $k$ ) mit diversen Präferenzprofilen den effektiven Kontagionsfaktor $\gamma_{eff}$ reduziert und potenziell die Kaskadenbedingung durchbricht.

Experimentelles Design

Die Studie nutzt ein kontrolliertes 3-Agenten-Experiment mit DeepSeek-chat (deepseek-v4-flash), um eine Untergrenze für die Kontagion innerhalb einer homogenen Modellfamilie zu etablieren.

Agenten-Konfiguration: Drei Agenten (A, B, C), die sich nur durch ihre Evaluator-Bias-Prompts unterscheiden:
- Agent A: Strukturbasiert (bevorzugt schrittweise Argumentation).
- Agent B: Ausgewogen (neutral).
- Agent C: Evidenzbasiert (bevorzugt evidenzbasierte Antworten).
Lernmechanismus: Agenten aktualisieren ihre Strategie-Gewichte über Test-Time Reinforcement Learning (TTRL), einen parameterfreien Adaptionsmechanismus, der die Strategie-Sampling-Verteilungen basierend auf dem Evaluator-Feedback multiplikativ anpasst.
Phasen:
1. Baseline: Messung der eigenständigen Präferenzprofile.
2. Pairwise Contagion: Messung von $\gamma_{i \to j}$ für alle geordneten Paare zur Konstruktion von $\Gamma_3$ .
3. Chain Propagation: Simulation einer 3-Hop-Kette ( $A \to B \to C$ ), um die kumulative Attenuation zu messen.
4. Mitigation: Test der Wirkung der Erhöhung der Größe des Evaluator-Komitees ( $k=1, 2, 3$ ) auf die effektive Kontagion.

3. Kernergebnisse

1. Messbare, aber schwache Kontagion in homogenen Systemen

Selbst innerhalb derselben zugrunde liegenden Modellfamilie verbreiten sich die Evaluator-Biases konsistent zwischen den Agenten.

Kontagionskoeffizienten: Die Nebendiagonal-Einträge in $\Gamma_3$ lagen zwischen 0,143 und 0,304 (Mittelwert $\gamma \in [0,157, 0,352]$ ).
Asymmetrie: Die Kontagion war asymmetrisch; der evidenzbasierte Agent (C) übte die stärkste outward Contagion aus ( $\bar{\gamma}_{C \to \cdot} = 0,241$ ), während der strukturbasierte Agent (A) die schwächste ausübte ( $\bar{\gamma}_{A \to \cdot} = 0,154$ ).

2. Suppression-Regime vs. Cascade-Regime

Das System operierte unter der Ketten-Topologie im Suppression-Regime.

Ketten-Attenuation: In einer 3-Hop-Kette ( $A \to B \to C$ ) betrug der kumulative Propagationsfaktor $\beta_3 = 0,0055$ , was auf eine nahezu vollständige Abschwächung des Bias nach drei Schritten hindeutet.
Topologische Sensitivität: Während die Ketten-Topologie Suppression zeigte (alle $\gamma < 1,0$ ), lag der Spektralradius der vollvernetzten Matrix bei $\rho(\Gamma_3) \approx 1,402$ . Dies deutet darauf hin, dass dieselben Agenten in ein Cascade-Regime übergehen könnten, wenn sie in einer vollvernetzten Topologie eingesetzt würden, obwohl sie in einer Kette stabil bleiben.
Homogen vs. Cross-Model: Diese Koeffizienten homogener Modelle (0,14–0,30) sind 3–5-mal schwächer als die bei vorangegangenen Arbeiten beobachteten Cross-Model-Koeffizienten (MM-EPC: GPT-4o $\to$ DeepSeek, $\gamma \approx 0,85–1,3$ ). Dies stützt die Hypothese, dass eine gemeinsame Architektur eine implizite Regularisierung gegen Bias-Verstärkung bietet.

3. Evaluator-Diversität als Minderungsstrategie

Die Erhöhung der Größe des Evaluator-Komitees reduzierte die effektive Kontagion signifikant.

Reduktion: Die Erhöhung des Komitees von $k=1$ auf $k=3$ reduzierte den effektiven Kontagionsfaktor ( $\gamma_{eff}$ ) um 72,4 % (von 0,264 auf 0,073).
Diversitäts-Recovery: Die Strategie-Entropie ( $H$ ) näherte sich dem theoretischen Maximum ( $\ln 5 \approx 1,609$ ), als die Komitee-Größe zunahm, was bestätigt, dass diverse Evaluatoren die kognitive Diversität selbst in Suppression-Regimen aufrechterhalten.

4. Beiträge

Cross-Agent Contagion Matrix ( $\Gamma_N$ ): Ein formaler Rahmen, der die Bias-Messung von 2-Agenten- oder Cross-Modal-Settings auf beliebige $N$ -Agenten-Topologien erweitert.
Propagation Regime Theorem: Eine Charakterisierung von drei dynamischen Regimen (Suppression, Persistence, Cascade), die durch den Spektralradius $\rho(\Gamma_N)$ gesteuert werden, wobei bewiesen wird, dass $\rho > 1$ die Bedingung für eine Kaskade in vollvernetzten Netzwerken ist.
Empirische Validierung der Suppression: Nachweis, dass Agenten in homogenen Modellen in einem Suppression-Regime mit schneller Bias-Attenuation ( $\beta_3 = 0,0055$ ) operieren, im Gegensatz zum Cascade-Regime bei Cross-Model-Interaktionen.
Kritische Diversitätsschwelle: Beweis und Verifizierung, dass ein Komitee von $k \ge 3$ diversen Evaluatoren die effektive Kontagion unter die Kaskaden-Schwellenwerte senkt und somit eine praktikable Minderungsstrategie bietet.
Offenes Framework: Veröffentlichung des Contagion-Network-Experimentier-Frameworks, um der Community die Messung von $\Gamma_N$ zu ermöglichen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die erste Analyse der Bias-Propagation in Multi-Hop-Agent-Evaluationsketten zu liefern, und zeigt auf, dass sich Evaluator-Biases wie Infektionserreger in einem Kontaktnetzwerk verhalten.

Vereinheitlichtes Bild des Bias: Die Arbeit verbindt sich mit der vorangegangenen MM-EPC-Forschung, um ein vereinheitlichtes „Kontagions-Spektrum“ zu definieren. Sie postuliert, dass Cross-Model-Diversität die Bias-Propagation verstärkt (was zu potenziellem Kollaps führt), während homogene Evaluator-Pools eine natürliche Suppression bieten.
Design-Implikationen: Die Autoren argumentieren, dass Designer von Multi-Agenten-Systemen:
- Homogene Modellfamilien mit diversen Prompts gegenüber heterogenen Modellfamilien bevorzugen sollten, um die Verstärkung von Bias zu vermeiden.
- $\Gamma$ vor dem Einsatz messen sollten, um potenzielle Kaskadenrisiken zu diagnostizieren.
- Evaluator-Komitees ( $k \ge 3$ ) als Defense-in-Depth-Strategie nutzen sollten.
- Die Strategie-Entropie als Echtzeit-Indikator für die Systemgesundheit überwachen sollten.

Die Arbeit schließt mit einer praktischen Erkenntnis: „Wenn Sie ein Multi-Agenten-System bauen, in dem Agenten einander bewerten, bauen Sie ein Kontagions-Netzwerk.“ Sie betont die Notwendigkeit, Kontagions-Matrizen zu messen und die Evaluator-Diversität aufrechtzuerhalten, um die für komplexe Denkaufgaben essenzielle kognitive Diversität zu bewahren.