🤖 AI

Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry

Dieses Paper stellt InfoDelphi vor, ein Multi-Agenten-Prognose-Framework, das durch die Nutzung gezielt gestalteter Informationsasymmetrie – indem Evidenz in geteilte öffentliche und disjunkte private Teilmengen unterteilt wird – die Fehlerkorrelation zwischen den Agenten reduziert und dadurch bestehende Baselines bei realen Vorhersageaufgaben signifikant übertrifft.

Ursprüngliche Autoren: Yuante Li, Yicheng Tao, Kate Zhang, Taozhi Wang, Gefei Gu, Yaxin Zhou

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuante Li, Yicheng Tao, Kate Zhang, Taozhi Wang, Gefei Gu, Yaxin Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, den Ausgang eines komplexen Ereignisses zu erraten, wie zum Beispiel: „Wird eine bestimmte Kryptowährung 1,8 Milliarden Dollar in Verkäufen erreichen?“ Sie fragen ein Expertengremium aus drei Experten nach ihrer Meinung.

Auf dem alten Weg (der „Standarddebatte“) geben Sie allen drei Experten exakt denselben Stapel an Nachrichtenartikeln zum Lesen. Sie setzen sich zusammen, diskutieren und geben Ihnen dann eine finale Antwort.

Das Papier argumentiert, dass dies oft scheitert. Warum? Wenn alle dieselbe Geschichte lesen, bekommen sie alle dieselbe Idee. Wenn diese Geschichte irreführend oder unvollständig ist, werden alle gemeinsam in die Irre geführt. Sie debattieren nicht wirklich; sie „herden“ einfach wie Schafe und verstärken dieselbe falsche Schlussfolgerung.

Die Autoren, Yuante Li und Kollegen, schlagen einen neuen Weg namens InfoDelphi vor. Ihr Erfolgsgeheimnis ist geplante Informationsasymmetrie (Designed Information Asymmetry).

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die „Geheime Zutat“-Analogie

Stellen Sie sich vor, Sie backen einen Kuchen und haben drei Köche.

Der alte Weg: Sie geben allen drei Köchen exakt dasselbe Rezeptbuch. Alle lesen dieselben Anweisungen. Wenn das Buch einen Tippfehler hat, machen alle drei Köche denselben Fehler.
Der InfoDelphi-Weg: Sie geben ihnen ein gemeinsames Kochbuch (den „öffentlichen“ Teil), damit sie miteinander sprechen können, aber Sie geben jedem Koch auch eine andere geheime Notiz (den „privaten“ Teil) mit einzigartigen Tipps oder Fakten, die die anderen nicht haben.
- Koch A erhält eine Notiz über die Ofentemperatur.
- Koch B erhält eine Notiz über die Marke des Mehls.
- Koch C erhält eine Notiz über die Höhe über dem Meeresspiegel.

Wenn sie nun miteinander sprechen, wiederholen sie nicht nur das Gleiche. Sie teilen ihre einzigartigen Geheimnisse. Koch A erfährt etwas über das Mehl von Koch B. Koch B erfährt etwas über den Ofen von Koch A. Am Ende haben sie einen viel besseren Kuchen gebacken, als wenn sie nur das gleiche Buch gelesen hätten.

Die drei Schritte von InfoDelphi

Aufteilung der Beweise (Das Setup):
Anstatt alle Internet-Suchergebnisse in einen Topf zu werfen, teilt das System die Informationen auf.
- Öffentlicher Pool: Ein kleiner, gemeinsamer Satz der wichtigsten Fakten, den alle sehen. Dies ist ihre „gemeinsame Sprache“, damit sie einander verstehen können.
- Private Pools: Der Rest der Fakten wird zerstückelt und verschiedenen Agenten zugewiesen. Jeder Agent besitzt ein einzigartiges Puzzleteil, das niemand sonst hat.
Die Deliberation (Das Gespräch):
Die Agenten rufen nicht einfach nur eine Zahl heraus (wie „70 % Chance!“). Sie teilen ihre Begründung (ihre „Rationale“).
- Warum das wichtig ist: Wenn Agent A sagt: „Ich denke, es sind 90 %, weil ich einen Bericht über X gesehen habe“, und Agent B sagt: „Ich denke, es sind 10 %, weil ich einen Bericht über Y gesehen habe“, können sie nun diese Berichte austauschen. Agent A erkennt: „Oh, diesen Bericht über Y habe ich nicht gesehen!“ und ändert seine Meinung.
- Das Papier beweist, dass sie nichts Neues lernen können, wenn sie nur Zahlen teilen. Sie müssen die Geschichte hinter der Zahl teilen.
Die finale Abstimmung (Die Aggregation):
Wenn sie fertig diskutiert haben, kombinieren sie ihre Antworten. Aber sie nehmen nicht einfach einen einfachen Durchschnitt. Sie gewichten die Antworten basierend auf dem Vertrauen (Confidence).
- Wenn ein Agent sagt: „Ich bin mir zu 99 % sicher“, und seine Begründung durch starke private Beweise gestützt wird, zählt seine Stimme mehr.
- Wenn ein Agent bei 50 % schwankt, zählt seine Stimme weniger.

Die Ergebnisse: Funktioniert es tatsächlich?

Das Team testete dies auf POLYGYM, einem neuen Testdatensatz mit 375 realen Vorhersagefragen (ähnlich denen auf Wettseiten).

Das Problem mit dem alten Weg: Wenn die Agenten die gleichen Informationen hatten, waren ihre Fehler stark korreliert. Wenn einer falsch lag, lagen alle falsch.
Der InfoDelphi-Gewinn: Indem sie den Agenten unterschiedliche private Informationen gaben, reduzierte das System die Wahrscheinlichkeit, dass alle denselben Fehler machen.
- Genauigkeit: Sie fanden 4–8 % häufiger die richtige Antwort als die besten bisherigen Methoden.
- Präzision: Ihre Wahrscheinlichkeitsschätzungen waren viel genauer (gemessen am „Brier-Score“, der um 12–18 % sank).

Ein Praxisbeispiel aus dem Papier

Das Papier gibt ein hervorragendes Beispiel zu einem Krypto-Verkauf:

Die Frage: Hat ein Unternehmen über 1,8 Milliarden Dollar eingenommen?
Die Falle: Die meisten Nachrichtenartikel sagten: „Wow, dieser Verkauf war massiv und überzeichnet!“ Dies ließ alle denken, die Antwort sei JA.
Das Geheimnis: Ein Agent besaß ein privates Dokument, das die exakte Zahl zeigte: 1,39 Milliarden Dollar.
Die Lösung: Im alten System hätten alle „JA“ gesagt, weil sie alle die „massiven“ Schlagzeilen gelesen hätten. In InfoDelphi teilte der Agent mit dem 1,39-Milliarden-Dollar-Dokument seine Begründung. Die anderen Agenten sahen diese spezifische Zahl, erkannten, dass die „massiven“ Schlagzeilen übertrieben waren, und korrigierten ihre Antworten auf NEIN.

Das Fazle Fazit

Das Papier behauptet, dass für eine Gruppe von KI-Agenten, um besser zu denken als ein einzelner Agent, sie unterschiedliche Informationen haben müssen. Wenn sie alle dasselbe Buch lesen, werden sie sich nur gegenseitig zustimmen, anstatt klüger zu werden. Indem man ihnen absichtlich unterschiedliche „geheime Notizen“ gibt und sie zwingt, ihre Begründungen zu teilen, kann die Gruppe ihre Fehler korrigieren und zu einer viel besseren Prognose gelangen.

Technisches Resümee: Diverse Evidenz, bessere Prognosen: Multi-Agenten-Deliberation unter Informationsasymmetrie

Problemstellung

Multi-Agenten-Systeme, die Large Language Models (LLMs) nutzen, werden zunehmend für die Prognose zukünftiger Ereignisse eingesetzt, wobei die Annahme zugrunde liegt, dass die Deliberation zwischen mehreren Agenten das Denken und die Kalibrierung verbessert. Bestehende Ansätze stellen jedoch in der Regel allen Agenten denselben Evidenz-Korpus zur Verfügung. Die Autoren identifizieren einen kritischen Fehler in diesem Design: Wenn Agenten über identische Informationen verfügen, kollabiert die Deliberation zu einem „Herdenverhalten“ (Herding) statt zu einer echten Überarbeitung der Überzeugungen (Belief Revision). In solchen homogenen Umgebungen gelangen die Agenten unabhängig voneinander zu denselben Schlussfolgerungen, und der iterative Austausch verstärkt lediglich die gemeinsamen Priors. Jüngste theoretische Arbeiten legen nahe, dass Multi-Agenten-Debatten unter identischen Eingaben wie ein Martingal agieren, bei dem die erwartete Genauigkeit über die Runden hinweg nicht steigt, und empirische Studien zeigen, dass LLM-Fehler über verschiedene Anbieter hinweg hoch korreliert sind (oft >60 %). Folglich bieten Multi-Agenten-Systeme mit homogenen Eingaben kaum einen Vorteil gegenüber Single-Agenten-Baselines.

Methodik: InfoDelphi und gestaltete Informationsasymmetrie

Um die Korrelation von Fehlern in homogenen Settings zu adressieren, schlagen die Autoren eine gestaltete Informationsasymmetrie vor, wobei sie Informationsasymmetrie nicht als Einschränkung, sondern als Gestaltungsprinzip nutzen, das es auszuschöpfen gilt. Sie implementieren dieses Prinzip in InfoDelphi, einem Multi-Agenten-Prognose-Framework.

1. Theoretische Grundlage

Die Autoren formalisieren den Nutzen von Informationsasymmetrie mithilfe der Bias-Varianz-Kovarianz-Zerlegung des Ensemble-Mittleren Quadratfehlers (MSE).

Korrelierte Fehler: Wenn Agenten identische Evidenz ( $E$ ) erhalten, werden ihre Vorhersagefehler durch dieselben Quellen getrieben, was zu einer hohen Inter-Agenten-Fehlerkorrelation führt ( $Cov(\epsilon_i, \epsilon_j) \approx Var(\epsilon)$ ). Dies führt dazu, dass der Diversitäts-Term im Ensemble-MSE kollabiert, was die Vorteile der Aggregation zunichtemacht.
Dekorrelation durch Partitionierung: Die Autoren schlagen vor, den Evidenz-Korpus $E$ $E$ in eine gemeinsame öffentliche Teilmenge ( $E_{pub}$ $E_{p u b}$ ) und disjunkte private Teilmengen ( $E_{priv}$ $E_{p r i v}$ ) aufzuteilen.
- Sei $\rho$ das Verhältnis der öffentlichen Evidenz.
- Die theoretische Analyse (Proposition 3.1) zeigt, dass die Inter-Agenten-Fehlerkorrelation monoton abnimmt, wenn $\rho$ von 1 (alles öffentlich) auf 0 (alles privat) sinkt.
- Speziell sinkt bei einem öffentlichen Verhältnis von $\rho=0,5$ und gleichen Varianzkomponenten die Inter-Agenten-Korrelation auf 0,5 (die Hälfte des Baselines von 1,0).
Teilen von Rationales: Um sicherzustellen, dass Agenten von den privaten Signalen der anderen profitieren können, erfordert das Framework den Austausch von Rationales (Begründungspfaden) anstatt nur numerischer Wahrscheinlichkeitsschätzungen. Die Autoren argumentieren mittels der Data Processing Inequality, dass der Austausch von reinen Zahlen eine Markov-Kette bildet, in der die Information über die Grundwahrheit nur abnehmen kann. Das Teilen von Rationales durchbricht diese Kette und ermöglicht es, dass sich private Evidenz über die Grenzen der Agenten hinweg ausbreitet.

2. Das InfoDelphi-Framework

InfoDelphi operiert in drei Phasen:

Evidenz-Routing: Der Evidenz-Korpus wird mittels BM25-Relevanzranking partitioniert.
- Die am höchsten bewerteten Dokumente (die relevantesten für die Abfrage) bilden den geteilten öffentlichen Pool ( $E_{pub}$ ), der eine gemeinsame Basis für die Kommunikation bietet.
- Die verbleibenden Dokumente werden den Agenten im Round-Robin-Verfahren basierend auf ihren Relevanzwerten zugewiesen, wodurch disjunkte private Teilmengen ( $E_{priv}$ ) entstehen. Dies stellt sicher, dass jeder Agent über einzigartige periphere Evidenz verfügt, während er gleichzeitig den Kernkontext teilt.
Iterative Deliberation: Die Agenten führen mehrere Runden der Prognose durch. In jeder Runde konditioniert ein Agent auf seine private Sicht ( $E_{pub} \cup E_{priv}$ ) und eine Zusammenfassung der Historie der Vorhersagen anderer Agenten, welche strukturierte Rationales enthält.
Konfidenzgewichtete Aggregation: Die finalen Prognosen werden im Logit-Raum aggregiert. Die Aggregationsgewichte ( $w_j$ ) werden durch die Extremität der Vorhersage des Agenten bestimmt ( $|logit(p_j)|$ ). Dieser Mechanismus verstärkt die Vorhersagen der Agenten, die über stärkere private Evidenz verfügen, da diese dazu neigen, extremere (konfidentere) Vorhersagen zu treffen.

Zentrale Beiträge

Gestaltete Informationsasymmetrie: Das Paper schlägt vor, Informationsasymmetrie als ein primäres Designprinzip für Multi-Agenten-Reasoning zu behandeln, und beweist theoretisch, dass die Partitionierung von öffentlicher und privater Evidenz die Inter-Agenten-Fehlerkorrelation reduziert.
InfoDelphi-Framework: Die Autoren führen ein konkretes Framework ein, das dieses Prinzip durch relevanzbewusstes Evidenz-Routing, rationale-basierte iterative Deliberation und konfidenzgewichtete Aggregation umsetzt.
POLYGYM Benchmark: Um die Nutzung von Informationen von der Qualität der Informationsbeschaffung (Retrieval) zu isolieren, konstruieren die Autoren POLYGYM, einen kontrollierten Benchmark aus 375 binären Prognosefragen, die aus realen Vorhersagemärkten (Polymarket) abgeleitet wurden. Entscheidend ist, dass alle Methoden über denselben festen, vorab abgerufenen Evidenz-Pool operieren, was die Variabilität durch Suchstrategien eliminiert.

Experimentelle Ergebnisse

Die Experimente wurden auf POLYGYM mit $J=3$ Agenten und $R=2$ Deliberationsrunden durchgeführt.

Performance: InfoDelphi erreichte einen Brier-Score von 0,178 und eine Genauigkeit von 77,9 %. Dies übertrifft die stärksten Single-Agenten-Baselines (z. B. Chain-of-Thought, Superforecaster) und Multi-Agenten-Baselines (z. B. Standard Debate, MoA) um 12–18 % beim Brier-Score und um 4–8 Prozentpunkte bei der Genauigkeit.
Notwendigkeit von Diversität: Ablationsstudien bestätigten, dass das Entfernen der Informationsasymmetrie (Setzen von $\rho=1,0$ , d. h. alles öffentlich) die meisten Deliberationsgewinne eliminiert und die Performance auf ein Niveau vergleichbar mit Standard-Debatten senkt.
Bedeutung des Rationales-Sharings: Das Entfernen des Rationales-Sharings (Austausch nur von Zahlen) verschlechterte die Performance signifikant (Brier-Score stieg auf 0,211), was die theoretische Behauptung validiert, dass ein geschlossenes System des numerischen Austauschs die kollektive Genauigkeit nicht verbessern kann.
Generalisierung: Das Framework zeigte konsistente Verbesserungen über verschiedene Model-Backends hinweg, einschließlich GPT-5.4-mini, DeepSeek-V3.2 und Llama-4-Scout, wobei die Gewinne mit der Modellkapazität skalierten.
Validierung des Mechanismus: Die Analyse zeigte, dass die konfidenzgewichtete Aggregation deshalb funktioniert, weil Agenten mit stärkerer privater Evidenz extremere Vorhersagen treffen. Zudem bewahrte die Informationsasymmetrie die Inter-Agenten-Diversität (nur 73 % Varianzreduktion) im Vergleich zu homogenen Settings (90–92 % Varianzreduktion), was verhinderte, dass das System in eine Konsens-Echokammer kollabierte.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Diversität der Eingabe der entscheidende Ermöglicher für effektives Multi-Agenten-Reasoning ist. Die Autoren argumentieren, dass die gängige Praxis, allen Agenten identische Kontextfenster zur Verfügung zu stellen, den Wert der Multi-Agenten-Interaktion fundamental begrenzt. Durch die Einführung gestalteter Informationsasymmetrie verwandelt InfoDelphi redundante Deliberation in produktive Überarbeitung von Überzeugungen.

Die Autoren positionieren die probabilistische Prognose als einen anspruchsvollen Test dieses Prinzips, der die Synthese aus verrauschten, widersprüchlichen Evidenzen erfordert. Sie deuten an, dass die robusten Verbesserungen in diesem Setting auf eine breite Anwendbarkeit auf andere Multi-Agenten-Systeme hindeuten, in denen Agenten über gemeinsame Evidenz argumentieren, wie etwa bei der kollaborativen Beantwortung von Fragen oder der wissenschaftlichen Hypothesenbewertung.

Das Paper wahrt Bescheidenheit hinsichtlich seiner Limitationen und räumt ein, dass der theoretische Beweis auf idealisierenden Annahmen beruht (lineare Fehlerzerlegung, Unabhängigkeit des privaten Rauschens) und dass die aktuelle Implementierung Standardmethoden für das Routing und die Aggregation verwendet, was Raum für anspruchsvollere Alternativen lässt. Zudem merken die Autoren an, dass die Obergrenze des Frameworks immer noch durch die Qualität des initialen Evidenz-Retrievals begrenzt wird.