🤖 AI

Consensus is Strategically Insufficient: Reasoning-Trace Disagreement as a Knowledge-Representation Signal

Dieses Paper schlägt ein Framework zur Wissensrepräsentation vor, das Multi-Agenten-Begründungsverläufe und Entscheidungen in vier symbolische Dissenszustände abstrahiert, um strategisches Routing in wertgeladenen Aufgaben zu ermöglichen, wobei argumentiert wird, dass die Bewahrung statt der Eliminierung von Dissens entscheidend für die Adressierung normativer Unsicherheit ist.

Ursprüngliche Autoren: Michał Wawer, Jarosław A. Chudziak

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Michał Wawer, Jarosław A. Chudziak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von fünf KI-Assistenten, die die Aufgabe haben, zu entscheiden, ob ein bestimmter Online-Inhalt aufrechterhalten oder entfernt werden sollte. In den meisten aktuellen Systemen ist das Ziel, diese fünf Assistenten so schnell wie möglich zur Einigung zu bringen. Wenn sie uneins sind, betrachtet das System dies normalerweise als Fehler, erzwingt eine Abstimmung oder bittet sie, zu debattieren, bis sie einen „Konsens“ erreichen.

Dieses Paper argumenttiert, dass das Erzwingen von Einigkeit tatsächlich eine schlechte Idee für schwierige, wertebasierte Entscheidungen (wie die Moderation von Inhalten) ist. Manchmal ist Uneinigkeit kein Fehler, sondern ein Merkmal. Es könnte bedeuten, dass die Agenten dieselben Fakten betrachten, aber unterschiedliche Werte abwägen (wie „Meinungsfreiheit“ vs. „Sicherheit“).

Hier ist die Kernidee, unterteilt in einfache Analogien:

Das Problem: Der Fehler der „Abstimmungsmaschine“

Betrachten Sie ein Standard-Multi-Agenten-System wie eine Jury, die gezwungen ist, sofort ein Urteil zu fällen. Wenn die Jury-Mitglieder mit 3 zu 2 gespalten sind, wählt das System einfach die Mehrheit und macht weiter.

Der Fehler: Dies ignoriert das Warum hinter ihrer Uneinigkeit. Haben sie uneins gestimmt, weil sie unterschiedliche Fakten gesehen haben? Oder haben sie exakt dieselben Fakten gesehen, aber unterschiedliche moralische Prioritäten? Das aktuelle System behandelt beide Situationen gleich: „Wähle einfach einen Gewinner.“

Die Lösung: Die „Uneinigkeits-Karte“ (Disagreement Map)

Die Autoren schlagen eine neue Denkebene vor, die nicht nur auf den Vote schaut, sondern auf die Begründung hinter den Stimmen. Sie erstellen eine „Karte“ mit vier verschiedenen Zonen, basierend auf zwei Fragen:

Haben sie sich beim Ergebnis geeinigt? (Behalten oder Entfernen?)
Haben sie sich bei der Begründung geeinigt? (Haben sie eine ähnliche Logik verwendet?)

Dies erzeugt vier „Zustände“ der Uneinigkeit, wie vier verschiedene Räume in einem Haus:

1. Konvergente Übereinstimmung (Convergent Agreement – CA)

Das Szenario: Alle sind sich beim Ergebnis einig und alle haben dieselbe Logik verwendet.
Die Metapher: Ein Chor, der denselben Ton in perfekter Harmonie singt.
Die Aktion: Automatisch genehmigen. Es ist nicht nötig, weiter nachzudenken; das System kann die Entscheidung sicher automatisch treffen.

2. Divergente Übereinstimmung (Divergent Agreement – DA)

Das Szenario: Alle sind sich beim Ergebnis einig, aber sie haben völlig unterschiedliche Gründe dafür genutzt.
Die Metapher: Fünf Leute entscheiden, ein Auto zu kaufen. Einer will Sicherheit, einer will Geschwindigkeit, ein anderer will Stil. Sie sind sich alle über das Auto einig, aber aus unterschiedlichen Gründen.
Die Aktion: Automatisch genehmigen mit Erklärung. Das System trifft die Entscheidung, hält aber alle unterschiedlichen Gründe sichtbar, da verschiedene Menschen vielleicht unterschiedliche Erklärungen wichtig finden.

3. Divergente Uneinigkeit (Divergent Disagreement – DD)

Das Szenario: Sie sind sich beim Ergebnis uneins und haben auch völlig unterschiedliche Logiken verwendet.
Die Metapher: Eine Gruppe von Menschen betrachtet ein verschwommenes Foto. Einer denkt, es sei ein Hund, ein anderer ein Katze und ein dritter ein Schatten. Sie können sich nicht einig werden, weil sie sich nicht einmal sicher sind, was sie da eigentlich sehen.
Die Aktion: Nach mehr Kontext fragen. Das System erkennt, dass es noch nicht genügend Informationen hat. Es sollte nicht direkt an einen Menschen eskalieren, sondern eher nach mehr Daten fragen oder es erneut versuchen.

4. Konvergente Uneinigkeit (Convergent Disagreement – CD) — Die wichtigste Kategorie

Das Szenario: Sie sind sich beim Ergebnis uneins, aber sie haben die exakt gleiche Logik verwendet.
Die Metapher: Fünf Richter betrachten dasselbe klare Foto eines Hundes. Alle sind sich einig, dass es ein Hund ist. Aber Richter A sagt: „Hunde sind gefährlich, entfernen“, während Richter B sagt: „Hunde sind süß, behalten“. Sie sehen dieselbe Realität, aber es gibt einen fundamentalen Konflikt der Werte.
Die Aktion: An einen Menschen eskalieren. Dies ist die große Erkenntnis des Papers. Wenn die KI-Agenten sich über die Fakten einig sind, aber über den Wert uneins sind, handelt es sich um einen echten moralischen Konflikt. Das Erzwingen eines Siegers in dieser Situation würde ein echtes menschliches Dilemma verbergen. Dies ist das Signal, das besagt: „Stopp, ein Mensch muss hier in diesen Wertekonflikt einwirken.“

Warum das wichtig ist

Das Paper legt nahe, dass wir in komplexen, werteintensiven Aufgaben der Uneinigkeit nicht versuchen sollten, sie zu beheben (indem wir sie durch eine Abstimmung wegstimmen), sondern sie als Signal nutzen sollten.

Alter Weg: „Wir haben eine Uneinigkeit? Lasst uns eine Abstimmung erzwingen und so tun, als wäre es gelöst.“
Neuer Weg: „Wir haben eine Uneinigkeit. Lasst uns die Karte prüfen. Ist es eine ‚verschwommene Foto‘-Situation (mehr Infos beschaffen) oder eine ‚konfliktierende Werte‘-Situation (einen Menschen rufen)?“

Die „Testfahrt“

Die Autoren testeten diese Idee anhand eines Datensatzes mit Beispielen für Hassrede. Sie simulierten fünf KI-Agenten mit unterschiedlichen „Persönlichkeiten“ (z. B. einer, der auf Sicherheit fokussiert ist, ein anderer auf Meinungsfreiheit).

Das Ergebnis: Das System konnte die Fälle erfolgreich in die vier Kategorien sortieren.
Der Beweis: Die Fälle, in denen die KI-Agenten eine „Konvergente Uneinigkeit“ (gleiche Logik, unterschiedliche Werte) aufwiesen, waren genau jene, bei denen auch menschliche Prüfer am stärksten uneins waren. Dies beweist, dass die „Karte“ des Systems die schwierigsten, am stärksten wertgeladenen Fälle korrekt identifiziert hat, bei denen auch Menschen ringen.

Zusammenfassung

Dieses Paper argumentt, dass in komplexen, werteorientierten Aufgaben Uneinigkeit ein nützliches Werkzeug ist, kein Fehler. Indem wir kategorisieren, wie Agenten uneins sind, können wir Systeme bauen, die genau wissen, wann sie automatisch handeln, wann sie nach mehr Informationen fragen und wann sie klugerweise zurücktreten und es einem Menschen überlassen, das moralische Dilemma zu lösen.

Technisches Resümee: Konsens ist strategisch unzureichend

Problemstellung
Aktuelle LLM-basierte Multi-Agenten-Systeme sind vorwiegend darauf ausgelegt, Unstimmigkeiten zwischen Agenten durch Mechanismen wie Mehrheitsentscheidungen, Debattenrunden oder fehlertolerante Aggregation zu minimieren. Während dies für instrumentelle Aufgaben effektiv ist, bei denen Uneinigkeit auf Rauschen oder ein Versagen der Argumentation hindeutet, wird argumentiert, dass dieses konsensorientierte Ziel für wertgeladene Aufgaben (z. B. Inhaltsmoderation) strategisch unzureichend ist. In solchen Domänen spiegelt Uneinigkeit oft echte normative Unsicherheit, perspektivische Variation oder Wertpluralismus wider, statt eines Agentenfehlers. Die Behandlung aller Unstigkeiten als Defekt, der weggemittelt werden muss, birgt das Risiko, legitime kontestierte Situationen zu verschleiern und es versäumt, zwischen interpretativer Ambiguität und evaluativem Konflikt zu unterscheiden.

Methodik
Die Autoren schlagen eine Wissensrepräsentations-Schicht (Knowledge-Representation, KR) vor, die Agenten-Outputs in symbolische Unstimmigkeitszustände abstrahiert und somit als Schnittstelle zwischen der sub-symbolischen LLM-Deliberation und der symbolischen strategischen Kontrolle dient.

Formales Modell:
- Ein System besteht aus $n$ Agenten, die jeweils einen Output $O_i(c) = \langle r_i, d_i, v_i, \gamma_i \rangle$ produzieren, wobei $r_i$ eine explizite Argumentationsspur, $d_i$ eine binäre Entscheidung (z. B. BEIBEHALTEN/ENTFERNEN), $v_i$ ein Wertprofil und $\gamma_i$ ein Konfidenzwert ist.
- Die KR-Schicht evaluiert zwei Dimensionen:
  - Argumentationsähnlichkeit: Gemessen durch die semantische Ähnlichkeit $sim(r_i, r_j)$ der Argumentationsspuren. Ein Schwellenwert $\theta_s$ bestimmt, ob die Ähnlichkeit Hoch oder Niedrig ist.
  - Entscheidungsübereinstimmung: Gemessen durch den Anteil der Agenten, die bei einer Entscheidung übereinstimmen. Ein Schwellenwert $\theta_a$ bestimmt, ob die Gruppe in Übereinstimmung oder Unstimmigkeit ist.
Symbolische Taxonomie:
Die Kombination dieser Dimensionen ergibt vier distinkte epistemische Zustände:
- Konvergente Übereinstimmung (Convergent Agreement, CA): Hohe Argumentationsähnlichkeit + Entscheidungsübereinstimmung.
- Divergente Übereinstimmung (Divergent Agreement, DA): Niedrige Argumentationsähnlichkeit + Entscheidungsübereinstimmung.
- Konvergente Unstimmigkeit (Convergent Disagreement, CD): Hohe Argumentationsähnlichkeit + Entscheidungsunübereinstimmung.
- Divergente Unstimmigkeit (Divergent Disagreement, DD): Niedrige Argumentationsähnlichkeit + Entscheidungsunübereinstimmung.
Defeasible Strategic Routing (Anfechtbares strategisches Routing):
Das System bildet diese Zustände mittels defeasibler Regeln (nicht-monotones Schließen) auf strategische Meta-Aktionen ab, was Overrides basierend auf domänenspezifischen Constraints (z. B. rechtliche Anforderungen oder Risikoniveaus) ermöglicht:
- CA $\Rightarrow$ Auto: Die Entscheidung automatisch akzeptieren.
- DA $\Rightarrow$ AutoExplain: Die Entscheidung akzeptieren, aber diverse Erklärungen für Stakeholder bewahren.
- DD $\Rightarrow$ SeekContext: Zusätzliche Informationen oder weitere Deliberation anfordern (weist auf eine instabile Interpretation hin).
- CD $\Rightarrow$ Escalate: An die menschliche Urteilskraft weiterleiten (weist auf eine geteilte Interpretation bei gleichzeitig konkurrierenden Wertgewichtungen hin).

Zentrale Beiträge

Reframing von Unstimmigkeit: Das Paper definiert Unstimmigkeit nicht als Aggregationshindernis, sondern als einen repräsentierbaren epistemischen Zustand des Multi-Agenten-Systems um.
Kompakte Taxonomie: Es definiert eine Vier-Zustands-Taxonomie basierend auf dem Schnittpunkt von Argumentationsähnlichkeit und Entscheidungsübereinstimmung und unterscheidet zwischen Fällen, in denen Agenten aufgrund von Ambiguität (DD) oder Wertkonflikten (CD) uneins sind.
Strategische Routing-Policy: Es assoziiert diese Zustände mit defeasiblen Routing-Regeln, was es dem System ermöglicht, darüber zu urteilen, ob entschieden, nachgefragt oder eskaliert werden soll, anstatt sich nur darauf zu konzentrieren, was entschieden wird.
Empirischer Faithfulness-Check: Die Autoren validieren die KR-Schicht anhand eines Content-Moderations-Setups mit fünf LLM-Agenten, die durch unterschiedliche Wertprofile (fokus auf Schädigung, freie Meinungsäußerung etc.) differenziert sind, unter Verwendung des „Measuring Hate Speech“-Korpus.

Ergebnisse

Verteilung und Ordnung: In einer Stichprobe von 600 Items bewahrte die Verteilung der Fälle über die Zustände hinweg die konzeptionell vorhergesagte Ordnung der menschlichen Annotatoren-Unstimmigkeit: Divergente Übereinstimmung (DA) < Konvergente Übereinstimmung (CA) < Divergente Unstimmigkeit (DD) < Konvergente Unstimmigkeit (CD).
Statistische Signifikanz: Die beiden Unstimmigkeitszustände (CD, DD) wurden gemeinsam von den Übereinstimmungszuständen (CA, DA) mit einer großen Effektstärke (Cohen's $d = 0,80$ ) getrennt, was darauf hindeutet, dass die strukturelle Abstraktion Phänomene erfasst, die auch Menschen wahrnehmen.
Prädiktive Leistung: Ein kategorienbasierter Routing-Ansatz (unter Verwendung der vier Zustände) erreichte einen höheren F1-Score (0,548) beim Identifizieren von Fällen mit hoher menschlicher Unstimmigkeit im Vergleich zu einem Baseline-Modell, das nur die Magnitude der Argumentationsdivergenz nutzte (0,503). Der kategorienbasierte Ansatz verbesserte die Präzision, indem er zwischen ambivalenten Fällen (DD) und normativen Konflikten (CD) unterschied, was eine rein auf Magnitude basierende Metrik konfundiert.

Bedeutung und Behauptungen
Das Paper behauptet, dass die Struktur der Unstimmigkeit Informationen trägt, die über ihre bloße Magnitude hinausgehen. Insbesondere wird Konvergente Unstimmigkeit (CD) als starkes Signal für normativen Konflikt identifiziert, bei dem die Agenten zwar eine gemeinsame Beschreibung eines Falles teilen, aber unterschiedliche Werte priorisieren. In solchen Fällen wird argumentiert, dass das Erzwingen von Konsens ein Versagen der Automatisierung darstellt; stattdessen ist eine Eskalation eine rationale Meta-Aktion.

Das Framework positioniert sich als pragmatische Schnittstelle zwischen sub-symbolischer Deliberation und symbolischer strategischer Kontrolle. Es schließt die Lücke zwischen Judgment Aggregation (die Stimmen kombiniert, ohne die Argumentation offenzulegen) und formaler Argumentation (die vollständige Attack/Support-Graphen modelliert). Die Autoren betonen, dass dies ein „Sanity Check“ der Faithfulness der KR-Schicht ist und kein Benchmark der Routing-Policy selbst, wobei sie anmerken, dass die qualitative Ordnung der Zustände das primäre belastbare Ergebnis ist. Die Arbeit legt nahe, dass das Ziel für Multi-Agenten-Systeme bei wertgeladenen Aufgaben darin bestehen sollte, sich von der Frage „Wie bringen wir Agenten zur Übereinstimmung?“ hin zu der Frage „Was impliziert die Struktur der Unstimmigkeit für die nächste Aktion?“ zu bewegen.