🤖 AI

Agreement Before Diversity: Verification-First Complementarity for Heterogeneous Language-Model Coordination

Das Papier schlägt Agreement-Before-Diversity (ABD) vor, eine Verifizierungs-orientierte Koordinationsmethode für heterogene Sprachmodelle, die eine eingefrorene, labelfreie Entscheidungsregel verwendet, um Ankerantworten nur dann beizubehalten, wenn sie durch vertrauenswürdige Stichproben bestätigt werden, wodurch eine State-of-the-Art-Leistung auf LiveCodeBench und GPQA-Diamond erzielt wird, während gleichzeitig exakte theoretische Identitäten bereitgestellt werden, um die Kompromisse zwischen Genauigkeitsgewinnen und Inferenzkosten zu auditieren.

Ursprüngliche Autoren: Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

Veröffentlicht 2026-08-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, und anstatt nur eine Person nach der Antwort zu fragen, fragen Sie ein ganzes Team von Experten. Einige sind Mathe-Genies, andere sind kreative Schreiber und manche sind Logik-Meister. Dies ist die Welt der Large Language Models (LMs), die zusammenarbeiten. In der Wissenschaft nennt man das ein „Ensemble“. Die Grundidee ist simpel: Wenn mehr Leute mitmachen, steigt die Chance, die richtige Antwort zu finden. Es ist wie bei zehn Leuten, die die Anzahl der Jellybeans in einem Glas schätzen; der Durchschnitt ihrer Schätzungen liegt meist näher an der Wahrheit als die Schätzung einer einzelnen Person.

Es gibt jedoch einen Haken. Nur weil man zehn Schätzungen hat, weiß man noch lange nicht, welche man auswählen soll. Manchmal ist der Experte, der am selbstbewusstesten klingt, tatsächlich falsch, und der stille Experte hat recht. Schlimmer noch: Wenn man einen „Super-Experten“ bittet, alle Antworten zu kombinieren, könnte dieser die korrekte Antwort versehentlich mit einer schicken, aber falschen Antwort übertönen. Die große Frage, die Wissenschaftler sich gestellt haben, lautet: Wann wissen wir, wann wir der neuen, schicken Antwort vertrauen sollen und wann wir bei der alten bleiben müssen? Wir brauchen eine Regel, die besagt: „Stopp! Diese neue Antwort ist gut genug, um die alte zu ersetzen“, ohne dabei nur zu raten.

Hier kommt eine neue Methode namens Agreement-Before-Diversity (ABD) ins Spiel. Stellen Sie sich dies als einen strengen, aber fairen Schiedsrichter für ein Team von KI-Experten vor. Anstatt einer schicken neuen Antwort blind den Vorrang vor einer alten zu geben, setzt ABD eine einfache „Sicherheitsprüfung“ fest. So funktioniert es:

Der Anker: Zuerit wählt das Team eine „Anker“-Antwort (die derzeit beste Vermutung).
Die Sicherheitsprüfung: Bevor sie sich überhaupt die schicken neuen Antworten ansehen, prüfen zwei andere vertrauenswürdige Experten aus demselben Team den Anker. Wenn diese zwei Experten exakt mit dem Anker übereinstimmen, sagt der Schiedsrichter: „Großartig! Wir haben einen Konsens. Behalten Sie den Anker. Verschwenden Sie keine Zeit oder Geld für irgendetwas anderes.“
Der Wechsel: Aber wenn diese zwei Experten nicht mit dem Anker übereinstimmen, sagt der Schiedsrichter: „Okay, der Anker ist wackelig. Jetzt können Sie das ganze Team aus vielfältigen Experten hinzuziehen, um eine brandneue, schicke Antwort zu synthetisieren.“

Das Paper beweist, dass diese einfache Regel unglaublich leistungsstark ist, weil sie Diversität (das Vorhandensein vieler Optionen) von Autorität (dem Recht, die Antwort zu ändern) trennt. Die Autoren fanden heraus, dass diese Methode nicht einfach nur rät; sie nutzt Mathematik, um genau aufzuzeigen, warum sie funktioniert. Sie entdeckten zwei „magische Formeln“ (exakte Identitäten), die die Ergebnisse erklären:

Die Methode ist besser als ein System, das immer dann eine neue schicke Antwort erstellt, wenn der Anker in den spezifischen Fällen, in denen sie übereinstimmten, tatsächlich besser als die schicke Antwort war.
Die Methode ist besser als ein System, das die Antwort niemals ändert, wenn die neue schicke Antwort einen Fehler behebt, den der Anker gemacht hat, ohne dabei versehentlich eine korrekte Antwort zu beschädigen.

In realen Tests war dieses Schiedsrichtersystem erstaunlich. Bei einer Programmier-Herausforderung namens LiveCodeBench erreichte die ABD-Methode 59,43 % korrekt, womit sie die Standardmethoden schlug, die nur etwa 52 % erreichten. Bei einem schwierigen Wissenschaftsquiz namens GPQA-Diamond erreichte sie 75,00 % und schlug damit ebenfalls die anderen.

Was wirklich cool ist: Das Paper zeigt auch, warum es in jedem Fall funktioniert hat. Beim Programmiertest bestand die „Sicherheitsprüfung“ selten (nur 1,71 % der Zeit), da Computercode so spezifisch ist, dass zwei zufällige Versuche selten perfekt übereinstimmen. Daher ließ das System meistens das schicke Team das Ruder übernehmen, was sich als der richtige Schritt erwies. Aber beim Wissenschaftsquiz bestand die Sicherheitsprüfung oft (73,33 % der Zeit), und da der „Anker“ meistens richtig war, sparte das System eine Menge Aufwand, indem es bei der einfachen Antwort blieb, anstatt zu viel nachzudenken.

Das Paper schließt zudem einige gängige Ideen explizit aus. Es zeigt, dass es nicht ausreicht, nur ein „diverses“ Team aus verschiedenen KI-Modellen zu haben; ohne eine strikte Regel darüber, wann man wechselt, bekommt man unter Umständen nur mehr falsche Antworten. Es beweist auch, dass man die „korrekte“ Antwort nicht im Voraus kennen muss, um diese Entscheidung zu treffen; die Regel funktioniert allein dadurch, ob die Experten untereinander übereinstimmen.

Kurz gesagt: Agreement-Before-Diversity lehrt uns, dass es großartig ist, mehr Optionen zu haben, aber man braucht einen klugen Torwächter, um zu entscheiden, wann man sie nutzt. Es verwandelt den chaotischen Prozess, viele KIs um Hilfe zu bitten, in eine präzise, prüfbare und hocheffektive Strategie. Es geht nicht darum, die klügste KI zu haben; es geht darum, die klügste Regel für die Nutzung von ihnen zu haben.

Technisches Resümee: Agreement Before Diversity (ABD)

Problemstellung

Heterogene Ensembles von Sprachmodellen erweitern den Raum der Kandidatenantworten und bieten das Potenzial für höhere Genauigkeit durch Diversität. Bestehende Ansätze lassen jedoch ein fundiertes Kriterium vermissen, um zu bestimmen, wann eine neu generierte Antwort eine bereits unterstützte Antwort ersetzen sollte. Aktuelle Methoden verwechseln oft Kandidaten-Spielraum (das rohe Potenzial diverser Outputs) mit Ersetzungskompetenz (der Rechtfertigung für die Änderung der aktuellen Antwort). Ein diverser Fehler bleibt ein Fehler, und ein fluenter Synthesizer kann eine korrekte Antwort ebenso leicht überschreiben wie eine falsche reparieren. Die Kernherausforderung besteht darin, zwischen dem Besitz von mehr Optionen und dem Wissen, welcher Option man vertrauen kann, zu unterscheiden, ohne sich auf unverifizierbare Annahmen wie Stichprobenunabhängigkeit oder kalibrierte Konfidenzwerte zu verlassen.

Methodik: Agreement-Before-Diversity (ABD)

Die Autoren schlagen Agreement-Before-Diversity (ABD) vor, eine starre, labelfreie Entscheidungsregel, die die Generierung von Kandidaten von der Ersetzungskompetenz entkoppelt. Die Methode operiert auf einem spezifischen Item $x$ wie folgt:

Anker und Sonden: Ein Anker-Modell erzeugt eine Antwort $y_0$ (bei Temperatur 0). Zwei zusätzliche vertrauenswürdige Stichproben, $y_1$ und $y_2$ , werden vom selben Modell (bei Temperatur 0,7) generiert.
Verifizierungsereignis ( $A$ ): Eine starre Äquivalenzrelation $E$ $E$ (z. B. normalisierte String-Gleichheit für Code, exakte Optionsübereinstimmung für Multiple-Choice) vergleicht die parsten Antworten.
- Wenn $y_0, y_1$ und $y_2$ alle nicht-null sind und $E(y_0, y_1)$ sowie $E(y_0, y_2)$ gelten, tritt das Agreement-Ereignis $A(x) = 1$ ein.
- Andernfalls gilt $A(x) = 0$ .
Entscheidungsverzweigung:
- Falls $A(x) = 1$ (Geschützt): Der Anker $y_0$ wird beibehalten. Gesamtkosten: 3 Inferenzaufrufe.
- Falls $A(x) = 0$ (Eskaliert): Das System synthetisiert eine neue Antwort $s$ unter Verwendung eines heterogenen Pools aus vier Peer-Modellen und einem Resolver. Gesamtkosten: 8 Inferenzaufrufe (3 Sonden + 4 Peers + 1 Resolver).

Die Äquivalenzrelation $E$ ist bewusst konservativ und labelfrei; sie zertifiziert nicht die Korrektheit, sondern dient lediglich als Tor, um zu entscheiden, ob Diversität es erlaubt, den Anker zu überschreiben.

Zentrale Beiträge und theoretischer Rahmen

Der primäre Beitrag des Papers ist nicht ein fein abgestimmter Koordinator, sondern ein Entscheidungsprinzip mit exakter Abrechnung. Die Autoren leiten zwei exakte Identitäten her, die die Leistung von ABD im Verhältnis zu zwei extremen Strategien dekomponieren, ohne Annahmen über Unabhängigkeit oder kalibrierte Konfidenz zu erfordern.

Identität 1 (vs. Unbedingte Synthese):
$E[U - Q] = q(a - b)$
Die Genauigkeitslücke zwischen ABD und ständiger Synthese wird durch die Agreement-Abdeckung ( $q$ ) multipliziert mit dem Vorteil des Ankers ( $a - b$ ) auf der geschützten Teilmenge bestimmt. Diese Identität zeigt, dass ABD nur dann besser abschneidet als die unbedingte Synthese, wenn der Anker auf den Items, bei denen Agreement auftritt, genauer ist als die Synthese.
Identität 2 (vs. Nie-Synthese):
$E[U - Z] = (1 - q)(r - d)$
Die Genauigkeitslücke zwischen ABD und dem reinen Beibehalten des Ankers wird durch die Eskalationsrate ( $1-q$ ) multipliziert mit dem Netto-Ergebnis aus autorisierter Reparatur minus autorisierter Destruktion ( $r - d$ ) auf der eskalierten Teilmenge bestimmt. Hierbei repräsentiert $r$ die Fälle, in denen die Synthese einen falschen Anker korrigiert, und $d$ die Fälle, in denen die Synthese einen korrekten Anker korrumpiert.
Kosten-Identität:
$E[C] = 8 - 5q$
Die erwarteten Inferenzkosten sind eine lineare Funktion der Abdeckung. ABD ist in Bezug auf die Anzahl der Aufrufe kostengünstiger als eine ständige Synthese (die 6 Aufrufe kostet), falls und nur falls $q > 0,4$ .

Diese Identitäten lokalisieren jede aggregierte Differenz auf eine enumerierbare, geschützte Schicht, wodurch das Verhalten des Systems vollständig auditierbar wird.

Experimentelle Ergebnisse

Die Methode wurde unter strengen, blinden Bedingungen auf zwei unterschiedlichen Benchmarks evaluiert: LiveCodeBench-v6 (175 Aufgaben, ausführbare Tests) und GPQA-Diamond (180 unberührte Items, exakte Optionsbewertung).

LiveCodeBench-v6: ABD erreichte eine Genauigkeit von 59,43 % und übertraf damit Single9 (52,57 %) und HAC (52,00 %). Es kam auf das Niveau von Heterogeneous MoA (Immer Synthese) und übertraf Homogeneous MoA.
- Mechanismus: Die Agreement-Abdeckung ( $q$ ) war extrem niedrig (1,71 %), da unabhängig generierter Code selten exakt übereinstimmt. Folglich war das Tor nahezu inaktiv, und das System reduzierte sich effektiv auf heterogene Synthese. Die theoretische Grenze prognostizierte einen maximalen Beitrag von 1,71 Punkten; der beobachtete Beitrag war exakt Null, was die Theorie bestätigt.
GPQA-Diamond (Unberührt): ABD erreichte eine Genauigkeit von 75,00 % und übertraf damit Single9, HAC und Heterogeneous MoA (72,78 %).
- Mechanismus: Hier war die Abdeckung hoch (73,33 %). Der Gewinn gegenüber der ständigen Synthese (2,78 Punkte) erklärte sich vollständig durch die Bewahrung korrekter Ankerantworten auf der geschützten Teilmenge ( $q(a-b)$ ).
Perturbationsstudie: Als das Anker-Modell durch ein schwächeres ersetzt wurde (frozen perturbation), sank die Abdeckung auf 39,44 %, aber der Vorteil des Ankers auf der geschützten Menge stieg signifikant an. ABD schnitt dennoch besser ab als die Baselines, was zeigt, dass die Methode sich ohne Retraining an die Qualität des Ankers anpasst.

Komponenten-Ablationen:

Das Entfernen des Tors (Immer Synthese) zeigte, dass Diversität allein keine Verbesserung garantiert; auf LiveCodeBench hatte das Entfernen des Tors keinen Einfluss (0,00), während es auf GPQA zu einem Abfall führte.
Das Entfernen der Heterogenität der Proposer (Homogeneous MoA) zeigte, dass Diversität nicht universell überlegen ist; sie half bei Code, schadete aber bei GPQA im Vergleich zur heterogenen Version.

Bedeutung und Ansprüche

Das Paper behauptet, dass ABD einen fundierten Rahmen für das Management des Spannungsverhältnisses zwischen Stabilität und Exploration in Sprachmodell-Ensembles bietet.

Auditierbare Entscheidungsfindung: Im Gegensatz zu heuristischen Koordinatoren bietet ABD exakte Identitäten, die jede aggregierte Differenz erklären. Praktiker können die Abdeckung ( $q$ ), den Vorteil der geschützten Menge ( $a-b$ ) sowie die Reparatur- und Destruktionsraten ( $r-d$ ) messen, um das Systemverhalten zu diagnostizieren, ohne auf gelabelte Validierungsdatensätze angewiesen zu sein.
Trennung von Potenzial und Autorität: Die Ergebnisse zeigen, dass Diversität zwar Potenzial (Spielraum) liefert, aber die Verifizierungsstruktur die Autorität bereitstellt, dieses zu realisieren. Ein diverser Pool ist nur dann vorteilhaft, wenn das Tor korrekt identifiziert, wann dem Anker zu vertrauen ist und wann es zu eskalieren gilt.
Begrenzter Umfang: Die Autoren betonen explizit, dass die Evidenz auf Code-Generierung und Experten-Multiple-Choice beschränkt ist. Sie behaupten nicht, dass ABD eine universelle Lösung für alle Aufgaben ist, sondern ein Rahmenwerk, das die Notwendigkeit domänenspezifischer Verifizierungssignale (z. B. Ausführungssignaturen für Code, Provenienz für Reasoning) hervorhebt, um die Äquivalenzrelation $E$ zu definieren.
Kein "Korrektheits-Orakel": Die Methode beansprucht nicht, die wahre Antwort zu kennen. Sie gewährt lediglich die Erlaubnis, eine Antwort zu bewahren, wenn sie durch Agreement gestützt wird, oder sie zu ersetzen, wenn diese Unterstützung fehlt.

Zusammenfassend lässt sich sagen, dass ABD das Koordinationsproblem von einer Black-Box-Optimierungsaufgabe in einen transparenten, messbaren Prozess transformiert, in dem die Trade-offs zwischen Genauigkeit, Kosten und Diversität explizit quantifiziert werden.