🤖 AI

Agreement Before Diversity: Verification-First Complementarity for Heterogeneous Language-Model Coordination

Het artikel stelt Agreement-Before-Diversity (ABD) voor, een verificatie-eerst coördinatiemethode voor heterogene taalmodellen die een bevroren, labelvrije beslisregel gebruikt om alleen ankerantwoorden te behouden wanneer deze worden bevestigd door vertrouwde monsters, waardoor een staat van de kunst wordt bereikt op LiveCodeBench en GPQA-Diamond terwijl er exacte theoretische identiteiten worden geboden om de afwegingen tussen nauwkeurigheidswinst en inferentiekosten te auditeren.

Oorspronkelijke auteurs: Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

Gepubliceerd 2026-08-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Jie Li, Ru Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lastige puzzel probeert op te lossen, en in plaats van slechts één persoon om het antwoord te vragen, vraag je een heel team van experts. Sommigen zijn wiskundige wonderkinderen, anderen zijn creatieve schrijvers en weer anderen zijn logica-meesters. Dit is de wereld van Large Language Models (LM's) die samenwerken. In de wetenschap wordt dit een "ensemble" genoemd. Het grote idee is simpel: als er meer mensen meedoen, heb je een grotere kans op het juiste antwoord. Het is alsof je tien mensen vraagt hoeveel snoepjes er in een pot zitten; het gemiddelde van hun gokken ligt meestal dichter bij de waarheid dan de gok van één persoon alleen.

Maar er is een addertje onder het gras. Alleen omdat je tien gokken hebt, betekent niet dat je weet welke je moet kiezen. Soms is de expert die het meest zelfverzekerd klinkt eigenlijk fout, en is de stille expert juist goed. Erger nog, als je een "super-expert" vraagt om alle antwoorden te combineren, kan deze per ongels het juiste antwoord overstemmen met een chic maar fout antwoord. De grote vraag die wetenschappers zich hebben gesteld is: Hoe weten we wanneer we het nieuwe, chique antwoord moeten vertrouwen en wanneer we ons moeten houden aan het antwoord dat we al hadden? We hebben een regel nodig die zegt: "Stop! Dit nieuwe antwoord is goed genoeg om het oude te vervangen," zonder dat we simpelweg gokken.

Hier komt een nieuwe methode genaamd Agreement-Before-Diversity (ABD) aan kijken. Zie dit als een strenge maar eerlijke scheidsrechter voor een team van AI-experts. In plaats van blindelings een chique nieuw antwoord het oude te laten overschrijven, stelt ABD een eenvoudige "veiligheidscontrole" op. Zo werkt het:

Het Anker: Eerst kiest het team één "anker"-antwoord (de huidige beste gok).
De Veiligheidscontrole: Voordat ze zelfs maar naar de chique nieuwe antwoorden kijken, controleren twee andere vertrouwde experts uit hetzelfde team het anker. Als deze twee het perfect eens zijn met het anker, zegt de scheidsrechter: "Geweldig! We hebben een consensus. Houd het anker vast. Verspil geen tijd of geld aan iets anders."
De Wissel: Maar als die twee experts verschillen van het anker, zegt de scheitsrechter: "Oké, het anker is wankel. Ga nu verder en breng het hele team van diverse experts binnen om een gloednieuw, chique antwoord te synthetiseren."

Het artikel bewijst dat deze simpele regel ongelooflijk krachtig is omdat het diversiteit (het hebben van veel opties) scheidt van autoriteit (het recht om het antwoord te veranderen). De auteurs ontdekten dat deze methode niet zomaar gokt; ze gebruiken wiskunde om precies aan te tonen waarom het werkt. Ze ontdekten twee "magische formules" (exacte identiteiten) die de resultaten verklaren:

De methode verslaat een systeem dat altijd een nieuw chique antwoord maakt, alleen wanneer het anker daadwerkelijk beter is dan het chique antwoord in de specifieke gevallen waar ze het eens waren.
De methode verslaat een systeem dat nooit het antwoord verandert, alleen wanneer het nieuwe chique antwoord een fout herstelt die het anker maakte, zonder per ongeluk een correct antwoord te breken.

In real-world tests was dit scheidsrechtersysteem verbazingwekkend. Op een programmeeruitdaging genaamd LiveCode-Bench haalde de ABD-methode 59,43% correct, waarmee het de standaardmethoden versloeg die slechts rond de 52% scoorden. Op een moeilijke wetenschappelijke quiz genaamd GPQA-Diamond bereikte het 75,00%, waarmee het ook de anderen versloeg.

Wat echt bijzonder is, is dat het artikel laat zien waarom het in elk geval werkte. Bij de programmeertest slaagde de "veiligheidscontrole" zelden (slechts 1,71% van de tijd), omdat computercode zo specifiek is dat twee willekeurige pogingen zelden perfect overeenkomen. Dus liet het systeem meestal het chique team het overnemen, wat achteraf de juiste beslissing bleek te zijn. Maar bij de wetenschappelijke quiz slaagde de veiligheidscontrole vaak (73,33% van de tijd), en omdat het "anker" meestal juist was, bespaarde het systeem een enorme hoeveelheid inspanning door vast te houden aan het eenvoudige antwoord in plaats van er te veel over na te denken.

Het artikel sluit ook enkele veelvoorkomende ideeën expliciet uit. Het laat zien dat het hebben van een "divers" team van verschillende AI-modellen op zichzelf niet genoeg is; zonder een strikte regel over wanneer te wisselen, krijg je misschien alleen maar meer foute antwoorden. Het bewijst ook dat je niet vooraf het "correcte" antwoord hoeft te kennen om deze beslissing te nemen; de regel werkt simpelweg door te kijken of de experts het met elkaar eens zijn.

Kortom, Agreement-Before-Diversity leert ons dat het hebben van meer opties geweldig is, maar dat je een slimme poortwachter nodig hebt om te beslissen wanneer je ze gebruikt. Het verandert het chaotische proces van het vragen aan veel AI's om hulp in een precieze, controleerbare en zeer effectieve strategie. Het gaat niet om het hebben van de slimste AI; het gaat om het hebben van de slimste regel voor het gebruik ervan.

Technische Samenvatting: Agreement-Before-Diversity (ABD)

Probleemstelling

Heterogene taalmodel-ensembles vergroten de ruimte van kandidaat-antwoorden, wat het potentieel voor hogere nauwkeurigheid door diversiteit vergroot. Bestaande benaderingen missen echter een principieel criterium om te bepalen wanneer een nieuw gegenereerd antwoord een reeds ondersteund antwoord moet vervangen. Huidige methoden verwarren vaak kandidaat-headroom (het ruwe potentieel van diverse outputs) met vervangingsautoriteit (de rechtvaardiging voor het wijzigen van het huidige antwoord). Een diverse fout blijft een fout, en een vloeiende synthesizer kan een correct antwoord even gemakkelijk overschrijven als een foutief antwoord herstellen. De kernuitdaging ligt in het onderscheiden tussen het hebben van meer opties en het weten welke optie men moet vertrouwen, zonder te vertrouwen op onverifieerbare aannames zoals steekproefonafhankelijkheid of gekalibreerde betrouwbaarheidsscores.

Methodologie: Agreement-Before-Diversity (ABD)

De auteurs stellen Agreement-Before-Diversity (ABD) voor, een bevroren, label-vrije beslisregel die de generatie van kandidaten ontkoppelt van de vervangingsautoriteit. De methode werkt op een specifiek item $x$ als volgt:

Anker en Probes: Een anker-model produceert een antwoord $y_0$ (bij temperatuur 0). Twee aanvullende vertrouwde steekproeven, $y_1$ en $y_2$ , worden gegenereerd vanuit hetzelfde model (bij temperatuur 0.7).
Verificatiegebeurtenis ( $A$ ): Een bevroren equivalentierelatie $E$ $E$ (bijv. genormaliseerde string-gelijkheid voor code, exacte optie-overeenkomst voor meerkeuzevragen) vergelijkt de geparseerde antwoorden.
- Als $y_0, y_1,$ en $y_2$ allemaal niet-nul zijn en $E(y_0, y_1)$ en $E(y_0, y_2)$ gelden, dan is de overeenkomstgebeurtenis $A(x) = 1$ .
- Anders is $A(x) = 0$ .
Beslissingsvertakking:
- Als $A(x) = 1$ (Beschermd): Het anker $y_0$ wordt behouden. Totale kosten: 3 inferentie-oproepen.
- Als $A(x) = 0$ (Geëscaleerd): Het systeem synthetiseert een nieuw antwoord $s$ met behulp van een heterogene pool van vier evenknie-modellen en een resolver. Totale kosten: 8 inferentie-oproepen (3 probes + 4 peers + 1 resolver).

De equivalentierelatie $E$ is doelbewust conservatief en label-vrij; het certificeert geen juistheid, maar dient uitsluitend als poort om te beslissen of diversiteit toegestaan is om het anker te overschrijven.

Belangrijkste Bijdragen en Theoretisch Kader

De primaire bijdrage van het artikel is niet een getunede coördinator, maar een beslissingsprincipe met exacte boekhouding. De auteurs leiden twee exacte identiteiten af die de prestaties van ABD deconstrueren ten opzien van twee extreme beleidsregels, zonder aannames van onafhankelijkheid of gekalibreerde betrouwbaarheid te vereisen.

Identiteit 1 (vs. Onvoorwaardelijke Synthese):
$E[U - Q] = q(a - b)$
Het nauwkeurigheidsverschil tussen ABD en altijd synthetiseren wordt bepa bepaald door de overeenkomst-dekking ( $q$ ) vermenigvuldigd met het voordeel van het anker ( $a - b$ ) op de beschermde subset. Deze identiteit laat zien dat ABD alleen beter presteert dan onvoorwaardelijke synthese als het anker nauwkeuriger is dan de synthese op de items waar overeenkomst optreedt.
Identiteit 2 (vs. Nooit Synthetiseren):
$E[U - Z] = (1 - q)(r - d)$
Het nauwkeurigheidsverschil tussen ABD en altijd het anker behouden wordt bepaald door de escalatiesnelheid ( $1-q$ ) vermenigvuldigd met het netto geautoriseerde herstel minus geautoriseerde destructie ( $r - d$ ) op de geëscaleerde subset. Hierbij vertegenwoordigt $r$ de gevallen waarin synthese een foutief anker corrigeert, en $d$ de gevallen waarin synthese een correct anker corrumpeert.
Kostenidentiteit:
$E[C] = 8 - 5q$
De verwachte inferentiekosten zijn een lineaire functie van de dekking. ABD is goedkoper in termen van oproepcount dan altijd-aan synthese (die 6 oproepen kost) indien en alleen indien $q > 0.4$ .

Deze identiteiten lokaliseren elk aggregaat verschil tot een telbare, beschermde laag, waardoor het gedrag van het systeem volledig controleerbaar is.

Experimentele Resultaten

De methode werd geëvalueerd onder strikte, blinde condities op twee verschillende benchmarks: LiveCodeBench-v6 (175 taken, uitvoerbare tests) en GPQA-Diamond (180 onaangetaste items, exacte optie-scoring).

LiveCodeBench-v6: ABD bereikte 59,43% nauwkeurigheid, waarmee het Single9 (52,57%) en HAC (52,00%) versloeg. Het kwam gelijk aan Heterogene MoA (Always Synthesis) en overtrof Homogene MoA.
- Mechanisme: De overeenkomst-dekking ( $q$ ) was extreem laag (1,71%) omdat onafhankelijk gegenereerde code zelden exact overeenkomt. Bijgevolg was de poort bijna inert, en reduceerde het systeem zich effectief tot heterogene synthese. De theoretische grens voorspelde een maximale bijdrage van 1,71 punten; de geobserveerde bijdrage was exact nul, wat de theorie bevestigt.
GPQA-Diamond (Onaangetast): ABD bereikte 75,00% nauwkeurigheid, waarmee het Single9, HAC en Heterogene MoA (72,78%) versloeg.
- Mechanisme: Hier was de dekking hoog (73,33%). De winst ten opzichte van Always Synthesis (2,78 punten) werd volledig verklaard door het behoud van correcte ankerantwoorden op de beschermde subset ( $q(a-b)$ ).
Perturbatiestudie: Wanneer het anker-model werd vervangen door een zwakker model (bevroren perturbatie), daalde de dekking naar 39,44%, maar nam het voordeel van het anker op de beschermde set aanzienlijk toe. ABD presteerde nog steeds beter dan de baselines, wat aantoont dat de methode zich aanpast aan de kwaliteit van het anker zonder hertraining.

Component Ablaties:

Het verwijderen van de poort (Always Synthesis) toonde aan dat diversiteit alleen niet noodzakelijkerwijs verbetering garandeert; op LiveCodeBench had het verwijderen van de poort een impact van 0,00, terwijl het op GPQA tot een daling leidde.
Het verwijderen van proposer-heterogeniteit (Homogeneous MoA) toonde aan dat diversiteit niet universeel superieur is; het hielp op code, maar schaadde op GPQA vergeleken met de heterogene versie.

Betekenis en Claims

Het artikel beweert dat ABD een geprincipleerd kader biedt voor het beheren van de spanning tussen stabiliteit en exploratie in taalmodel-ensembles.

Controleerbare Besluitvorming: In tegenstelling tot heuristische coördinatoren biedt ABD exacte identiteiten die elk aggregaat verschil verklaren, zonder dat daarvoor gelabelde validatiesets nodig zijn. Praktijkgebruikers kunnen dekking ( $q$ ), het voordeel op de beschermde set ( $a-b$ ), en de ratio van herstel/destructie ( $r-d$ ) meten om het systeemgedrag te diagnosticeren.
Scheiding van Potentieel en Autoriteit: De resultaten laten zien dat diversiteit potentieel (headroom) levert, maar dat verificatiestructuur de autoriteit levert om dit te realiseren. Een diverse pool is alleen gunstig als de poort correct identificeert wanneer het anker vertrouwd moet worden en wanneer escalatie nodig is.
Beperkte Omvang: De auteurs stellen expliciet dat het bewijs is afgebakend tot codegeneratie en expert-meerkeuzevragen. Zij beweren niet dat ABD een universele oplossing is voor alle taken, maar een kader dat de noodzaak van domein-bewuste verificatiesignalen (bijv. executie-handtekeningen voor code, herkomst voor redeneren) benadrukt om de equivalentierelatie $E$ te definiëren.
Geen "Correctheidsorakel": De methode claimt niet de grondwaarheid te kennen. Het verleent enkel toestemming om een antwoord te behouden wanneer dit wordt ondersteund door overeenstemming, of om het te vervangen wanneer die ondersteuning ontbreekt.

Concluderend transformeert ABD het coördinatieprobleem van een black-box optimalisatietaak naar een transparant, meetbaar proces waarbij de afwegingen tussen nauwkeurigheid, kosten en diversiteit expliciet worden gekwantificeerd.