🤖 machine learning

AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals

Het artikel introduceert AsymmetryZero, een raamwerk dat menselijke expertvoorkeuren operationaliseert tot expliciete, herbruikbare evaluatiecontracten voor zowel model-only als agentische omgevingen, en aantoont dat compacte jury's vergelijkbare taakniveaus kunnen bereiken als geavanceerde jury's, terwijl ze de beoordelingskosten en latentie aanzienlijk verlagen ondanks een hogere interne onenigheid.

Oorspronkelijke auteurs: Tadhg Looram, Lucas Nuzzi, Kyle Waters, Steven Dillmann

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tadhg Looram, Lucas Nuzzi, Kyle Waters, Steven Dillmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme kookwedstrijd organiseert. Je hebt duizenden chefs (AI-modellen) die proberen het perfecte gerecht te maken, maar "perfect" is subjectief. De ene jurylid geeft om het zoutgehalte, de ander om de presentatie en een derde om de bereidingstijd.

In het verleden was het proberen om deze gerechten te beoordelen een rommel. Soms schreven juryleden gewoon een vage notitie als "Dit smaakt goed", of ze discussieerden eindeloos over waarom het ene gerecht beter was dan het andere. Dit artikel introduceert een nieuw systeem genaamd AsymmetryZero om die rommel op te lossen, en test vervolgens twee verschillende manieren om juryleden aan te stellen.

Hier is de uitleg in eenvoudige termen:

1. Het Probleem: De "Vage Jurylid"-Valstrik

Momenteel vragen we bij het testen van AI vaak een superintelligente AI om het werk van een andere AI te beoordelen. Maar als je gewoon zegt: "Beoordeel dit essay", kan de beoordelaar zijn eigen verborgen regels gebruiken. Hij kan houden van lange antwoorden, of hij kan in de war raken door het onderwerp. Het is alsof je een foodcriticus huurt die geen checklist heeft; je weet nooit of hij het eten beoordeelt of gewoon zijn stemming.

2. De Oplossing: Het "Beoordelingscontract"

De auteurs hebben AsymmetryZero ontwikkeld, wat in feite een strikte receptuur voor beoordeling is.

In plaats van een vage prompt, krijgt elke taak een "Contract". Dit contract is als een gedetailleerde scorekaart die zegt:

Wat beoordelen we? (Bijv. "Heeft de chef zout gebruikt?")
Hoe controleren we het? (Bijv. "Als het woord 'zout' voorkomt, geef 10 punten.")
Wie beslist? (Een enkele jurylid of een groep?)
Wat is het slagenpunt?

Dit contract werkt zowel voor eenvoudige AI (alleen tekst schrijven) als voor complexe AI-agenten (robots die tools gebruiken en meerdere stappen ondernemen). Het leuke deel is dat hetzelfde contract kan worden gebruikt om een eenvoudige tekstbot of een complexe robot te beoordelen, en de scores zullen vergelijkbaar zijn.

3. Het Experiment: De "Grote Juryleden" versus de "Kleine Juryleden"

De auteurs wilden weten: Hebben we dure, superintelligente juryleden nodig om deze contracten te beoordelen, of kunnen we goedkopere, kleinere juryleden gebruiken?

Ze stelden een test op met 75 complexe taken (zoals het oplossen van geavanceerde wiskunde- of programmeerproblemen). Ze gebruikten vier verschillende "deelnemer"-AI-modellen om de taken op te lossen. Vervolgens beoordeelden ze die oplossingen met twee verschillende groepen "jury"-AI's:

De Frontier Jury (De Grote Juryleden): Een panel van 5 van de krachtigste, duurste en slimste beschikbare AI-modellen.
De Compacte Jury (De Kleine Juryleden): Een panel van 5 kleinere, goedkopere en snellere AI-modellen.

4. De Resultaten: De "Goedkopere Juryleden" zijn Ruiziger

Hier is wat ze ontdekten:

De Eindscore is Vergelijkbaar: Als je alle punten optelt, waren de "Grote Juryleden" en de "Kleine Juryleden" het meestal eens over wie de wedstrijd won. Als een taak slaagde voor de Grote Juryleden, slaagde hij meestal ook voor de Kleine Juryleden.
De Details zijn Rommelig: Echter, als je kijkt naar de individuele stappen (de specifieke criteria op de scorekaart), waren de Kleine Juryleden het 15% tot 25% van de tijd oneens met de Grote Juryleden.
Het "Vingerwijzen"-Probleem: Het grootste probleem was dat de Kleine Juryleden het niet eens konden worden met elkaar.
- De Grote Juryleden waren als een kalm comité; ze waren het bijna altijd eens (alleen 6–11% van de tijd waren ze verdeeld).
- De Kleine Juryleden waren als een chaotische kamer; ze discussieerden constant met elkaar (verdeeld in 3 tegen 2 ongeveer 30% van de tijd).

De Analogie: Stel je voor dat je een wiskundetoets beoordeelt.

Grote Juryleden: Alle vijf professoren kijken naar het antwoord en zeggen: "Ja, dat is correct."
Kleine Juryleden: Drie professoren zeggen "Correct", maar twee zeggen "Incorrect omdat het handschrift rommelig is", zelfs als de wiskunde klopt. Ze discussiëren met zichzelf.

5. De Afweging: Kosten versus Consistentie

De Kleine Juryleden waren ongelooflijk goedkoop en snel.

Kosten: Ze kostten ongeveer 97% minder dan de Grote Juryleden.
Snelheid: Ze waren ongeveer 82% sneller.

Het Oordeel:
Als je gewoon een snelle, goedkope check wilt om te zien of een systeem over het algemeen werkt (zoals een "gezondheidsscheck"), zijn de Kleine Juryleden geweldig. Ze besparen een fortuin.

Maar, als je precies wilt weten waarom iets faalde, of als je een perfecte audittrail nodig hebt voor beslissingen met hoge risico's, dan zijn de Kleine Juryleden te "ruizig". Ze discussiëren te veel onderling om te worden vertrouwd voor de fijne details.

Samenvatting

Het artikel stelt dat hoe je de beoordelingsregels schrijft (het contract) net zo belangrijk is als wie je huurt om te beoordelen.

Je kunt veel geld besparen door kleinere, goedkopere AI-juryleden te gebruiken, maar je moet accepteren dat ze vaker met elkaar zullen discussiëren. Als je een kalm, consistent oordeel nodig hebt, heb je nog steeds de dure "Frontier"-juryleden nodig. Als je gewoon een ruwe schatting nodig hebt, doen de goedkope het werk.

Technische Samenvatting: AsymmetryZero

Probleemstelling

Het paper identificeert een kritieke kloof in huidige Reinforcement Learning (RL) en AI-evaluatiepijplijnen: de moeilijkheid om subjectieve, procedurele en domeinspecifieke eisen van menselijke experts te operationaliseren naar schaalbare evaluatiesignalen. Waar exact-match-metrics toereikend zijn voor deterministische taken, falen ze voor semantische, multifactoriële of open-ended taken. Omgekeerd laat open-ended beoordeling door grote taalmodellen (LLM's) beoordelingsbeleid vaak impliciet in prompts achter, wat leidt tot instabiliteit en gebrek aan controleerbaarheid. De auteurs betogen dat de centrale uitdaging in post-training niet merely het scoren van modellen is, maar de trouwe codering van expertvereisten in de evaluatie zelf.

Methodologie: Het AsymmetryZero-kader

Om dit aan te pakken, introduceren de auteurs AsymmetryZero, een kader dat menselijke expertvoorkeuren operationaliseert als semantische evals via een stabiel evaluatiecontract.

Kerncomponenten

Evaluatiecontracten: In plaats van één prompt of antwoordensleutel, wordt een taak gedefinieerd als een draagbaar contract dat uitvoeringsinvoer (prompts, referenties) scheidt van beoordelingsinvoer (criteria, gewichten, drempels).
- Structuur: Elk criterium declareert expliciet zijn gewicht, prompt en type beoordelaar (ofwel ExactMatch of llm-judge).
- Aggregatie: Beslissingen op criteriumniveau worden geaggregeerd tot een taakscore ( $S = \sum w_i \hat{v}_i$ ). Een taak slaagt als $S \ge \tau$ .
- Jury-consensus: Voor llm-judge-criteria stemt een panel van beoordelaars ( $J_i$ ). Consensus wordt bepaald door strikte meerderheid ( $\hat{v}_i = 1$ als $\sum v_{ij} > |J_i|/2$ ); gelijke stemmen resulteren in falen.
Dubbele Uitvoeringsharnassen: Het kader ontkoppelt evaluatiesemantiek van uitvoering:
- Inspect: Wordt gebruikt voor model-only evaluaties.
- Harbor: Wordt gebruikt voor agentische evaluaties (specifiek met een terminus2-agent).
- Beide harnassen consumeren hetzelfde contract, wat vergelijkbare scores en gedeelde auditartefacten garandeert over model- en agentoutput heen.
Controleerbaarheid: Het systeem genereert gedetailleerde traces, waarbij resultaten per criterium, stemmen van beoordelaars, onderbouwingen en bijdragen van gewichten worden vastgelegd, waardoor analyse van faalmodi en dissent mogelijk wordt.

Empirische Studie: Beoordelaarscapaciteit en Substitutie

Het paper presenteert een empirische studie met de PORTEX-COMPOSITE-benchmark om te beantwoorden of kleinere, goedkopere "compacte" jury's dure "frontier"-jury's kunnen vervangen zonder de integriteit van de evaluatie te compromitteren.

Experimentele Opzet

Taak: 75 frontier-class taken geëvalueerd over vier solver-modellen (Claude Opus 4.6, GPT-5.4, Grok-4.20, Gemini-3.1-Pro).
Jury-voorwaarden:
- Frontier Jury: 5 grote, state-of-the-art open-weight modellen.
- Compact Jury: 5 kleinere open-weight modellen.
Metrics: Overeenkomst op criteriumniveau, onenigheid binnen de pool (dissentpercentages), stabiliteit van taakscores en economische efficiëntie (kosten, latentie, tokens).

Belangrijkste Resultaten

Divergentie op Criteriumniveau: Compacte en frontier-jury's komen niet perfect overeen.
- Meerderheidsovereenkomst: Varieert van 75,9% tot 89,6% over runs (strikt common-subset: 77,8%–92,1%).
- Implicatie: Het vervangen van compacte beoordelaars verandert een niet-triviale aandeel van semantische criteriumbeslissingen.
Interne Dissent (Stabiliteit): Compacte jury's vertonen significant hogere interne instabiliteit.
- 3–2 Verdelingen: Frontier-jury's hadden gemiddeld 6,1%–11,5% verdelingspercentages, terwijl compacte jury's gemiddeld 28,7%–32,4% hadden.
- Conclusie: Compacte jury's zijn het oneens met frontier-jury's en meer met zichzelf.
Stabiliteit op Taakniveau: Ondanks divergentie op criteriumniveau zijn geaggregeerde taakuitkomsten vaak vergelijkbaar.
- Correlatie: Pearson-correlatie tussen frontier- en compacte taakscores is 0,88 (bereik 0,81–0,93).
- Scoreverandering: 70%–87% van de beoordeelde taken toonde geen scoreverandering tussen pools.
- Nuance: De stabiliteit lijkt "bros", afhankelijk van het opheffen van fouten in gewogen sommen in plaats van consistente beoordeling op criteriumniveau.
Economische Efficiëntie: Compacte jury's bieden enorme efficiëntiewinsten.
- Kosten: Verminderd met ~97% per criterium.
- Latentie: Verminderd met ~82%.
- Tokens: Outputtokens verminderd met ~75%.
Analyse van Onenigheid:
- Antwoordlengte: Hoewel langere antwoorden correleren met hogere onenigheid, vond statistische modellering (ordinaal gemengd model) geen sterk bewijs dat compacte jury's gevoeliger zijn voor lengte dan frontier-jury's. De primaire drijver van onenigheid is het pooltype zelf (compacte pools zijn inherent ruiziger).
- Faalmodi: Kwalitatieve review suggereert dat compacte jury's falen om dezelfde redenen als frontier-jury's (bijv. letterlijkheid versus substantie), maar standaarden minder uniform toepassen.

Belangrijkste Bijdragen

Operationeel Kader: AsymmetryZero biedt een concreet systeem voor het omzetten van expertkennis in controleerbare, uitvoerbare evaluatiecontracten die werken voor zowel modellen als agents.
Rubric-gebaseerde Semantische Beoordeling: Het gaat voorbij aan open-ended prompting naar gestructureerde, criteriumgerichte beoordeling met expliciete aggregatieregels.
Empirisch Bewijs over Beoordelaarscapaciteit: De studie levert datagedreven bewijs dat compacte jury's, hoewel economisch haalbaar voor monitoring met hoge doorvoer, nog niet beslissingsequivalent zijn aan frontier-jury's voor criterium-controleerbare evaluatie vanwege hogere variantie en interne dissent.

Betekenis en Claims

Het paper claimt dat evaluatiebetrouwbaarheid evenzeer afhangt van het contract als van de beoordelaar.

Voor Praktici: Het kader stelt organisaties in staat de definitie van "wat er toe doet" (het contract) te scheiden van "hoeveel het kost" (de selectie van de beoordelaar).
Strategisch Inzicht: Compacte jury's zijn geschikt voor goedkope uitkomstmonitoring waar uiteindelijke taakscores belangrijker zijn dan specifieke criteriumtraces. Echter, voor hoog-risico beslissingen die criteriumniveau-controleerbaarheid vereisen, blijven frontier-jury's de standaard vanwege hun superieure interne consensus.
Toekomstige Richting: De auteurs suggereren dat de kloof tussen compact en frontier-gedrag kan worden verkleind via on-policy distillatie (het trainen van compacte beoordelaars om frontier-jury-beslissingen na te bootsen), maar dit wordt geïdentificeerd als toekomstig werk, niet als een huidige capaciteit.

De auteurs blijven bescheiden, met de opmerking dat hun studie vergelijkbaarheid tussen jury's evalueert, niet absolute correctheid tegenover menselijke grondwaarheid, en dat de resultaten specifiek zijn voor de STEM-gerichte taken en Harbor-agentconfiguratie die zijn getest.