📈 economics

The Partial Testimony of Logs: Evaluation of Language Model Generation under Confounded Model Choice

Dit artikel stelt een drie-bronnenkader voor en evalueert dit, dat een klein gerandomiseerd experiment combineert met een offline simulator om de selectiebias inherent aan observationele taalmodellogboeken op grote schaal te identificeren en te corrigeren, waardoor geldige causale vergelijkingen van modelprestaties mogelijk worden.

Oorspronkelijke auteurs: Jikai Jin, Vasilis Syrgkanis

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jikai Jin, Vasilis Syrgkanis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken welke van drie koks de beste soep maakt. Je hebt een enorm notitieboek met klantenbeoordelingen van een drukke restaurant (het Observatiedagboek, of OBS). Er is echter een addertje onder het gras: klanten kozen niet willekeurig een kok. Ze kozen de kok die ze dachten dat de beste was, gebaseerd op hun eigen stemming, honger of eerdere ervaringen.

Als je gewoon het notitieboek leest, zou je kunnen denken dat Kok A de beste is, omdat de mensen die bij Kok A bestelden al in een goede stemming waren en van alles hielden. Maar misschien is Kok B eigenlijk beter; ze dienden gewoon chagrijnige klanten op die te moe waren om de soep te waarderen. Dit is verwarring: de reden waarom mensen een kok kozen, is verward met hoezeer ze van het eten hielden.

Om dit op te lossen, kun je een klein, streng experiment uitvoeren waarbij je klanten dwingt een kok willekeurig te kiezen (het Geredomiseerd Experiment, of EXP). Dit geeft je een eerlijke, onbevooroordeelde proeverij. Maar het uitvoeren van dit experiment is duur en vervelend voor klanten, dus je kunt het maar een paar keer doen.

Dit paper stelt een slimme drie-onderdelen-strategie voor om het beste van twee werelden te krijgen, waarbij een "Keuken Simulator" als brug dient.

De Drie Ingrediënten

Het Grote Notitieboek (OBS): Een enorme stapel echte beoordelingen. Het is bevooroordeeld, maar het heeft veel data.
De Kleine Eerlijke Test (EXP): Een kleine stapel beoordelingen waarbij klanten gedwongen werden willekeurig te kiezen. Het is onbevooroordeeld, maar het is zeer klein.
De Keuken Simulator (SIM): Een robot die de soep opnieuw kan koken. Als je het zegt: "Kok A heeft deze soep voor deze specifieke klant gemaakt", kan de robot direct genereren hoe Kok A's soep er had uitgezien, zelfs als de klant het nooit daadwerkelijk bestelde.

De Grote Ontdekking: De "Magische Truc"

De belangrijkste bevinding van het paper is een wiskundig bewijs (Stelling 1) dat zegt: Je hebt het Grote Notitieboek niet nodig om uit te zoeken wie eigenlijk de beste kok is.

Hier is de magische truc:

De Simulator kan je laten zien wat elke kok voor elke klant zou hebben gekookt.
De Kleine Eerlijke Test vertelt je precies hoe goed de soep was in die paar willekeurige gevallen.

Door deze twee te combineren, kun je wiskundig de ware vaardigheid van elke kok berekenen. Het Grote Notitieboek (OBS) is niet nodig om te bewijzen wie beter is; het is alleen later nodig om je schatting preciezer te maken (het "ruis" in je antwoord verminderen).

Denk er zo over: De Simulator en de Kleine Eerlijke Test geven je de waarheid. Het Grote Notitieboek is gewoon een vergrootglas dat je helpt die waarheid duidelijker te zien, maar het creëert de waarheid niet zelf.

De Zes Manieren om de Ingrediënten te Maken

Zodra je weet dat de waarheid herwinnen is, vraagt het paper: "Hoe gebruiken we het Grote Notitieboek om ons te helpen zonder in de val te trappen van zijn vooroordeel?" Ze testten zes verschillende "recepten" (schatters) voor het mengen van de data:

De Pure Experimentator (EXP-Only): Negeert het grote notitieboek volledig. Gebruikt alleen de kleine eerlijke test.
- Voordelen: Volledig onbevooroordeeld.
- Nadelen: Zeer wankel resultaat als de eerlijke test te klein is (hoge variantie).
De Notitieboeklezer (OBS-Only): Negeert de eerlijke test en leest gewoon het grote notitieboek.
- Voordelen: Zeer stabiele cijfers.
- Nadelen: Volledig verkeerd vanwege de vooroordelen (lage variantie, hoge bias).
De Vertaler (Representation-EXP): Gebruikt het grote notitieboek om een "taal" te leren van wat klanten leuk vinden, en gebruikt vervolgens de kleine eerlijke test om de werkelijke scores in die taal te leren.
- Voordelen: Goed als de "taal" van het notitieboek de juiste details vastlegt.
- Nadelen: Faalt als het notitieboek de belangrijke details mist.
De Gewortelde Corrector (Grounded): Start met het antwoord van de Notitieboeklezer, en gebruikt vervolgens de kleine eerlijke test om de fouten te "repareren".
- Voordelen: Geweldig als het notitieboek grotendeels goed is maar een kleine systematische fout heeft.
De Mixer (CVCI): Mengt het Notitieboek en de Eerlijke Test samen, en past de mix aan op basis van welke combinatie het beste werkt in de kleine eerlijke test.
- Voordelen: Vaak de meest gebalanceerde aanpak.
De Residumixer (CVCI-Residual): Vergelijkbaar met de Mixer, maar verwijdert eerst het "makkelijke" deel van het probleem met het notitieboek, en gebruikt vervolgens de eerlijke test om de "moeilijke" rest op te lossen.

Wat de Experimenten Toonden

De auteurs testten deze recepten op twee real-world taken: Samenvatten van Nieuwsartikelen en Oplossen van Computercode.

Geen "One Size Fits All": Er is geen enkele winnaar. Welk recept het beste werkt, hangt af van twee dingen:
1. Hoeveel data heb je? Als je zeer weinig eerlijke testdata hebt, moet je sterk leunen op het notitieboek (maar voorzichtig). Als je veel eerlijke testdata hebt, kun je de vooroordelen van het notitieboek makkelijker negeren.
2. Wat meet je?
  - Bij de Samenvatting-taak was de "Mixer" (CVCI) meestal de beste. Het balanceerde de enorme hoeveelheid notitieboekdata perfect met de kleine eerlijke test.
  - Bij de Coding-taak veranderden de resultaten afhankelijk van wat "succes" betekende. Als succes betekende "heeft de code de bug opgelost?", waren de op het notitieboek gebaseerde methoden beter. Als succes betekende "is de code-stijl mooi?", werkte een andere methode (Representation-EXP) beter.

De Conclusie

Wanneer je AI-modellen evalueert met behulp van echte logs, kun je niet zomaar de cijfers vertrouwen, omdat mensen modellen kiezen op basis van verborgen factoren.

Het paper bewijst dat als je een Simulator hebt (om outputs opnieuw te genereren) en een Kleine Geredomiseerde Test (om eerlijke scores te krijgen), je wiskundig de ware prestatie van de modellen kunt vinden. De enorme stapel bevooroordeelde real-world logs is nuttig voor het verfijnen van het antwoord, maar het is niet de sleutel tot het ontsluiten van de waarheid. De sleutel is de combinatie van de simulator en het geredomiseerde experiment.

Technische Samenvatting: Het Gedeeltelijke Getuigenis van Logs: Evaluatie van Generatie door Taalmodellen onder Verward Modelkeuze

Probleemstelling

De offline evaluatie van taalmodellen (LLMs) is steeds meer afhankelijk van gebruikslogs, voorkeursdata en annotaties door beoordelaars die zijn verzameld in real-world implementaties. Wanneer de modelkeuze echter door de gebruiker wordt bepaald, lijden deze logs onder verwarring: dezelfde niet-gesignaleerde factoren aan de gebruikerszijde ( $U$ ) die bepalen welk model een gebruiker selecteert, beïnvloeden ook hoe de output van dat model wordt beoordeeld. Bijgevolg mengen ruwe vergelijkingen van gelogde scores zelfgeselecteerde subpopulaties, in plaats van een gemeenschappelijke causale grootheid van belang te schatten.

Hoewel gerandomiseerde experimenten (EXP) deze bias kunnen doorbreken door de modelkeuze te overschrijven, zijn ze in de praktijk vaak schaars, duur en verstorend. Bestaande literatuur over het combineren van grote, bevooroordeelde observationele steekproeven met kleine gerandomiseerde steekproeven, gaat er doorgaans van uit dat het uitkomstresultaat op nivo van de eenheid in beide wordt waargenomen. Bij LLM-evaluatie moet de "uitkomst" (de gegenereerde tekst) eerst opnieuw worden gegenereerd voor kandidaatmodellen voordat deze kan worden gescoord, wat een extra laag van complexiteit toevoegt waarbij de doeluitkomst zelfs in het gerandomiseerde steekproef niet direct wordt waargenomen.

Methodologie: Een Drie-Bronnen Ontwerp

Het artikel stelt een drie-bronnen ontwerp voor om deze uitdaging aan te pakken, waarbij het probleem wordt gescheiden in identificatie (herstellen van causale waarden) en schatting (verminderen van fouten).

Data Bronnen

Observationele Log (OBS): Een grote dataset van zelfgeselecteerde modelkeuzes, contexten, outputs en uitkomsten. Het biedt schaal en aanvullende supervisie, maar is verward.
Gerandomiseerd Experiment (EXP): Een kleine dataset waarbij de modelkeuze wordt gerandomiseerd, waardoor onverwarde uitkomstlabels worden geboden voor gerealiseerde outputs.
Offline Simulator (SIM): Een mechanisme dat kandidaatmodellen opnieuw afspeelt op in het cache opgeslagen contexten om contrafactuele outputs (mediatoren) te genereren voor elk model, ongeacht de oorspronkelijke keuze.

Causale Structuur en Aannames

Het kader modelleert het systeem met behulp van een causale grafiek met waargenomen context ( $X$ ), latente gebruikersstatus ( $U$ ), gekozen model ( $A$ ), gegenereerde output ( $M$ ) en uitkomst ( $Y$ ). Belangrijke aannames zijn:

A1 (Randomisatie): In EXP, $A \perp U | X$ .
A2 (SIM Validiteit): De simulator komt nauwkeurig overeen met de interventionele mediatorverdeling $P(M | X, do(A=a))$.
A3 (Uitkomstconsistentie): De conditionele uitkomstwet $P(Y | X, M, U)$ is invariant over OBS, EXP en de interventionele wereld.
A4 (Geen Latente Mediatorverwarring): Conditioneel op $(X, A)$ , $U \perp M$ . Dit beperkt het kader tot generatie in één ronde zonder staat (stateless).
A5 (Contextuitlijning): De doelcontextverdeling komt overeen met de EXP-contextverdeling.

Identificatietheorema

Het centrale theoretische resultaat van het artikel (Theorema 1) stelt dat SIM en EXP gezamenlijk voldoende zijn om causale modelwaarden te identificeren, waardoor OBS overbodig wordt voor identificatie.

Het gerandomiseerde experiment identificeert de onbevooroordeelde scoringsregel $r^*(x, m) = E[Y | X=x, M=m, EXP]$ .
De simulator biedt de interventionele mediatorverdeling $p_{sim}(m | x, a)$ .
De causale waarde wordt hersteld door de scoringsregel te integreren over de gesimuleerde mediatorverdeling:
$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$
$\mu(a) = E_{X}[q(X, a)]$
De observationele log (OBS) komt pas na identificatie in het spel om de statistische efficiëntie te verbeteren (variantie verkleinen), niet om de causale vergelijking te valideren.

Schattersfamilies

Zodra het doel is geïdentificeerd, evalueert het artikel zes families van schatters die verschillen in hoe ze OBS benutten om schattingsfouten te verminderen:

Alleen EXP: Past een beloningsmodel aan met alleen gerandomiseerde uitkomsten. Onbevooroordeeld maar met hoge variantie wanneer EXP klein is.
Alleen OBS: Past een beloningsmodel aan op gelogde uitkomsten. Lage variantie maar erft verwarringsbias over.
Representatie-EXP: Gebruikt OBS-aanvullende labels om een lagere-dimensionale proxy-representatie $\psi$ te leren, past vervolgens de beloningskop aan op $\psi$ met EXP-gegevens.
Gegrond: Start met een op OBS getrainde basispredictor $f_{OBS}$ en gebruikt EXP om een correctieterm te leren in de proxy-ruimte.
CVCI (Cross-Validated Causal Inference): Poolt direct OBS- en EXP-regressieproblemen, waarbij het poolingsgewicht $\lambda$ wordt geselecteerd via causale cross-validatie op EXP.
CVCI-Residu: Residualiseert het doel rond de OBS-basis ( $Y - f_{OBS}$ ) en poolt de residu-aanpassing in de proxy-ruimte.

Empirische Resultaten

De auteurs evalueren deze schatters in een gecontroleerde semi-synthetische validatie en twee real-task in het cache opgeslagen benchmarks (samenvatten op CNN/DailyMail en coderen op SWE-bench Verified).

Geen Universele Dominantie: Geen enkele schattersfamilie domineert alle regimes. De prestaties hangen sterk af van de hoeveelheid onbevooroordeelde EXP-supervisie en de uitlijning tussen de observationele structuur en de doelbeloning.
Samenvatting Benchmark:
- CVCI behaalde de beste gemiddelde rang en de laagste excessieve regret over 48 instellingen.
- Het vergroten van het EXP-budget ( $n_{EXP}$ ) verbeterde EXP-gebaseerde schatters aanzienlijk, terwijl het vergroten van het OBS-budget ( $n_{OBS}$ ) afnemende meeropbrengsten had onder gladde beloningskaarten.
- Wanneer de beloningskaart werd "verscherpt" (niet-lineair), verslechterde de uitlijning tussen proxy-representaties en het doel, wat leidde tot prestatiedalingen voor methoden gebaseerd op representaties.
Codering Benchmark:
- De rangschikkingen verschoven op basis van de beloningsdefinitie. Wanneer de beloning prioriteit gaf aan "patchkwaliteit" (aanvullende kenmerken), presteerde Representation-EXP concurrerend.
- Wanneer de beloning prioriteit gaf aan "echte fixsucces" (een binaire uitkomst die niet goed wordt vastgelegd door aanvullende patchstatistieken), overtroffen op OBS gebaseerde families (OBS-Only, CVCI) Representation-EXP.
- Dit benadrukt dat het nut van afgeleide OBS-proxy's afhangt van of ze het signaal behouden dat relevant is voor de specifieke doelbeloning.

Betekenis en Claims

Het artikel claimt een rigoureus kader te bieden voor offline LLM-evaluatie dat de beperkingen van observationele data erkent zonder de schaal ervan te verwerpen.

Identificatie versus Schatting: De primaire bijdrage is de theoretische scheiding van identificatie (opgelost door SIM+EXP) van schatting (waarbij OBS helpt). Dit verduidelijkt dat OBS causale bias niet kan verhelpen; het kan alleen variantie verminderen zodra de bias is verwijderd via randomisatie en simulatie.
Praktische Richtlijnen: De empirische resultaten suggereren dat de keuze van de schatter moet worden geleid door de "doel-uitlijning" diagnose. Als de structuur van de observationele data (bijv. aanvullende labels) goed uitlijnt met de doelbeloning, zijn hybride methoden (zoals CVCI of Grounded) effectief. Als het doel rust op signalen die niet aanwezig zijn in de observationele proxy's (bijv. echt fixsucces versus patchkwaliteit), kunnen OBS-ondersteunde methoden falen om pure gerandomiseerde baselines te overtreffen.
Reikwijdte: De auteurs merken bescheiden op dat deze conclusies van toepassing zijn op één-shot in het cache opgeslagen evaluatiesettingen. Het kader gaat uit van generatie in één ronde (Aanname A4) en adresseert nog niet multi-ronde interactieve settingen of bredere onzekerheden op populatieniveau buiten de in het cache opgeslagen doelen.

Kortom, het artikel betoogt dat hoewel grote logs waardevol zijn voor schaal, ze op zichzelf ontoereikend zijn voor causale evaluatie. Een klein gerandomiseerd experiment gecombineerd met een simulator is de minimale vereiste voor geldige identificatie, waarbij observationele data dient als een instrument voor variantievermindering, afhankelijk van de specifieke uitlijning tussen de data en het evaluatiedoel.