Industrializing Prediction-Powered Inference: The GLIDE Library for Reliable GenAI and Agentic Systems Evaluation

Technische Samenvatting: Industrialisering van Prediction-Powered Inference met GLIDE

Probleemstelling
Betrouwbare evaluatie van agentische systemen (bijv. klinische beslissingsondersteuning, financieel advies) staat voor een fundamentele afweging. Volledige menselijke annotatie biedt een onbevooroordeelde, betrouwbare grondwaarheid, maar is evenredig traag en duur, vooral bij trajecten met meerdere stappen. Daartegenover staat het gebruik van Large Language Models (LLM's) als beoordelaars, wat snel en goedkoop is maar significante bias introduceert, met name bij kennisintensieve of domeinspecifieke taken. Bestaande literatuur over Prediction-Powered Inference (PPI)—een raamwerk dat een kleine set menselijke labels combineert met een grote set proxy-voorspellingen om onbevooroordeelde schattingen met geldige betrouwbaarheidsintervallen te produceren—heeft zich snel ontwikkeld. Deze methoden (inclusief PPI++, Stratified PPI, Predict-Then-Debias en Active Statistical Inference) blijven echter verspreid over uiteenlopende academische papers met heterogene notaties en gedeeltelijke implementaties. Praktijkgebruikers missen een verenigde tool om deze methoden toe te passen op de evaluatie van agenten, waarbij de kostenasymmetrie extreem is, natuurlijke stratificatie bestaat en geldige onzekerheidskwantificering cruciaal is voor implementatie.

Methodologie: Het GLIDE-raamwerk
De auteurs introduceren GLIDE (Generated Label Inference and Debiasing Engine), een open-source Python-bibliotheek die is ontworpen om de meest geavanceerde PPI-schatters en samplers te verenigen onder een scipy-achtige API die gespecialiseerd is in gemiddendschatting. Het raamwerk deelt evaluatie op in drie opeenvolgende stappen:

1. Sampling (Steekproeftrekking): GLIDE implementeert vier verschillende samplingstrategieën om een subset van trajecten voor menselijke annotatie te selecteren uit een grotere pool van met proxy-labels voorzien data:

   • UniformSampler: Standaard willekeurige steekproef (baseline).
   • StratifiedSampler: Verdeelt samples over gebruikersgedefinieerde strata (bijv. type query, gebruikte tools) met behulp van proportionele of Neyman-allocatie om heterogene proxykwaliteit op te vangen.
   • ActiveSampler: Samplet op basis van per-sample proxy-onzekerheid (bijv. geverbaliseerde betrouwbaarheid), waardoor de menselijke inspanning wordt geconcentreerd waar de proxy het minst betrouwbaar is.
   • CostOptimalSampler: Optimaliseert de samplingkansen op basis van bekende proxy-naar-annotatie-kostenratio's, om de totale evaluatiekosten te minimaliseren.

2. Annotatie: Domeinexperts leveren de grondwaarheid-labels voor de geselecteerde subset. GLIDE behandelt dit als een externe, taakspecifieke stap die enkel machineleesbare output vereist.

3. Estimatie (Schatting): De bibliotheek combineert de menselijke labels en proxy-voorspellingen om een onbevooroordeelde puntinschatting en een betrouwbaarheidsinterval te produceren. Het implementeert verschillende schatters die zijn afgestemd op verschillende statistische regimes:

   • PPI++ & Stratified PPI++: Maakt gebruik van power tuning om de asymptotische variantie te minimaliseren, wat een prestatie garandeert die niet slechter is dan de klassieke label-alleen estimator.
   • Predict-Then-Debias (PTD) & Stratified PTD: Bieden bootstrap-gebaseerde betrouwbaarheidsintervallen, specifiek ontworpen voor regimes met kleine steekproeven waar de Central Limit Theorem (CLT) benadering degradeert.
   • Active Statistical Inference (ASI): Gebruikt Inverse Propensity Weighting (IPW) om samples te debiasen die via actieve sampling zijn getrokken.
   • Klassieke Baselines: Omvat standaard steekproefgemiddelden (met en zonder stratificatie) om te dienen als referentie voor effectieve steekproefomvang-berekeningen.

Een beslisboom begeleidt gebruikers bij het selecteren van de juiste sampler en estimator op basis van de beschikbaarheid van kostenramingen, proxy-onzekheidssignalen, natuurlijke strata en het aantal beschikbare menselijke labels (specifiek, of $n \ge 50$ voor CLT-gebaseerde methoden).

Belangrijkste Bijdragen

1. Verenigde Bibliotheek: GLIDE is de eerste bibliotheek die een uitgebreide suite van PPI-estimators (PPI++, Stratified PPI, PTD, ASI) en samplers (uniform, stratified, active, cost-optimal) integreert onder één consistente API.
2. Reproduceerbare Validatiesuite: Het pakket bevat een Monte Carlo-validatiesuite die empirisch drie eigenschappen verifieert over alle estimators: (i) de empirische dekking komt overeen met het nominale niveau bij variërende proxykwaliteiten, (ii) intervallen zijn niet breder dan de klassieke label-alleen baseline, en (iii) de effectieve steekproefomvang groeit met de correlatie tussen proxy en grondwaarheid.
3. Agentische Evaluatie Casestudy: De auteurs demonstreren de bruikbaarheid van de bibliotheek op de R-Judge benchmark (568 agentische trajecten). Ze tonen aan dat GLIDE een equivalente precisie bereikt als klassieke sampling met aanzienlijk minder menselijke annotaties. Specifiek leverde het combineren van 100 menselijke labels met proxy-signalen effectieve steekproefomvang van ~143–157 (een winst van 1,4x–1,5x) vergeleken met het gebruik van 100 menselijke labels alleen, terwijl een geldige dekking werd behouden ondanks een ~13% bias in de LLM-as-judge proxy.

Resultaten
Empirische validatie bevestigt dat PPI-methoden in GLIDE onvoorwaardelijke validiteit bieden met betrekking tot de proxy: zelfs met een bevooroordeelde of zwak gecorreleerde proxy blijven de resulterende betrouwbaarheidsintervallen geldig (hoewel potentieel breder). De "Effectieve Steekproefomvang" ($n_{eff}$) dient als de primaire metriek voor de return on investment, waarbij gekwantificeerd wordt hoeveel volledig door mensen gelabelde samples een PPI-estimator statistisch equivalent is. In de R-Judge casestudy verminderden gestratificeerde en actieve samplingprotocollen de breedte van de betrouwbaarheidsintervallen met 16%–20% vergeleken met uniforme sampling met hetzelfde menselijke budget. De studie benadrukt dat hoewel actieve sampling competitief is, stratificatie op semantisch betekenisvolle assen (zoals toepassingsdomeinen) vergelijkbare winsten kan opleveren met nul engineeringkosten.

Significantie en Claims
Het artikel positioneert GLIDE als een praktische brug tussen theoretische PPI-vooruitgang en industriële toepassing. De primaire claim is dat het investeren in een hogere kwaliteit LLM-as-judge direct vertaalt naar een groter effectief annotatiebudget. De auteurs benadrukken dat betere proxies geen vervanging zijn voor menselijke annotatie, maar een multiplier op deze. Door een verenigde, gevalideerde en gemakkelijk te gebruiken interface te bieden, stelt GLIDE praktijkgebruikers in staat om voorbij de binaire keuze van "dure mens-alleen" of "bevooroordeelde proxy-alleen" evaluatie te gaan, wat de implementatie van controleerbare, statistisch rigoureuze evaluatiepipelines voor consequente AI-systemen faciliteert. De bibliotheek beperkt haar scope expliciet tot gemiddendschatting (dekking van nauwkeurigheid, toxiciteitspercentages, etc.) en laat bredere M-schatting en kwantiel-schatting over aan de fundamentele ppi_py bibliotheek.