Technische Samenvatting: Distributie-vrije Kwalificatie van Onzekerheid voor Continue Evaluatie van AI-agenten

1. Probleemstelling

De evaluatie van AI-agenten staat momenteel voor een "onzekerheidscrisis". Bestaande statische benchmarks (bijv. SWE-bench, GAIA, WebArena) produceren punt-schattingen die als definitief worden behandeld, maar ze houden geen rekening met impliciete onzekerheden die voortvloeien uit:

• Meet-heterogeniteit: Verschillen tussen verschillende platformen met betrekking tot kwaliteit.
• Modelspecificatie: Rangschikkingen die verschuiven onder verschillende wegingsschema's.
• Temporele non-stationariteit: Scores die evolueren naarmate agenten worden bijgewerkt of uitgebracht.

Hoewel sommige frameworks, zoals Chatbot Arena, betrouwbaarheidsintervallen bieden via bootstrap-resampling, missen ze garanties voor eindige steekproeven en adresseren ze vaak slechts enkele signaalbronnen. Er bestaat geen bestaand framework dat distributie-vrije dekkinggaranties biedt voor agent-scores, compositieve onzekerheidsgrenzen voor multi-agent-pipelines of principiële afstainingsregels wanneer de evaluatievertrouwen laag is.

2. Methodologie: Het AgentPulse-framework

De auteurs stellen AgentPulse voor, een continu evaluatieframework dat onzekerheid behandelt als een output van de eerste orde. Het systeem evalueert 50 agenten met behulp van een samengestelde score ($AP$) van vier factoren, die elk uur wordt verzameld uit 19 databronnen:
$$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$$
Waarbij $B$ de benchmarkprestatie is, $A$ de adoptie (GitHub-stars, downloads), $S$ de sentiment (geaggregeerd van 9 platformen) en $E$ de gezondheid van het ecosysteem.

Het framework hanteert vier methodologische pijlers:

2.1 Distributie-vrije Voorspelling (Gesplitst Conformaal & ACI)

Om scores $h$ uur vooruit te voorspellen, gebruikt het systeem een gemiddelde-reversiemodel. Om dekking te garanderen zonder een specifieke data-distributie aan te nemen:

• Gesplitst Conformale Voorspelling: De scoregeschiedenis wordt opgesplitst in training (70%) en kalibratie (30%). Niet-conforme scores worden berekend en een quantiel $\hat{q}_{1-\alpha}$ wordt geselecteerd om intervallen $C_{1-\alpha}$ te construeren. Dit garandeert $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ onder uitwisselbaarheid.
• Adaptieve Conformale Inferentie (ACI): Om distributieveranderingen veroorzaakt door agent-releases aan te pakken (wat uitwisselbaarheid schendt), past ACI het misdekking-niveau $\alpha_t$ online aan. Als een observatie buiten het interval valt, wordt $\alpha$ verhoogd, waardoor het interval verbreedt totdat de dekking is hersteld.

2.2 Conditionele Dekking (Mondriaans Conformaal)

Standaard conformale voorspelling biedt marginale dekking (gemiddeld over alle agenten), wat slechte prestaties voor specifieke volatiele agenten kan maskeren. De auteurs implementeren Mondriaanse conformale voorspelling, waarbij agenten worden gestratificeerd in "stabiele" en "volatiele" groepen op basis van de standaardafwijking over bronnen ($\sigma_{cross}$). Er worden aparte kalibratiesets en quantielen berekend voor elke groep, waardoor conditionele dekkinggaranties worden gewaarborgd voor volatiele agenten die anders zouden falen onder standaardmethoden.

2.3 Compositieve Onzekerheid voor Pipelines

Voor multi-agent-pipelines ($a_1 \to a_2$) leidt het framework onzekerheidsgrenzen af voor de samengestelde meting:

• Onafhankelijkheidsgrens: $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$.
• Slechtste-gevalgrens: $\sigma_{pipeline} \le \sigma_1 + \sigma_2$.
  Deze grenzen worden gevalideerd via simulatie over inter-stadia correlaties $\rho \in [-0.5, 0.9]$.

2.4 Selectieve Afstaining en FDR-controle

Om de betrouwbaarheid van rangschikkingen te beheren:

• Conformale Afstaining: Voor paarwijze vergelijkingen, als het betrouwbaarheidsinterval voor het scoresverschil $\Delta_{ab}$ nul bevat, onthoudt het systeem zich van rangschikking. Dit controleert de rate van valse rangschikkingen.
• FDR-correctie: Voor multiple testing op leaderboard-schaal (1.225 paren) wordt de Benjamini-Hochberg (BH)-procedure toegepast om de False Discovery Rate (FDR) te controleren, zodat het aandeel onjuist gerangschikte paren onder alle gerangschikte paren onder een doelwaarde blijft.

3. Belangrijkste Resultaten

3.1 Kalibratie en Dekking

• Kalibratiefout: Conformale intervallen behaalden kalibratiefouten onder 0,02 over alle nominale niveaus op de 24-uurs horizon.
• Vergelijking met Parametrisch/Bootstrap: Parametrische intervallen waren systematisch te conservatief (breder dan nodig). Bootstrap-intervallen waren matig te conservatief op korte horizon, maar onder-dekten (74% dekking versus 80% nominaal) op 72 uur door temporele non-stationariteit. Conformale methoden behielden robuuste dekking (79% op 72 uur).
• Adaptieve Respons: Na agent-releases verbreedde ACI de intervallen correct met 35% binnen 6 uur en convergide opnieuw over 48 uur, terwijl statische methoden last hadden van dekkingdalingen.

3.2 Verbeteringen in Conditionele Dekking

• Volatiele Agenten: Onder standaard conformale voorspelling hadden volatiele agenten (hoge $\sigma_{cross}$) een gemiddelde dekking van 64,6% (11 van de 15 agenten onder de 75%).
• Mondriaanse Correctie: Door agenten te stratificeren, verhoogde Mondriaans conformaal de dekking voor volatiele agenten naar 80,4% (slechts 2 van de 15 onder de 75%), ten koste van bredere intervallen voor die specifieke groep.
• Totale Distributie: De gemiddelde dekking per agent over 50 agenten was 80,4%, waarbij 90% van de agenten binnen het bereik [72%, 90%] viel.

3.3 Pipeline- en Rangschikkingsstabiliteit

• Pipeline-grenzen: Simulaties bevestigden dat de werkelijke pipeline-onzekerheid ligt tussen de onafhankelijkheids- en de slechtste-gevalgrens voor positieve correlaties.
• Afstainingspercentages: Bij $\alpha=0,20$ leidde 31% van de paren tot afstaining. Na BH-correctie voor FDR-controle werden 50% van de paren met vertrouwen gerangschikt, terwijl de overige als onzeker werden gemarkeerd.
• Signaaldivergentie: Divergentie in sentiment tussen bronnen was een sterke voorspeller van rangschikkingsinstabiliteit ($r=0,64, p<0,01$).

3.4 Validatie

• Predictieve Validiteit: Een sub-samengestelde met uitsluiting van GitHub-signalen voorspelde GitHub-stars ($\rho_s=0,52$) en Stack Overflow-vragen ($\rho_s=0,49$).
• Circulairheidscontrole: Validatie bevestigde dat het framework signalen vastlegt die verder gaan dan standaard benchmarks ($\rho_s=0,52, p<0,01, n=35$).
• Rangschikkingsverschuivingen: De samengestelde rangschikking verschilde significant van benchmarks-only rangschikkingen, met name voor agenten met hoge adoptie maar lagere benchmarkscores, of gesloten-bron agenten zonder adoptiesignalen.

4. Betekenis en Claims

Het artikel stelt dat AgentPulse een kritieke kloof in AI-evaluatie aanpakt door het eerste framework te bieden dat distributie-vrije dekkinggaranties biedt voor continue, multi-bron agent-evaluatie.

De auteurs benadrukken dat hun bijdrage niet de uitvinding van gesplitst conformale voorspelling zelf is, maar de rigoureuze toepassing ervan op een domein dat wordt gekenmerkt door vier distincte uitdagingen:

1. Gestructureerde Uitwisselbaarheids-schendingen: Aangepakt via ACI om agent-releases aan te pakken.
2. Conditionele Dekkingsfalen: Aangepakt via Mondriaans conformaal met $\sigma_{cross}$-stratificatie, wat de betrouwbaarheid voor volatiele agenten aanzienlijk verbetert.
3. Compositieve Structuur: Aangepakt via gevalideerde onzekerheidspropagatiegrenzen voor pipelines.
4. Leaderboard-schaal Multiple Testing: Aangepakt via FDR-gestuurde afstaining.

Het werk toont aan dat distributie-vrije methoden superieur zijn aan standaard resampling (bootstrap) benaderingen onder temporele non-stationariteit. Door onzekerheid als primaire output te behandelen, maakt het framework een betrouwbaardere, dynamischere en genuanceerdere evaluatie van AI-agenten mogelijk, en gaat het voorbij aan statische punt-schattingen naar een probabilistisch begrip van agentkwaliteit.

Beperkingen erkend door de auteurs:

• ACI veronderstelt begrenste distributieveranderingen; onbegrensde regimeveranderingen kunnen convergentie schenden.
• Compositieve grenzen kunnen anti-conservatief zijn onder negatieve inter-stadia correlatie.
• FDR-controle veronderstelt onafhankelijkheid of positieve regressie-afhankelijkheid tussen teststatistieken.
• De ablatiestudie ($n=11$) was ondergepowerd.
• Huidige NLP-verwerking is alleen in het Engels, en gesloten-bron agenten missen adoptiesignalen.