Technische Samenvatting: Efficiënte Evaluatie van LLM-prestaties met Statistische Garanties

Probleemstelling

De snelle proliferatie van Large Language Models (LLM's), met honderdduizenden varianten beschikbaar op platforms zoals HuggingFace, heeft een knelpunt in de evaluatie gecreëerd. Het exhaustief testen van kandidaat-modellen op grote, verzorgde benchmarksets (bijvoorbeeld MMLU-Pro met 12.000 vragen) is prohibitief duur in termen van API-kosten, runtime en expertannotatie. Hoewel organisaties vaak vertrouwen op oordelen gebaseerd op "vibes" op ad-hoc subsets, mist dit statistische strengheid.

Het artikel positioneert deze uitdaging als een inference-probleem voor eindige populaties. Gegeven een vaste bank van $N_q$ vragen en een nieuw model, is het doel de nauwkeurigheid $\theta$ van het model te schatten (het aandeel correcte antwoorden over de gehele bank) met behulp van een beperkt query-budget $n_b$. De kritieke beperking is dat het resulterende betrouwbaarheidsinterval (CI) geldige frequentistische dekking moet behouden (bijvoorbeeld dat 95% van de tijd de ware $\theta$ binnen het gerapporteerde interval ligt). Deze garantie is essentieel voor betrouwbare modelselectie en monitoring, vooral wanneer adaptieve evaluatiestrategieën anders de standaard i.i.d.-aannames zouden kunnen ongeldig maken.

Methodologie: Factorized Active Querying (FAQ)

De auteurs stellen Factorized Active Querying (FAQ) voor, een methode die historische data combineert met adaptieve steekproefneming om strakke CI's met geldige dekking te construeren. FAQ bestaat uit drie kerncomponenten:

1. Bayesiaans Factor Model voor Historische Informatie

Om gebruik te maken van historische prestatiedata (een matrix van model-vraaguitkomsten van eerdere modellen), hanteert FAQ een probabilistisch factormodel.

• Latente Factoren: Elk historisch model $i$ krijgt een latente factor $u_i \in \mathbb{R}^k$ toegewezen, en elke vraag $j$ krijgt een latente factor $v_j \in \mathbb{R}^k$.
• Waarschijnlijkheid: De waarschijnlijkheid van een correct antwoord wordt gemodelleerd via een logistische link: $P(H_{ij}=1) = \sigma(u_i^\top v_j)$.
• Rol: Dit model wordt alleen gebruikt om adaptieve query-selectie te sturen en initiële voorspellingen te bieden. Het wordt niet gebruikt om de uiteindelijke betrouwbaarheidsintervallen af te leiden, zodat de geldigheid van de methode niet afhankelijk is van het feit dat het factormodel perfect gespecificeerd is.
• Implementatie: Voor een nieuw model wordt zijn latente factor $u$ geïnitieerd vanuit het empirische gemiddelde en de covariantie van de historische modelfactoren. Naarmate het model wordt bevraagd, wordt $u$ online bijgewerkt met behulp van Laplace-approximaties.

2. Pro-Active Inference (PAI) Schatter

Om geldige frequentistische dekking te garanderen zonder te vertrouwen op de fideliteit van het factormodel, maakt FAQ gebruik van Pro-Active Inference (PAI), een uitbreiding van actieve statistische inference voor eindige populaties.

• Mechanisme: In tegenstelling tot sequentiële actieve inference, waarbij vragen in een vaste "natuurlijke volgorde" worden verwerkt en wordt besloten om te labelen of over te slaan, selecteert PAI proactief de volgende vraag om te bevragen uit de gehele bank op basis van huidige informatie.
• Schatter: De schatter $\hat{\theta}_{n_b}$ is een onbevooroordeelde, inverse-kans gewogen schatter:
  $$\hat{\theta}_{n_b} = \frac{1}{n_b} \sum_{t=1}^{n_b} \phi_t, \quad \text{waarbij } \phi_t = \frac{1}{N_q} \sum_{j=1}^{N_q} \hat{p}^{(t-1)}_j + \frac{1}{N_q} \frac{z_{I_t} - \hat{p}^{(t-1)}_{I_t}}{q_t(I_t)}$$
  Hierbij is $\hat{p}^{(t-1)}_j$ de voorspelde waarschijnlijkheid uit het factormodel, $z_{I_t}$ de waargenomen label, en $q_t(I_t)$ de kans om vraag $I_t$ te selecteren.
• Theoretische Garantie: Onder milde regulariteitsvoorwaarden bewijzen de auteurs via een martingale centrale limietstelling (CLT) dat $\hat{\theta}_{n_b}$ onbevooroordeeld en asymptotisch normaal is, wat de constructie van geldige CI's mogelijk maakt: $[\hat{\theta}_{n_b} \pm z_{1-\alpha/2} \frac{\hat{\sigma}_{n_b}}{\sqrt{n_b}}]$.

3. Hybride Steekproefbeleid

Om de breedte van het CI te minimaliseren, hanteert FAQ een tijdsvariërend hybride steekproefbeleid $q_t(\cdot)$ dat exploitatie (variatiereductie) en exploratie (leren van de latente factor van het nieuwe model) in evenwicht brengt.

• Oracle Variatiereductie: Geïnspireerd door een oracle-instelling, worden vragen met voorspelde kansen dicht bij 0,5 (hoge onzekerheid) opgewogen om de variantie te verminderen.
• Actief Leren: Vragen waarvan wordt verwacht dat ze de posteriorvariantie van de latente factor $u$ van het model maximaal reduceren, worden opgewogen om toekomstige voorspellingen te verbeteren.
• Mixing: Het beleid combineert deze scores met een tempering-exponent en een uniforme mixing-term $\tau$ om ervoor te zorgen dat alle vragen een niet-nul selectiekans behouden, wat voldoet aan de regulariteitsvoorwaarden die nodig zijn voor de CLT.

Belangrijkste Bijdragen

1. Kader: Introductie van FAQ, een methode voor LLM-benchmarking die geldige frequentistische dekking bereikt onder vaste budgetten terwijl het gebruikmaakt van historische data.
2. Pro-Active Inference: Een nieuwe uitbreiding van actieve inference die directe, data-adaptieve vraagselectie mogelijk maakt vanuit een eindige bank, in plaats van sequentiële streamverwerking, terwijl de statistische geldigheid behouden blijft.
3. Efficiëntie: De methode levert tot 5× effectieve steekproefgrootte (ESS) winst op ten opzichte van uniforme steekproefneming en 1,8–2,4× winst ten opzichte van sterke baselines (inclusief post-hoc geselecteerde varianten van actieve inference). Dit vertaalt zich naar het bereiken van dezelfde CI-breedte als uniforme steekproefneming terwijl tot 5× minder queries worden gebruikt.
4. Robuustheid: De methode behoudt geldige dekking zelfs onder aanzienlijke missingness in historische data (bijvoorbeeld slechts 0,1% van de historische entries waargenomen) en in cold-start-scenario's waar geschiedenis van de doel-suite niet beschikbaar is (met gebruik van cross-suite transfer).

Experimentele Resultaten

De auteurs evalueerden FAQ op twee benchmarksets: MMLU-Pro (12K vragen) en een samengestelde suite (BBH+GPQA+IFEval+MATH+MuSR, 9,5K vragen) met gebruik van 2.200 testmodellen en 100 willekeurige zaden per model.

• Volledig Waargenomen Geschiedenis: FAQ behaalde 4–5× hogere ESS dan uniforme steekproefneming en 1,8–2,4× hogere ESS dan de sterkste post-hoc baseline. De empirische dekking bleef dicht bij het 95%-doel.
• Schaarse Geschiedenis: Zelfs met slechts 12–42% van de historische data waargenomen, presteerde FAQ aanzienlijk beter dan baselines. Met slechts 0,1% waargenomen behield het een consistente ESS-voorsprong, hoewel de prestaties licht verslechterden bij zeer grote budgetten door ruis in de factor-schattingen.
• Cold-Start Transfer: In een setting met nul geschiedenis van de doel-suite behaalde FAQ (geïnitieerd via MMLU-Pro transfer) tot 1,32× ESS ten opzichte van uniforme steekproefneming, en presteerde het beter dan baselines die toegang hadden tot 0,1% doel-suite geschiedenis op 8 van de 10 budgetten.
• Stabiliteit van Dekking: De dekking was stabiel over modelrelease-data en nauwkeurigheidsniveaus, wat aangeeft dat er geen systematische onderdekking is voor specifieke modeltypes.
• Ablatie: Een vergelijking van FAQ met een "traditionele" sequentiële actieve inference-ablatie (die hetzelfde factormodel gebruikt maar de natuurlijke volgorde volgt) toonde aan dat FAQ superieur is in het regime met lage budgetten (het primaire doel voor kostenbesparing), terwijl de sequentiële methode bij zeer grote budgetten kan inhalen.

Betekenis en Claims

Het artikel stelt dat FAQ een statistisch strikt kader biedt voor continue monitoring van LLM's. Door gebruik te maken van opgehoopte historische data en verse uitkomsten toe te voegen, maakt het onzekerheidsgekwantificeerde evaluatie progressief kosteneffectiever. De auteurs benadrukken dat dit bijzonder waardevol is voor organisaties die herhaaldelijk modelvarianten vergelijken (bijvoorbeeld checkpoints, fine-tunes, gekwantiseerde modellen) onder beperkte query- of adjudicatiebudgetten.

De betekenis ligt in het vermogen om evaluatiekosten (API-credits, latentie, experttijd) met tot 5× te verminderen zonder de statistische garanties op te offeren die nodig zijn voor beslissingen bij hoog-risico implementaties. De methode is modelvrij wat betreft de uiteindelijke inference, wat betekent dat de geldigheid ervan niet afhankelijk is van de correctheid van het onderliggende factormodel, maar alleen van de regulariteit van het steekproefbeleid. De auteurs publiceren hun verzorgde datasets (4.400+ modellen, 21.500+ vragen) en broncode ter ondersteuning van reproduceerbare evaluatie.