Beyond the Mean: Within-Model Reliable Change Detection for LLM Evaluation

1. Probleemstelling

De huidige evaluatie van Large Language Models (LLM's) is sterk afhankelijk van geaggregeerde nauwkeurigheidsmetrieken (bijv. "Model B is 2% beter dan Model A"). Deze aanpak maskeert de onderliggende dynamiek van modelupdates:

• Het "Netto Residu"-probleem: Een geaggregeerde winst kan het resultaat zijn van uniforme kleine verbeteringen, grote verbeteringen op enkele items, of een mix van significante verbeteringen en significante verslechteringen die elkaar opheffen.
• Meetruis: Standaard evaluaties met één poging (greedy) behandelen items als binair (juist/onjuist) zonder rekening te houden met stochastische variabiliteit in antwoorden. Een "flip" van juist naar onjuist kan ruis zijn in plaats van een echte regressie, terwijl een echte verschuiving in waarschijnlijkheid de binaire drempel misschien niet overschrijdt.
• Gebrek aan item-niveau striktheid: Hoewel statistische methoden bestaan voor geaggregeerde scores (bijv. betrouwbaarheidsintervallen), ontbreekt er een gestructureerd kader om echte verandering op item-niveau te onderscheiden van meetfout op het niveau van individuele vragen.

2. Methodologie

De studie past de Reliable Change Index (RCI) aan, een standaardinstrument in de klinische psychologie om te bepalen of de verandering in de score van een patiënt de meetfout overtreft, toe op de context van LLM-benchmarking.

• Experimenteel Ontwerp:

  • Dataset: 2.000 items uit de MMLU-Pro benchmark (500 items elk voor Natuurkunde, Recht, Psychologie en Economie).
  • Modelparen:
    1. Llama 3 (8B) vs. Llama 3.1 (8B): Een kleine update.
    2. Qwen 2.5 (7B) vs. Qwen 3 (8B): Een generatie-update.
  • Sampling-protocol: Elk item werd K=10 keer gegenereerd per model bij een temperatuur van T=0.7 met onafhankelijke conversatiecontexten. Dit creëert een verdeling van nauwkeurigheid ($p$) voor elk item in plaats van één enkel binair resultaat.
  • Hardware: Alle modellen draaiden in Q5_K_M-quantisatie op AMD-hardware.

• Statistisch Kader:

  1. Betrouwbaarheidsschatting ($r_{xx}$): Berekend via split-half betrouwbaarheid (Spearman-Brown gecorrigeerd) over de 10 steekproeven om de stabiliteit van de antwoordverdeling van het model te bepalen.
  2. Standaardfout van het Verschil ($S_{diff}$): Berekend als $\sqrt{SEM_{v1}^2 + SEM_{v2}^2}$, waarbij $SEM = SD(p) \times \sqrt{1-r_{xx}}$.
  3. Reliable Change Index (RCI):
     $$RCI(i) = \frac{p(i, v2) - p(i, v1)}{S_{diff}}$$
     • Betrouwbare Verbetering: $RCI > 1.96$($p < .05$).
     • Betrouwbare Verslechtering: $RCI < -1.96$.
     • Geen Betrouwbare Verandering: $|RCI| \le 1.96$.
  4. Uitsluitingscriteria: Items met vloer-/plafondeffecten (0% of 100% nauwkeurigheid in beide modellen) werden uitgesloten omdat ze geen stochastische verandering kunnen vertonen.

3. Belangrijkste Resultaten

A. Geaggregeerde versus Item-niveau Dynamiek

• Volledige Benchmark: Op de volledige set van 2.000 items toonde het merendeel van de items geen betrouwbare verandering (79% voor Llama, 72% voor Qwen). Dit wordt grotendeels gedreven door vloer-/plafond-items (triviale of onmogelijke vragen).
• Analyseerbare Subset: Onder items met intermediaire moeilijkheidsgraad (waar stochastische variatie bestaat), verschuift het patroon dramatisch naar bidirectionele churn:
  • Llama: 34% verbeterde, 28% verslechterde.
  • Qwen: 47% verbeterde, 39% verslechterde.
  • Effectgrootte: De mediaan absolute verandering ($|\Delta p|$) voor betrouwbaar veranderde items was groot: 0,50 voor Llama en 0,90 voor Qwen (wat 5–9 extra juiste antwoorden uit 10 steekproeven vertegenwoordigt).

B. Asymmetrie per Moeilijkheidsgraad (Regressie naar het Gemiddelde)

• Items met Lage Nauwkeurigheid: Overwegend verbeterd (bijv. 100% van de verslechterde items bij Llama waren van hoge nauwkeurigheid; 100% van de verbeterde items waren van lage nauwkeurigheid).
• Items met Hoge Nauwkeurigheid: Overwegend verslechterd.
• Dit suggereert een effect van "regressie naar het midden", waarbij items nabij de prestatievloer alleen omhoog kunnen gaan, en items nabij het plafond alleen omlaag kunnen gaan.

C. Domeinspecifieke Omkeringen

Geaggregeerde winsten maskeerden specifieke domeinregressies:

• Llama 3.1: Winst in Economie, Recht en Psychologie, maar verlies in Natuurkunde.
• Qwen 3: Winst in Economie, Natuurkunde en Psychologie, maar verlies in Recht.
• De specifieke domeinen die verslechterden, verschilden tussen model-families, wat wijst op gestructureerde, familiespecifieke trainingseffecten in plaats van willekeurige ruis.

D. Falen van Greedy (Single-Shot) Evaluatie

Het vergelijken van de RCI-resultaten met standaard greedy ($T=0$) single-shot evaluatie onthulde aanzienlijke gebreken in deze laatste:

• Valse Negatieven: Greedy-evaluatie miste 42% van de items die door RCI als betrouwbaar veranderd werden geïdentificeerd (waarschijnlijkheidsverschuivingen die de binaire drempel niet overschreden).
• Valse Positieven: Greedy-evaluatie markeerde 25% van de items als veranderd terwijl RCI ze als onveranderd classificeerde (ruisgedreven flips).

4. Belangrijkste Bijdragen

1. Methodologische Innovatie: Succesvolle toepassing van de Reliable Change Index (RCI) vanuit de klinische psychologie op LLM-evaluatie, waardoor een statistisch kader wordt geboden om signaal van ruis te onderscheiden op item-niveau.
2. Decompositie van Geaggregeerde Scores: Aangetoond dat geaggregeerde nauwkeurigheidswinsten vaak het netto residu van tegenstrijdige bewegingen zijn (grote verbeteringen die grote verslechteringen opheffen), in plaats van uniforme vooruitgang.
3. Kwantificering van Churn: Introductie van het concept "Churn Rate" (het aandeel items met betrouwbare verandering in welke richting dan ook) als een kritieke metriek naast geaggregeerde nauwkeurigheid.
4. Kritiek op Greedy Evaluatie: Empirisch bewijs geleverd dat single-shot binaire evaluatie ontoereikend is voor het detecteren van echte veranderingen in modelgedrag, met een aanbeveling voor $K \ge 3$ stochastische steekproeven als een laag-kostenvol alternatief.

5. Betekenis en Implicaties

• Voor Modelontwikkelaars: Geaggregeerde metrieken zijn onvolledig. Een modelupdate kan de prestaties op 40% van de taken verbeteren terwijl het deze op een andere 40% ernstig verslechtert, wat resulteert in een misleidende "netto winst". Ontwikkelaars moeten bidirectionele churn monitoren om te waarborgen dat updates geen catastrofale regressies in specifieke domeinen introduceren.
• Voor Evaluators: Het artikel pleit voor een verschuiving in rapportagestandaarden. Benchmarks moeten naast geaggregeerde nauwkeurigheid ook Churn Rates en Domeinspecifieke Omkeringen rapporteren.
• Voor het Vakgebied: Dit werk overbrugt de kloof tussen engineering (negatieve flips) en psychometrie (meettheorie), wat suggereert dat LLM-evaluatie dezelfde striktheid vereist met betrekking tot meetfout als menselijke psychologische testen.

Conclusie: Het artikel concludeert dat hoewel geaggregeerde nauwkeurigheidswinsten reëel zijn, ze vaak aanzienlijke instabiliteit verbergen. De "netto winst" is vaak een klein residu van grote, tegenstrijdige bewegingen op item-niveau. Om model-evolutie echt te begrijpen, moet de gemeenschap "voorbij het gemiddelde" gaan om de structuur van verandering binnen de model-familie te analyseren.