🤖 AI

When Mean CE Fails: Median CE Can Better Track Language Model Quality

Dit artikel toont aan dat de mediaan kruisentropie vaak beter presteert dan de standaard gemiddelde kruisentropie bij het volgen van de kwaliteit van taalmodellen in scenario's zoals synthetisch feitenleren en top-K-distillatie, omdat deze beter correleert met taakprestaties door zich te richten op de bulk van de verdeling in plaats van te worden beïnvloed door uitschieters in de staart.

Oorspronkelijke auteurs: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die het werk van een leerling beoordeelt. Meestal bereken je het "gemiddelde" cijfer om te bepalen hoe goed de leerling presteert. Als het gemiddelde cijfer stijgt, ga je ervan uit dat de leerling verbetert.

Dit artikel betoogt dat voor AI-taalmodellen het "gemiddelde" cijfer (genaamd Mean Cross-Entropy) een vreselijke leugenaar kan zijn. Soms gaat het gemiddelde omhoog (wat suggereert dat de AI verslechtert), terwijl de AI eigenlijk betere verhalen schrijft of vragen accurater beantwoordt.

Hier volgt een eenvoudige uiteenzetting van waarom dit gebeurt en wat de auteurs in plaats daarvan voorstellen, met behulp van enkele creatieve analogieën.

1. Het Probleem: Het "Gemiddelde" is Makkelijk Te Misleiden

In de wereld van AI meten we hoe goed een model is door te kijken naar zijn "verlies" (een score waarbij lager beter is). De standaardmanier om dit te doen, is het Gemiddelde (de mean) te nemen van alle fouten die het model maakt.

De Analogie: Het "Eén Slecht Appeltje" Effect
Stel je een mand met 100 appels voor.

99 appels zijn perfect.
1 appel is rot en stinkt vreselijk.

Als je de "gemiddelde versheid" van de mand berekent, trekt die ene rotte appel de hele score naar beneden. De mand ziet er slecht uit, terwijl 99% ervan perfect is.

Het artikel stelt vast dat AI-modellen zich vaak gedragen als deze mand. Tijdens het trainen wordt het model erg goed in het voorspellen van de "normale" woorden (de 99 perfecte appels). Maar het begint rare, hoge-fouten te maken bij een paar zeldzame, lastige woorden (de 1 rotte appel).

Het Gemiddelde ziet de rotte appel en zegt: "Het model wordt slechter!"
De Realiteit is dat het model eigenlijk beter wordt in de taak die het moet doen.

2. De Oplossing: De "Mediaan" is de Waarheidsspreker

In plaats van het gemiddelde, stellen de auteurs het gebruik van de Mediaan voor.

De Analogie: Het "Middelste Kind"
Als je alle appels van best naar slechtst op een rij zet, is de Mediaan degene precies in het midden.

In onze mand met 100 appels is de 50e appel perfect.
De rotte appel staat helemaal aan het einde van de rij.
De Mediaan geeft om die ene rotte appel niet op. Het vertelt je dat de "typische" appel in de mand vers is.

Het artikel toont aan dat wanneer ze in plaats van het Gemiddelde naar de Mediaan score kijken, dit perfect overeenkomt met hoe goed de AI daadwerkelijk presteert op taken (zoals het vertellen van een verhaal of feiten herinneren).

3. Twee Voorbeelden uit de Wereld uit het Artikel

De auteurs testten dit in twee verschillende scenario's:

Scenario A: De "Over-getrainde" Leerling (Qwen Model)

Wat er gebeurde: Ze leerden een AI een lijst met verzonnen feiten.
De Valstrik: Terwijl ze bleven trainen, werd de AI beter in de feiten, maar begon het verward te raken bij een paar zeer specifieke, rare zinsstructuren.
Het Resultaat: De Gemiddelde score ging omhoog (wat er slecht uitzag), maar de Mediaan bleef laag (wat er goed uitzag). De daadwerkelijke testscores (hoe goed het de feiten onthield) volgden de Mediaan, niet het Gemiddelde. Het Gemiddelde reageerde gewoon op die paar verwarrende zinnen.

Scenario B: De "Top-K" Distillatie (TinyStories)

Wat er gebeurde: Ze probeerden een kleine AI te leren een grote AI te kopiëren, maar ze vertelden de kleine AI om alleen aandacht te besteden aan de top 5 meest waarschijnlijke woorden die de grote AI zou kiezen (de rest negerend).
De Valstrik: Dit maakte de kleine AI zeer zelfverzekerd over veelvoorkomende woorden (geweldige Mediaan), maar vreselijk over zeldzame woorden (slecht Gemiddelde).
Het Resultaat: Toen mensen (of andere AI's die als beoordelaars optraden) de verhalen lazen, hielden ze van de verhalen van de "Top-5" leerling. Het was de beste verhalenverteller. Maar als je naar de Gemiddelde score keek, leek het op de slechtste leerling. De Mediaan score identificeerde het correct als de beste.

4. De "Concordantie" Check: Wanneer het Gemiddelde Te Vertrouwen

De auteurs introduceren een concept genaamd Concordantie. Denk hierbij aan een "teamovereenkomst" check.

Hoge Concordantie: Het Gemiddelde, de Mediaan en de "95e percentiel" (het worst-case scenario) zijn het eens over welk model het beste is. In dit geval is het Gemiddelde prima om te gebruiken.
Lage Concordantie: Het Gemiddelde zegt "Model A is het beste", maar de Mediaan zegt "Model B is het beste". Dit is een rode vlag! Dit betekent dat de vorm van de foutenverdeling is veranderd (zoals de mand met appels).

Het Advies van het Artikel:
Rapporteer niet alleen het gemiddelde cijfer. Rapporteer een kleine set scores:

Het Gemiddelde (de average).
De Mediaan (het typische geval).
De 95e Percentiel (de worst-case staart).

Als deze drie cijfers verschillende verhalen vertellen, weet je dat het "gemiddelde" tegen je liegt. Je moet vertrouwen op de Mediaan om het model te kiezen dat daadwerkelijk beter zal presteren op real-world taken.

Samenvatting

Mean CE (Gemiddelde): Kan bedrogen worden door een paar slechte fouten. Het is alsof je een hele klas beoordeelt op basis van één leerling die een moeilijk toets heeft gefaald.
Median CE (Mediaan): Negeert de uitschieters en vertelt je hoe de "typische" token het doet. Het volgt de real-world prestaties veel beter.
De Oplossing: Controleer altijd de "Middelste" score naast de "Gemiddelde" score. Als ze het niet eens zijn, is de "Middelste" score meestal degene die je moet vertrouwen bij het kiezen van het beste AI-model.

Technische Samenvatting: Wanneer de Gemiddelde CE Faalt: De Mediaan-CE Kan Taalmodelkwaliteit Beter Volgen

Probleemstelling

De gemiddelde kruisentropie (CE), gelijk aan perplexiteit, is de standaardvalidatiemeta voor taalmodellen. Deze faalt echter vaak om de prestaties van downstream-taken te volgen, met name wanneer de empirische per-token-CE-verdeling een "herstructurering" ondergaat. In dergelijke scenario's bewegen het bulk (typische tokens) en de staart (tokens met hoog verlies) van de verdeling in tegenovergestelde richtingen. Omdat het gemiddelde een op massa gebaseerde statistiek is, kan het worden gedomineerd door een zware staart van tokens met hoog verlies, waardoor verbeteringen in het bulk worden gemaskeerd of de werkelijke bruikbaarheid van het model voor specifieke taken verkeerd wordt weergegeven. Het artikel onderzoekt wanneer de gemiddelde CE faalt in het voorspellen van modelkwaliteit en stelt het gebruik van percentielgebaseerde samenvattingen (specifiek de mediaan) voor als een robuustere diagnose.

Methodologie

De auteurs analyseren de interactie tussen gemiddelde CE en percentiel-CE-samenvattingen (mediaan, p95) in twee verschillende scenario's:

Impliciete Herstructurering (Supervised Fine-Tuning):
- Opzet: Fine-tuning van Qwen2.5-1.5B op synthetische feitenleerdata (120 nieuwe feiten, 2.400 trainingsparen) met behulp van LoRA.
- Analyse: De auteurs volgen gemiddelde CE, mediaan-CE en p95-CE tegenover greedy substring-match-nauwkeurigheid en sampling-gebaseerde pass@1-nauwkeurigheid over 12 epoch.
- Meta: Ze introduceren "concordantie" ( $\pi(S)$ ), een maat voor hoe consistent een set CE-samenvattingen ( $S$ ) modelcheckpoints ten opzichte van elkaar rangschikt.
Bewuste Herstructurering (Top-K Distillatie):
- Opzet: Kennisdistillatie op het TinyStories-corpus met een bevroren leraar-model. Studenten worden getraind om de top- $K$ token-kansen van de leraar (hernormaliseerd) te benaderen, waarbij $K$ varieert van het volledige vocabulaire tot 5.
- Analyse: De studie vergelijkt gedistilleerde modellen (variërend in $K$ ) met een controlegroep van modellen die van scratch zijn getraind met verschillende groottes en leersnelheden.
- Evaluatie: Modelkwaliteit wordt beoordeeld via een LLM-as-a-judge (Claude Sonnet 4) die continuaties scoort op coherentie, grammatica, creativiteit en algehele kwaliteit.
- Distributieanalyse: De auteurs onderzoeken hoe de per-token-CE-verdeling verschuift (massaherspreiding) naarmate $K$ afneemt, met name met aandacht voor de dichtheid in het bulk versus de staart.

Belangrijkste Bijdragen en Resultaten

1. Identificatie van Drie Regimes

Het artikel categoriseert trainingsdynamiek in drie regimes op basis van de concordantie van CE-samenvattingen:

Directioneel Uniforme Verbetering: Hoge concordantie; gemiddelde en percentielen zijn het eens over modelselectie.
Bewuste Herstructurering: Lage concordantie veroorzaakt door trainingsdoelen (bijv. Top-K distillatie).
Impliciete Herstructurering: Lage concordantie veroorzaakt door trainingsdynamiek (bijv. SFT).

2. Qwen Fine-Tuning Case Study (Impliciete Herstructurering)

Divergentie: Na een initiële leerfase (epoch 1–5) stijgt de gemiddelde CE aanzienlijk (met ~60%), terwijl de vastgehouden feitenherkenningsnauwkeurigheid dicht bij zijn piek blijft.
Correlatie: Mediaan-CE correleert sterk met foutpercentages in nauwkeurigheid ( $r \ge +0,84$ ), terwijl gemiddelde CE een zwakke correlatie toont ( $r \approx +0,12$ tot $+0,27$ ).
Mechanisme: Het bulk van de verdeling verzadigt snel (mediaan-CE daalt tot de vloer), terwijl de bovenste staart uitrekt (p95 stijgt). Het gemiddelde volgt de staart en faalt in het weerspiegelen van de stabiele prestaties van typische tokens.

3. Top-K Distillatie Case Study (Bewuste Herstructurering)

Het "Kruisings"-Fenomeen: Naarmate $K$ $K$ afneemt, polariseert de verliesverdeling van de student: massa verschuift zowel naar het extreme lage-verlies-bulk als naar de extreme hoge-verliesstaart.
- Resultaat: Een kleinere $K$ levert een lagere mediaan-CE op (betere bulkprestaties) maar een hogere gemiddelde CE (slechtere staartprestaties).
- Prestaties: De Top-5-student behaalt de hoogste LLM-judge-score (2,06) ondanks de slechtste gemiddelde CE (1,708). Deze kruist zelfs onder de mediaan-CE van de leraar tijdens de training, ondanks een hogere gemiddelde CE dan de leraar.
Concordantie-instorting: Binnen de gedistilleerde familie verliest gemiddelde CE elke rangkracht tegenover de judge-score ( $\rho = -0,186$ ), terwijl mediaan-CE een sterke correlatie behoudt ( $\rho = -0,911$ ). Omgekeerd zijn gemiddelde en mediaan-CE in de niet-gedistilleerde controlegroep bijna perfect het eens ( $\pi \approx 0,96$ ).
Robuustheid: Deze bevindingen repliceren kwalitatief op lineaire attentie-architecturen.

4. Diagnostische Nut

Het artikel toont aan dat de divergentie tussen gemiddelde en mediaan-CE dient als een goedkope diagnose. Wanneer de concordantie laag is, wordt de keuze van de samenvattingsstatistiek consequent voor modelselectie. In de distillatie-experimenten stemt de LLM-judge (die de generatiekwaliteit vertegenwoordigt) overeen met de bulk-percentielen, niet met het gemiddelde.

Betekenis en Claims

Het artikel beweert dat gemiddelde CE een onvolledige beschrijver is van modelkwaliteit in veelvoorkomende trainingsscenario's zoals SFT en kennisdistillatie. De betrouwbaarheid ervan als proxy voor taakprestaties hangt af van de evolutie van de empirische verliesverdeling.

Praktische Aanbeveling: De auteurs raden aan om een kleine set percentiel-CE-samenvattingen (specifiek gemiddelde, mediaan en p95) naast het gemiddelde te rapporteren.
Diagnostisch Hulpmiddel: Het monitoren van de concordantie tussen deze samenvattingen stelt practitioners in staat om verdelingsherstructurering te detecteren.
- Hoge Concordantie: Gemiddelde CE is voldoende voor modelselectie.
- Lage Concordantie: Geeft aan dat de doel-evaluatie (bijv. generatiekwaliteit) mogelijk gevoeliger is voor het bulk dan voor de staart (of omgekeerd), wat een meer bewuste keuze van meta vereist.
Beperkingen: De claims zijn gebaseerd op relatieve modelselectie binnen specifieke datasets (TinyStories, synthetische feiten) en schalen tot 1,5 miljard parameters. Het artikel claimt niet dat gemiddelde CE verouderd is voor likelihood-schatting of kalibratie van zeldzame tokens, maar wel dat het misleidend kan zijn voor taakspecifieke prestaties wanneer de verliesverdeling herstructureert.