🤖 AI

When Mean CE Fails: Median CE Can Better Track Language Model Quality

Dieser Artikel zeigt, dass die mediane Kreuzentropie die Standard-Kreuzentropie bei der Verfolgung der Qualität von Sprachmodellen in Szenarien wie dem synthetischen Faktenlernen und der Top-K-Distillation häufig übertrifft, da sie durch den Fokus auf den Hauptteil der Verteilung statt durch Verzerrung durch Ausreißer im Schwanz besser mit der Aufgabenleistung korreliert.

Ursprüngliche Autoren: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der einen Aufsatz eines Schülers bewertet. Normalerweise berechnen Sie die „durchschnittliche" Note, um zu entscheiden, wie gut der Schüler abschneidet. Wenn die Durchschnittsnote steigt, gehen Sie davon aus, dass der Schüler besser wird.

Dieser Artikel argumentiert, dass für KI-Sprachmodelle die „durchschnittliche" Note (genannt Mean Cross-Entropy) ein schrecklicher Lügner sein kann. Manchmal steigt der Durchschnitt an (was darauf hindeutet, dass die KI schlechter wird), obwohl die KI tatsächlich bessere Geschichten schreibt oder Fragen genauer beantwortet.

Hier ist die einfache Aufschlüsselung, warum dies geschieht und was die Autoren stattdessen vorschlagen, unter Verwendung einiger kreativer Analogien.

1. Das Problem: Der „Durchschnitt" lässt sich leicht täuschen

In der Welt der KI messen wir, wie gut ein Modell ist, indem wir seinen „Verlust" betrachten (eine Punktzahl, bei der niedriger besser ist). Die Standardmethode besteht darin, das Mittel (den Durchschnitt) aller Fehler zu nehmen, die das Modell macht.

Die Analogie: Der „Ein fauler Apfel"-Effekt
Stellen Sie sich einen Korb mit 100 Äpfeln vor.

99 Äpfel sind perfekt.
1 Apfel ist faul und riecht fürchterlich.

Wenn Sie die „durchschnittliche Frische" des Korbs berechnen, zieht dieser eine faule Apfel die gesamte Punktzahl nach unten. Der Korb sieht schlecht aus, obwohl 99 % davon perfekt sind.

Der Artikel stellt fest, dass KI-Modelle oft wie dieser Korb wirken. Während des Trainings wird das Modell sehr gut darin, die „normalen" Wörter vorherzusagen (die 99 perfekten Äpfel). Aber es beginnt, seltsame, fehleranfällige Fehler bei einigen wenigen seltenen, kniffligen Wörtern zu machen (der 1 faule Apfel).

Das Mittel sieht den faulen Apfel und sagt: „Das Modell wird schlechter!"
Die Realität ist, dass das Modell tatsächlich besser darin wird, die Aufgabe zu erledigen, für die es gedacht ist.

2. Die Lösung: Der „Median" ist der Wahrheitsfinder

Anstatt des Durchschnitts schlagen die Autoren die Verwendung des Medians vor.

Die Analogie: Das „Mittelkind"
Wenn Sie alle Äpfel vom besten zum schlechtesten aufreihen, ist der Median derjenige genau in der Mitte.

In unserem Korb mit 100 Äpfeln ist der 50. Apfel perfekt.
Der faule Apfel steht ganz am Ende der Reihe.
Der Median kümmert sich nicht um diesen einen faulen Apfel. Er sagt Ihnen, dass der „typische" Apfel im Korb frisch ist.

Der Artikel zeigt, dass, wenn sie stattdessen die Median-Punktzahl betrachten, diese perfekt mit der tatsächlichen Leistung der KI bei Aufgaben (wie das Erzählen einer Geschichte oder das Abrufen von Fakten) übereinstimmt.

3. Zwei reale Beispiele aus dem Artikel

Die Autoren testeten dies in zwei verschiedenen Szenarien:

Szenario A: Der „Übertrainierte" Schüler (Qwen-Modell)

Was passierte: Sie lehrten einer KI eine Liste erfundener Fakten.
Die Falle: Während sie weiter trainierten, wurde die KI besser in den Fakten, begann aber, bei einigen sehr spezifischen, seltsamen Satzstrukturen verwirrt zu werden.
Das Ergebnis: Die Mean-Punktzahl stieg an (schlecht aussehend), aber der Median blieb niedrig (gut aussehend). Die tatsächlichen Testergebnisse (wie gut sie sich an die Fakten erinnerte) folgten dem Median, nicht dem Mittelwert. Das Mittelwert reagierte nur auf diese wenigen verwirrenden Sätze.

Szenario B: Die „Top-K"-Distillation (TinyStories)

Was passierte: Sie versuchten, eine kleine KI zu lehren, eine große KI zu kopieren, aber sie sagten der kleinen KI, sie solle nur auf die top 5 wahrscheinlichsten Wörter achten, die die große KI wählen würde (den Rest ignorierend).
Die Falle: Dies machte die kleine KI bei gemeinsamen Wörtern sehr zuversichtlich (großartiger Median), aber bei seltenen Wörtern schrecklich (schlechter Mittelwert).
Das Ergebnis: Als Menschen (oder andere AIs als Richter) die Geschichten lasen, liebten sie die Geschichten des „Top-5"-Schülers. Es war der beste Geschichtenerzähler. Aber wenn man sich die Mean-Punktzahl ansah, sah es aus wie der schlechteste Schüler. Die Median-Punktzahl identifizierte ihn korrekt als den besten.

4. Der „Concordance"-Check: Wann man dem Durchschnitt vertrauen sollte

Die Autoren führen ein Konzept namens Concordance ein. Denken Sie daran als einen „Team-Einigungs"-Check.

Hohe Concordance: Mittelwert, Median und das „95. Perzentil" (das Worst-Case-Szenario) stimmen alle darin überein, welches das beste Modell ist. In diesem Fall ist es in Ordnung, den Mittelwert zu verwenden.
Niedrige Concordance: Der Mittelwert sagt „Modell A ist das beste", aber der Median sagt „Modell B ist das beste". Das ist eine rote Flagge! Dies bedeutet, dass sich die Form der Fehlerverteilung geändert hat (wie der Korb mit Äpfeln).

Die Ratschläge des Artikels:
Berichten Sie nicht nur die Durchschnittspunktzahl. Berichten Sie eine kleine Menge von Punktzahlen:

Das Mittel (der Durchschnitt).
Der Median (der typische Fall).
Das 95. Perzentil (der Worst-Case-Tail).

Wenn diese drei Zahlen unterschiedliche Geschichten erzählen, wissen Sie, dass der „Durchschnitt" Sie anlügt. Sie sollten dem Median vertrauen, um das Modell auszuwählen, das bei realen Aufgaben tatsächlich besser abschneiden wird.

Zusammenfassung

Mean CE (Durchschnitt): Kann durch ein paar schlechte Fehler getäuscht werden. Es ist wie der Versuch, eine ganze Klasse basierend auf einem Schüler zu beurteilen, der einen schwierigen Test nicht bestanden hat.
Median CE (Mitte): Ignoriert Ausreißer und sagt Ihnen, wie es dem „typischen" Token geht. Es verfolgt die reale Leistung viel besser.
Die Lösung: Überprüfen Sie immer die „Mitte"-Punktzahl zusammen mit der „Durchschnitts"-Punktzahl. Wenn sie nicht übereinstimmen, ist die „Mitte"-Punktzahl normalerweise diejenige, der Sie vertrauen sollten, um das beste KI-Modell auszuwählen.

Technische Zusammenfassung: Wenn die mittlere Kreuzentropie versagt: Die mediane Kreuzentropie kann die Qualität von Sprachmodellen besser verfolgen

Problemstellung

Die mittlere Kreuzentropie (CE), äquivalent zur Perplexität, ist das Standardvalidierungsmetrik für Sprachmodelle. Sie versagt jedoch häufig darin, die Leistung bei nachgelagerten Aufgaben zu verfolgen, insbesondere wenn sich die empirische pro-Token-CE-Verteilung „umgestaltet". In solchen Szenarien bewegen sich der Hauptteil (typische Token) und der Schwanz (Token mit hohem Verlust) der Verteilung in entgegengesetzte Richtungen. Da der Mittelwert eine massengewichtete Statistik ist, kann er von einem schweren Schwanz hochverlustiger Token dominiert werden, was Verbesserungen im Hauptteil verschleiert oder die tatsächliche Nützlichkeit des Modells für spezifische Aufgaben verzerrt darstellt. Die Arbeit untersucht, wann die mittlere CE versagt, die Modellqualität vorherzusagen, und schlägt die Verwendung von percentilbasierten Zusammenfassungen (insbesondere des Medians) als robusteres Diagnosewerkzeug vor.

Methodik

Die Autoren analysieren die Interaktion zwischen mittlerer CE und percentilbasierten CE-Zusammenfassungen (Median, p95) in zwei unterschiedlichen Szenarien:

Implizite Umgestaltung (Supervised Fine-Tuning):
- Aufbau: Fine-Tuning von Qwen2.5-1.5B auf synthetischen Daten zum Faktenlernen (120 neue Fakten, 2.400 Trainingspaare) unter Verwendung von LoRA.
- Analyse: Die Autoren verfolgen mittlere CE, mediane CE und p95 CE im Vergleich zur Greedy-Substring-Match-Genauigkeit und zur sampling-basierten pass@1-Genauigkeit über 12 Epochen.
- Metrik: Sie führen „Konkordanz" ( $\pi(S)$ ) ein, ein Maß dafür, wie konsistent eine Menge von CE-Zusammenfassungen ( $S$ ) Modell-Checkpoints relativ zueinander rangiert.
Bewusste Umgestaltung (Top-K-Distillation):
- Aufbau: Wissensdistillation auf dem TinyStories-Korpus unter Verwendung eines eingefrorenen Lehrermodells. Schülermodelle werden trainiert, die Top- $K$ -Token-Wahrscheinlichkeiten des Lehrers (neu normalisiert) anzupassen, wobei $K$ von der gesamten Vokabulargröße bis hinunter zu 5 variiert wird.
- Analyse: Die Studie vergleicht distillierte Modelle (mit variierendem $K$ ) mit einer Kontrollfamilie von Modellen, die von Grund auf mit unterschiedlichen Größen und Lernraten trainiert wurden.
- Evaluation: Die Modellqualität wird mittels eines LLM-as-a-judge (Claude Sonnet 4) bewertet, der Fortsetzungen hinsichtlich Kohärenz, Grammatik, Kreativität und Gesamtqualität bewertet.
- Verteilungsanalyse: Die Autoren untersuchen, wie sich die pro-Token-CE-Verteilung verschiebt (Massenverteilung), wenn $K$ abnimmt, wobei sie speziell die Dichte im Hauptteil im Vergleich zum Schwanz betrachten.

Wichtige Beiträge und Ergebnisse

1. Identifizierung von drei Regimen

Die Arbeit kategorisiert die Trainingsdynamik in drei Regime basierend auf der Konkordanz der CE-Zusammenfassungen:

Richtungsuniforme Verbesserung: Hohe Konkordanz; Mittelwert und Percentile stimmen bei der Modellauswahl überein.
Bewusste Umgestaltung: Geringe Konkordanz, ausgelöst durch Trainingsziele (z. B. Top-K-Distillation).
Implizite Umgestaltung: Geringe Konkordanz, ausgelöst durch Trainingsdynamik (z. B. SFT).

2. Fallstudie Qwen Fine-Tuning (Implizite Umgestaltung)

Divergenz: Nach einer initialen Lernphase (Epochen 1–5) steigt die mittlere CE erheblich an (um ca. 60 %), während die zurückgehaltene Fakten-Erinnerungs-Genauigkeit nahe ihrem Peak bleibt.
Korrelation: Die mediane CE korreliert stark mit den Genauigkeits-Fehlerraten ( $r \ge +0,84$ ), whereas die mittlere CE eine schwache Korrelation zeigt ( $r \approx +0,12$ bis $+0,27$ ).
Mechanismus: Der Hauptteil der Verteilung sättigt sich schnell ab (die mediane CE fällt auf das Minimum), während sich der obere Schwanz ausdehnt (p95 steigt). Der Mittelwert folgt dem Schwanz und spiegelt die stabile Leistung typischer Token nicht wider.

3. Fallstudie Top-K-Distillation (Bewusste Umgestaltung)

Das „Kreuzungs"-Phänomen: Wenn $K$ $K$ abnimmt, polarisiert sich die Verlustverteilung des Schülers: Die Masse verschiebt sich sowohl in den extremen niedrigverlustigen Hauptteil als auch in den extremen hochverlustigen Schwanz.
- Ergebnis: Ein kleineres $K$ ergibt eine niedrigere mediane CE (bessere Hauptteil-Leistung), aber eine höhere mittlere CE (schlechtere Schwanz-Leistung).
- Leistung: Der Top-5-Schüler erzielt die höchste LLM-Judge-Bewertung (2,06), obwohl er die schlechteste mittlere CE (1,708) aufweist. Er kreuzt sogar während des Trainings unter die mediane CE des Lehrers, obwohl er eine höhere mittlere CE als der Lehrer hat.
Zusammenbruch der Konkordanz: Innerhalb der distillierten Familie verliert die mittlere CE jegliche Rangordnungskraft gegenüber der Judge-Bewertung ( $\rho = -0,186$ ), während die mediane CE eine starke Korrelation beibehält ( $\rho = -0,911$ ). Umgekehrt stimmen in der nicht-distillierten Kontrollfamilie mittlere und mediane CE fast perfekt überein ( $\pi \approx 0,96$ ).
Robustheit: Diese Erkenntnisse replizieren sich qualitativ bei linearen Aufmerksamkeitsarchitekturen.

4. Diagnostischer Nutzen

Die Arbeit zeigt, dass die Divergenz zwischen mittlerer und medianer CE als kostengünstiges Diagnosewerkzeug dient. Wenn die Konkordanz gering ist, wird die Wahl der Zusammenfassungsstatistik für die Modellauswahl entscheidend. In den Distillationsexperimenten stimmt der LLM-Judge (der die Generierungsqualität repräsentiert) mit den Hauptteil-Percentilen überein, nicht mit dem Mittelwert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die mittlere CE in gängigen Trainingsszenarien wie SFT und Wissensdistillation ein unvollständiger Deskriptor der Modellqualität ist. Ihre Zuverlässigkeit als Proxy für die Aufgabenleistung hängt von der Entwicklung der empirischen Verlustverteilung ab.

Praktische Empfehlung: Die Autoren empfehlen, eine kleine Menge an percentilbasierten CE-Zusammenfassungen (insbesondere Mittelwert, Median und p95) zusammen mit dem Mittelwert zu berichten.
Diagnosewerkzeug: Die Überwachung der Konkordanz zwischen diesen Zusammenfassungen ermöglicht es Praktikern, eine Umgestaltung der Verteilung zu erkennen.
- Hohe Konkordanz: Die mittlere CE reicht für die Modellauswahl aus.
- Geringe Konkordanz: Zeigt an, dass die Zielbewertung (z. B. Generierungsqualität) möglicherweise empfindlich auf den Hauptteil und nicht auf den Schwanz reagiert (oder umgekehrt), was eine bewusstere Wahl der Metrik erfordert.
Einschränkungen: Die Behauptungen basieren auf der relativen Modellauswahl innerhalb spezifischer Datensätze (TinyStories, synthetische Fakten) und Skalen bis zu 1,5 Milliarden Parametern. Die Arbeit behauptet nicht, dass die mittlere CE für Likelihood-Schätzung oder Kalibrierung seltener Token obsolet ist, sondern dass sie für aufgabenbezogene Leistungen irreführend sein kann, wenn sich die Verlustverteilung umgestaltet.