🤖 machine learning

The Growing Pains of Frontier Models: When Leaderboards Stop Separating and What to Measure Next

Dieser Beitrag stellt einen diagnostischen Rahmen vor, der die Leistung von Frontier-Modellen in Populationskopplungstrends und pro-Release-Residuen zerlegt, um aufzuzeigen, wie sich Codierungs- und Schlussfolgerungsfähigkeiten gegenseitig beeinflussen, je nach Labor unterscheiden und im Zeitverlauf entwickeln, und liefert damit letztlich ein strategisches Handbuch für die Auswahl der nächsten aussagekräftigsten Benchmarks, sobald die aktuellen Leaderboards gesättigt sind.

Ursprüngliche Autoren: Adil Amin

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adil Amin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt der KI-Modelle als eine riesige, hochriskante Sportliga vor. Jedes Mal, wenn ein neuer Spieler (ein Modell) veröffentlicht wird, richten Medien und Fans ihren Blick auf zwei Hauptstatistiken: Wie gut programmieren sie? (wie der Schlaggerdurchschnitt eines Spielers) und Wie gut können sie schlussfolgern? (wie ihr strategischer IQ).

Traditionell betrachten wir diese Statistiken getrennt voneinander. „Spieler A hat einen hohen Schlaggerdurchschnitt! Spieler B hat einen hohen IQ!" Doch dieses Papier argumentiert, dass eine isolierte Betrachtung die wahre Geschichte verfehlt. Der Autor, Adil Amin, schlägt vor, dass die wichtigste Frage nicht „Wer gewinnt?" lautet, sondern vielmehr: „Wie wirkt sich eine Verbesserung im Programmieren auf ihre Fähigkeit zum Schlussfolgern aus?"

Hier ist die Aufschlüsselung der Erkenntnisse des Papiers unter Verwendung einfacher Analogien:

1. Die Entdeckung der „Teamchemie"

Das Papier analysierte 34 verschiedene KI-Modelle aus 10 verschiedenen Laboren (wie Google, OpenAI, Anthropic usw.). Sie entdeckten einen überraschenden Trend: Programmieren und Schlussfolgern sind beste Freunde.

Die Erkenntnis: Wenn ein Modell besser im Programmieren wird, wird es fast immer auch besser im Schlussfolgern. Sie „kooperieren".
Die Analogie: Denken Sie an einen Fitnessstudio-Besucher. Normalerweise, wenn Sie beim Gewichtheben stärker werden, werden Sie auch besser im Laufen. Sie müssen sich nicht für eines entscheiden; die Verbesserung des einen hilft dem anderen. Das Papier nennt dies kooperative Kopplung.

2. Der „Fingerabdruck" (das h-Feld)

Obwohl sie sich gegenseitig helfen, hat jedes Labor einen einzigartigen „Stil" oder „Fingerabdruck". Einige Labore trainieren ihre Modelle zu Programmiermaschinen, während andere sich darauf konzentrieren, sie zu superklugen Schlussfolgerern zu machen.

Das Werkzeug: Der Autor entwickelte einen einfachen Score namens h-Feld. Denken Sie daran als einen „Abweichungsmesser".
- Wenn ein Modell genau auf der Durchschnittslinie liegt, ist es „ausgewogen".
- Wenn der Messer negativ ausschlägt, ist das Modell ein Programmierspezialist (großartig im Code, vielleicht etwas schwächer im Schlussfolgern im Vergleich zum Trend).
- Wenn der Messer positiv ausschlägt, ist das Modell ein Schlussfolgerungsspezialist (superklug, vielleicht etwas weniger auf Code fokussiert).
Das Drama: Das Papier zeigt, dass Labore nicht statisch sind.
- DeepSeek war früher ein Schlussfolgerungs-Genie, wandte sich dann jedoch plötzlich zu einem Programmierspezialisten. Es ist wie ein Basketballteam, das früher für seine Verteidigung berühmt war und plötzlich beschloss, nur noch Offensiv zu spielen.
- Anthropic ist wie ein Pendel. Sie schwingen stark in Richtung Programmieren, dann zurück zum Schlussfolgern, dann wieder zurück. Sie „oszillieren".
- Google ist die ruhige Hand. Sie bauen konsistent Modelle, die etwas besser im Schlussfolgern sind als der Durchschnitt, Release für Release.

3. Der „Druck" (Sättigung)

Hier kommt der knifflige Teil: Man kann nicht ewig in allem besser werden.

Das Problem: Die Statistik „Programmieren" (SWE-bench) stößt an eine Decke. Die Top-5-Programmiermodelle sind sich nun so ähnlich, dass man sie kaum noch unterscheiden kann. Es ist wie ein Rennen, bei dem die Top-5-Läufer alle innerhalb von 0,01 Sekunden voneinander ins Ziel kommen. Die Statistik hat ihre Fähigkeit verloren, Gewinner von Verlierern zu trennen.
Die Lösung: Wenn eine Statistik nicht mehr funktioniert, wechselt das „Spiel" zu einer neuen Statistik. Das Papier sagt voraus, dass, während „Programmieren" feststeckt, eine neue Statistik namens HLE (Humanity's Last Exam, ein sehr schwieriger Test) und Instruktionsbefolgung zu den neuen Wegen werden, um Modelle zu unterscheiden.
Die Analogie: Stellen Sie sich ein Videospiel vor, bei dem die Statistik „Geschwindigkeit" früher das Einzige war, das zählte. Aber jetzt sind alle so schnell, dass Geschwindigkeit keine Rolle mehr spielt. Die Spieledesigner müssen eine neue Statistik einführen, wie etwa „Magiekraft", um zu entscheiden, wer das nächste Level gewinnt.

4. Die „kaskadierenden" Übergänge

Das Papier schlägt vor, dass die KI-Entwicklung in „Wellen" oder „Kaskaden" stattfindet.

Welle 1: Bei kleinen Größen können Programmieren und Schlussfolgern sich gegenseitig bekämpfen (wenn man in dem einen besser wird, wird man im anderen schlechter).
Welle 2: Wenn Modelle größer werden (etwa 30–72 Milliarden Parameter), beginnen sie plötzlich wieder, sich gegenseitig zu helfen.
Welle 3 (Aktuelle Grenze): Wir befinden uns nun an dem Punkt, an dem die alten Statistiken (Programmieren) voll sind und neue Statistiken (Schlussfolgern/Komplexe Prüfungen) die Führung übernehmen.

5. Das „Spielbuch" für die Zukunft

Der Autor gibt einen dreistufigen Leitfaden für alle, die diese Modelle beobachten:

Lokalisieren: Betrachten Sie die beiden Scores (Programmieren und Schlussfolgern). Ist Ihr Modell ein Spezialist oder ausgewogen?
Diagnostizieren: Hat das Modell plötzlich seine Persönlichkeit geändert? (Ist es vom Schlussfolgern zum Programmieren gewechselt?)
Rotieren: Wenn die aktuellen Statistiken zu ähnlich sind, um sie zu unterscheiden (gesättigt), hören Sie auf, sie zu betrachten, und beginnen Sie, den nächsten schwierigen Test zu messen (wie HLE oder Instruktionsbefolgung).

Zusammenfassung

Das Papier argumentiert, dass wir aufhören müssen, nur auf eine Rangliste zu schauen und zu fragen „Wer ist Nummer 1?". Stattdessen sollten wir die Beziehung zwischen den Fähigkeiten betrachten.

Gute Nachricht: Programmieren und Schlussfolgern helfen sich normalerweise gegenseitig.
Schlechte Nachricht: Die Statistik „Programmieren" läuft aus, um weiter zu wachsen.
Was kommt als Nächstes: Die Grenze verschiebt sich. Die nächsten großen Durchbrüche werden nicht davon abhängen, wer am besten programmiert, sondern wer die komplexesten, menschlich wirkenden Schlussfolgerungsaufgaben bewältigen kann.

Der Autor hat sogar ein Live-Dashboard (ein digitales Werkzeug) erstellt, bei dem Sie zwei Scores eingeben können und sofort sehen, ob ein Modell ein „Programmierspezialist", ein „Schlussfolgerungsspezialist" ist oder einfach nur dem Trend folgt.

Technische Zusammenfassung: Die wachsenden Schmerzen von Frontier-Modellen

Problemstellung

Die aktuelle Evaluierung von Frontier-Modellen stützt sich auf unabhängige Leaderboards, die Modelle nach spezifischen Achsen rangieren (z. B. SWE-bench für Programmierung, GPQA Diamond für logisches Schlussfolgern), jedoch versagen sie darin aufzuzeigen, wie sich Fähigkeiten über Releases hinweg gegenseitig beeinflussen. Die Community fragt typischerweise, ob ein Modell gut programmiert oder gut logisch schlussfolgert, untersucht jedoch selten, ob die Verbesserung einer Fähigkeit die andere stärkt oder untergräbt. An der Frontier, wo Modelle von verschiedenen Laboren in rascher Folge veröffentlicht werden, liefert diese Interaktion – die Kopplung zwischen Fähigkeiten – ein aussagekräftigeres Signal als isolierte Scores. Der vorliegende Beitrag adressiert die Notwendigkeit zu diagnostizieren, ob Fähigkeiten kooperieren oder sich gegenseitig einschränken, wie sich diese Kopplung je nach Labor und im Zeitverlauf verändert und wie man erkennt, wenn Benchmark-Achsen gesättigt sind und eine Rotation erfordern.

Methodik

Die Autoren schlagen einen diagnostischen Rahmen vor, der auf gepaarten Benchmark-Scores aus öffentlichen Modellkarten und verifizierten Leaderboards basiert. Die Methodik stützt sich auf drei Kerngrößen, die aus der Beziehung zwischen zwei Achsen abgeleitet werden: SWE-bench Verified (autonome Programmierung) und GPQA Diamond (wissenschaftliches Schlussfolgern auf Hochschulniveau).

Populationskopplung ( $r$ ): Der Pearson-Korrelationskoeffizient, berechnet über ein Panel von Modellen. Ein positives $r$ zeigt eine kooperative Verstärkung zwischen Fähigkeiten an, während ein negatives $r$ einen antagonistischen Trade-off anzeigt.
Das $h$ -Feld (Lab-spezifischer Residualwert): Für ein gegebenes Modell $i$ $i$ ist das $h$ $h$ -Feld der vorzeichenbehaftete Residualwert von der Populationsregressionsgeraden ( $\hat{B}_2 = \beta_1 B_1 + \beta_0$ $\hat{B}_{2} = β_{1} B_{1} + β_{0}$ ).
- $h_i = B_{2,i} - (\beta_1 B_{1,i} + \beta_0)$
- Ein positives $h$ zeigt eine schlussfolgerungsreiche Leistung im Verhältnis zum Trend Programmierung-Schlussfolgern an; ein negatives $h$ zeigt eine programmierungsreiche Leistung an.
- Der mittlere $h$ -Wert pro Labor ( $\bar{h}_{lab}$ ) fasst die charakteristische Abweichung eines Labors vom Populationstrend zusammen.
Phasenklassifizierung: Modelle werden basierend auf ihrem $h$ $h$ -Feld-Wert relativ zur Regressionsgeraden in drei Regime klassifiziert:
- Kooperativ: $|h| \le 10$ Prozentpunkte (pp).
- Programmierungsspezialisten-Ausreißer: $h < -10$ pp.
- Schlussfolgerungsspezialist: $h > +10$ pp.
Sättigungsverhältnis ( $\sigma$ ): Definiert als das Verhältnis der Streuung (Max-Min) einer alten Benchmark-Achse zu einer neuen Kandidaten-Achse unter den Top-Modellen. Ein Verhältnis $\sigma < 0,2$ signalisiert, dass die alte Achse ihre Diskriminierungskraft verloren hat und eine Rotation zu einer neuen Achse erforderlich ist.

Der Datensatz umfasst 34 Frontier-Modelle von 10 Laboren (darunter Anthropic, OpenAI, Google, DeepSeek usw.) vom Juni 2024 bis März 2026. Die Analyse verwendet einen verifizierten Kernsubset ( $n=23$ ) und einen erweiterten Satz ( $n=34$ ) unter Anwendung einer Cross-Validierung mit einem Labor als Testset (leave-one-lab-out), um die Generalisierbarkeit zu testen.

Hauptergebnisse

1. Kooperative Kopplung an der Frontier

Über das gesamte Panel von 34 Modellen hinweg zeigen SWE-bench und GPQA Diamond eine starke positive Kopplung ( $r = +0,72, p < 10^{-6}$ ). Diese kooperative Struktur persistiert über alle getesteten Teilmengen hinweg und ist robust gegenüber Heterogenität in Architekturen und Trainingspipelines. Das Signal ist nur messbar, wenn beide Benchmarks eine ausreichende dynamische Reichweite aufweisen (SWE-Scores $\ge 40$ ), was ab den Releases von 2025 verfügbar wurde.

2. Laborspezifische Diagnostik und Trajektorien

Während die Fähigkeiten global kooperieren, variiert das Muster der Kooperation je nach Labor signifikant, quantifiziert durch das $h$ -Feld und die Kopplungssteigungen:

Google: Beibehaltung eines konsistenten schlussfolgerungsreichen Schwerpunkts ( $\bar{h} \approx +5,5$ ) mit einer hohen Kopplungssteigung (1,15), was eine effiziente Umwandlung von Programmierungsgewinnen in Schlussfolgerungsgewinne anzeigt.
DeepSeek: Zeigt eine dramatische Umkehrung, die über vier Releases von schlussfolgerungsreich ( $h = +11,2$ ) zu programmierungspriorisierend ( $h = -4,7$ ) schwankt, eine Verschiebung von 15,9 pp.
Anthropic: Zeigt Oszillationen zwischen Programmierungsausreißern (z. B. Sonnet 4.6, $h = -13,1$ ) und Erholung zu schlussfolgerungsreichen Zuständen (z. B. Opus 4.6, $h = +3,5$ ).
Kopplungseffizienz: Die kopplungsspezifischen Steigungen pro Labor variieren um den Faktor 5 (Google 1,15 vs. DeepSeek 0,23) und quantifizieren, wie effizient verschiedene „Rezepte" Programmierungsverbesserungen in Schlussfolgerungsgewinne umwandeln.

3. Fähigkeitskaskaden und Sättigung

Der Beitrag identifiziert, dass Kooperation nicht statisch ist, sondern durch Stadien kaskadiert, in denen alte Achsen zusammenwachsen und neue entstehen:

Asymmetrische Sättigung: Unter den Top-5-Programmierungsmodellen sind die SWE-bench-Scores nahezu gleichauf (1,3 pp Streuung), während die GPQA-Scores signifikante Varianz beibehalten (9,1 pp). Diese Kompression signalisiert, dass SWE gesättigt ist.
Achsenrotation: Da SWE sättigt, aktivieren HLE (Humanity's Last Exam) und IFEval als neue unabhängige Achsen. Die Kopplungsmatrix zeigt, dass SWE und GPQA kooperieren ( $r \approx +0,85$ ), GPQA und HLE kooperieren ( $r \approx +0,72$ ), aber SWE und HLE entkoppelt sind ( $r \approx -0,25$ ).
Der $N_{c2}$ -Übergang: Sechs Open-Weight-Architekturen bestätigen einen zweiten Fähigkeitsübergang bei 30–72B Parametern, bei dem die Kooperation einbricht (Abfall um ~59 %), bevor sie sich teilweise erholt, was auf ein Limit hindeutet, wie viele Interaktionen verborgene Zustände in dieser Skalierung kooperativ darstellen können.

4. Predictive Validierung

Der Rahmen wurde gegen fünf Modelle validiert, die nach dem Datenstichtag März 2026 (April 2026) veröffentlicht wurden. Diese Out-of-Sample-Modelle bestätigten die Diagnostik, wobei die Populationskorrelation bei erneuter Anpassung von $+0,72$ auf $+0,75$ anstieg. Das $h$ -Feld sagte die Trajektorie von DeepSeeks Pivot und Anthropics Erholung erfolgreich voraus.

Bedeutung und Beiträge

Der Beitrag beansprucht, die erste groß angelegte, laborgrenzenübergreifende Messung der kooperativen Frontier-Kopplung zu liefern und sich von der Frage „Wer führt?" zu „Was für ein Fortschritt ist das?" zu bewegen. Seine primären Beiträge sind:

Ein diagnostischer Rahmen: Ein dreistufiges Spielbuch (Lokalisieren, Diagnostizieren, Rotieren), das Praktizierenden ermöglicht, Modell-Veröffentlichungen zu klassifizieren, Fähigkeitsneuverteilungen (via $h$ -Feld-Verschiebungen $>10$ pp) zu identifizieren und zu erkennen, wenn Benchmarks ihre Diskriminierungskraft verlieren (via $\sigma < 0,2$ ).
Quantifizierung von Laborstrategien: Das $h$ -Feld und die Kopplungssteigungen liefern eine Ein-Zahl-Zusammenfassung des charakteristischen Schwerpunkts eines Labors (schlussfolgerungsreich vs. programmierungsreich) und der Effizienz ihres Trainingsrezepts.
Falsifizierbare Vorhersagen: Der Beitrag bietet sieben zeitgestempelte Vorhersagen für die nächsten 12 Monate, einschließlich der Sättigung von SWE-bench bis Dezember 2026, der Aktivierung von IFEval und der vertiefenden Entkopplung von SWE und HLE.
Operativer Nutzen: Der Rahmen benötigt nur zwei öffentliche Benchmark-Scores, um handlungsrelevante Erkenntnisse zu generieren, was ihn zugänglich macht, ohne Zugang zu proprietären Trainingsdaten oder Modell-Interna zu benötigen.

Die Autoren betonen, dass das $h$ -Feld deskriptiv, nicht kausal ist; es identifiziert was sich in einer Release-Sequenz geändert hat, erklärt aber nicht warum (z. B. spezifische Datencuration oder Architekturänderungen). Indem es jedoch diese Verschiebungen sichtbar macht, ermöglicht der Rahmen Laboren, Fähigkeits-Trade-offs zu überwachen und die nächste notwendige Rotation in Evaluierungsmetriken vorherzusehen.