🤖 AI

Two AI Metrics Diverged: Will it Make All the Difference?

Dieses Paper argumentiert, dass davon abhängt, ob die Fähigkeiten der Grenz-KI (Frontier AI) bei wohlhabenden Akteuren konzentriert bleiben oder auf kleinere Entwickler übergehen, ob die spezifischen Leistungsmetriken, die zur Messung dieser Fähigkeiten verwendet werden, im Verhältnis zu den Rechenressourcen mathematisch beschränkt oder unbeschränkt sind.

Ursprüngliche Autoren: Alex Fogelson, Zachary A. Brown, Hans Gundlach, Jayson Lynch, Neil Thompson

Veröffentlicht 2026-07-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alex Fogelson, Zachary A. Brown, Hans Gundlach, Jayson Lynch, Neil Thompson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Werden die Reichen reicher oder werden alle aufholen?

Stellen Sie sich die Welt der Künstlichen Intelligenz als ein riesiges Rennen vor. Auf der einen Seite haben Sie die „Frontier“-Läufer: massive Unternehmen mit unbegrenztem Geld, die die teuersten Supercomputer kaufen und ihre KI-Modelle jedes Jahr mit exponentiell mehr Leistung trainieren. Auf der anderen Seite haben Sie die „Meek“-Läufer: kleinere Entwickler, Open-Source-Enthusiasten und Forscher, die über ein festes, bescheidenes Budget verfügen. Sie können keine neuen Supercomputer kaufen, aber sie profitieren von allgemeinen technologischen Verbesserungen (wie besseren Straßen oder schnelleren Schuhen), die allen helfen.

Die große Frage, die diese Arbeit stellt, ist: Werden die reichen Läufer irgendwann so weit voraus sein, dass die armen Läufer niemals aufholen können? Oder wird die Lücke schrumpfen, bis alle etwa die gleiche Geschwindigkeit erreichen?

Die überraschende Antwort dieser Arbeit lautet: Es kommt ganz darauf an, wie man das Rennen misst.

Die zwei Arten von „Linealen“ (Metriken)

Die Autoren argumentieren, dass wir den Fortschritt der KI oft mit unterschiedlichen „Linealen“ (Metriken) messen, und diese Lineale erzählen zwei völlig unterschiedliche Geschichten. Sie kategorisieren diese Lineale in zwei Typen: Meek Metrics (bescheidene Metriken) und Mighty Metrics (mächtige Metriken).

1. Meek Metrics: Der „Deckeneffekt“

Stellen Sie sich eine Meek Metric wie ein Videospiel-Level vor, bei dem das Ziel darin besteht, einfach nur die Ziellinie zu erreichen.

Die Analogie: Stellen Sie sich ein Rennen vor, bei dem die Ziellinie 100 Meter entfernt ist. Der „Frontier“-Läufer hat einen Jetpack und kommt in 10 Sekunden an. Der „Meek“-Läufer hat ein Fahrrad und braucht 20 Sekunden.
Der Haken: Sobald der Frontier-Läufer die 100-Meter-Marke erreicht hat, bleibt er stehen. Er kann nicht über die Ziellinie hinauslaufen. Selbst wenn er nächstes Jahr einen besseren Jetpack hat, steht er immer noch bei 100 Metern. Irgendwann erreicht auch der Fahrradfahrer die 100 Meter.
Das Ergebnis: Langfristig verschwindet der Abstand zwischen dem Jetpack und dem Fahrrad. Beide sind an der Ziellinie.
Beispiele aus der realen Welt:
- Testergebnisse (0–100 %): Wenn ein Modell 99 % bei einem Test erreicht, kann es nicht wirklich „mehr“ korrekt machen. Ein günstigeres Modell könnte ebenfalls 98 % oder 99 % erreichen. Die Lücke schließt sich.
- Validation Loss (Validierungsfehler): Dies ist ein Maß für den Fehler, der immer kleiner wird, bis er Null erreicht. Sobald er nahe Null ist, macht es keinen Unterschied mehr, ob man mehr Geld hat – man kann nicht „mehr“ Null sein.

Die Behauptung der Arbeit: Wenn das, was man bewertet, eine „Meek Metric“ ist, werden die teuren, reichen Modelle irgendwann genauso gut aussehen wie die günstigen, kleinen Modelle. „Die bescheidenen Modelle werden die Welt erben.“

2. Mighty Metrics: Der „Unendliche-Leiter-Effekt“

Stellen Sie sich eine Mighty Metric wie das Klettern auf einer Leiter vor, die unendlich nach oben führt.

Die Analogy: Stellen Sie sich ein Rennen vor, bei dem das Ziel nicht darin besteht, eine Ziellinie zu erreichen, sondern so hoch wie möglich zu klettern. Der „Frontier“-Läufer hat einen Jetpack und steigt auf 1.000 Fuß. Der „Meek“-Läufer hat eine Leiter und steigt auf 100 Fuß.
Der Haken: Es gibt keine Decke. Nächstes Jahr nutzt der Frontier-Läufer einen besseren Jetpack, um 10.000 Fuß zu erreichen. Der Meek-Läufer erreicht, selbst mit besseren Schuhen, nur 200 Fuß. Die Lücke wird nicht nur gleich bleiben, sie wird immer größer.
Das Ergebnis: Der reiche Läufer bleibt unendlich weit voraus. Der „Meek“-Läufer holt niemals auf.
Beispiele aus der realen Welt:
- Spiel-Rankings (ELO): Beim Schach kann man immer besser werden. Ein Supercomputer kann einen Menschen besiegen, aber ein noch leistungsfähigerer Supercomputer kann den ersten besiegen. Es gibt keinen „perfekten“ Score; man kann immer stärker sein.
- Aufgabenlänge: Wie lange kann eine KI ein komplexes Projekt abschließen? Wenn ein günstiges Modell eine 1-stündige Aufgabe bewältigen kann und ein reiches Modell eine 10-stündige Aufgabe, dann kann das reiche Modell auch in Zukunft 100- oder 1.000-stündige Aufgaben erledigen. Die Lücke in der Fähigkeit wächst ständig weiter.

Die Behauptung der Arbeit: Wenn das, was man bewertet, eine „Mighty Metric“ ist, werden die reichen Modelle für immer in Führung bleiben. Die Lücke schließt sich nie.

Der Clou: Es kommt ganz darauf an, wie man die Frage stellt

Der wichtigste Teil der Arbeit ist, dass dieselbe Fähigkeit entweder als „Meek“ oder als „Mighty“ gemessen werden kann, je nachdem, wie man die Frage formuliert.

Die Autoren geben ein hervorragendes Beispiel aus dem Bereich Software Engineering:

Szenario A (Meek): Man fragt: „Kann die KI Code schreiben, der ohne Bugs funktioniert?“
- Wenn die KI 99 % des Codes richtig schreibt, ist das meistens „gut genug“. Der Unterschied zwischen einem 99-%-Modell und einem 99,9-%-Modell spielt kaum eine Rolle. Dies ist eine Meek-Perspektive.
Szenario B (Mighty): Man fragt: „Wie viele Zeilen Code kann die KI hintereinander perfekt schreiben, bevor sie einen Fehler macht?“
- Hier schreibt das reiche Modell vielleicht 1 Million Zeilen perfekt, während das günstige Modell 10.000 Zeilen schafft. Das reiche Modell kann immer weiter machen. Dies ist eine Mighty-Perspektive.

Die Lektion: Wenn man die KI danach bewertet, ob sie „den Test bestanden hat“ (Meek), ist die Zukunft demokratisch und offen. Wenn man sie danach bewertet, „wie komplexe Probleme sie lösen kann“ (Mighty), wird die Zukunft von den wenigen Wohlhabenden dominiert.

Warum das für die reale Welt wichtig ist

Die Arbeit kommt zu dem Schluss, dass wir sehr vorsichtig damit sein müssen, welches „Lineal“ wir verwenden, um Gesetze und Richtlinien zu erstellen.

Wenn wir Meek Metrics verwenden: Könnten wir glauben, dass KI sicher und für alle zugänglich wird. Wir könnten Regulierungen lockern, weil „jeder es jetzt auch kann“.
Wenn wir Mighty Metrics verwenden: Könnten wir erkennen, dass die reichen Unternehmen in Bezug auf die Komplexität so weit voraus sind, dass sie die Zukunft der Wissenschaft, Wirtschaft und Sicherheit kontrollieren und alle anderen zurücklassen.

Das Fazreit: Die Arbeit sagt nicht, dass die KI zwangsläufig ein Monopol oder eine Demokratie wird. Sie sagt, dass die Antwort davon abhängt, was wir wertschätzen.

Wenn wir perfekte Genauigkeit bei einfachen Aufgaben wertschätzen, schließt sich die Lücke und kleinere Akteure können aufholen.
Wenn wir die Lösung zunehmend schwieriger, komplexer Probleme wertschätzen, wird die Lücke größer und nur die Wohlhabenden werden die Werkzeuge dafür besitzen.

Die Autoren warnen davor, dass viele Menschen das „Meek“-Lineal (wie Testergebnisse) betrachten und denken, die Lücke würde sich schließen, während das „Mighty“-Lineal (wie das Lösen schwieriger wissenschaftlicher Probleme) zeigt, dass die Lücke tatsächlich riesig wird. Um die Zukunft der KI zu verstehen, müssen wir das richtige Lineal für die Aufgabe wählen.

Technisches Resümee: Zwei divergierende KI-Metriken: Wird dies den entscheidenden Unterschied machen?

Problemstellung

Da die KI-Entwicklung in Bezug auf die Rechenleistung exponentiell skaliert, stellt sich eine kritische Frage für Governance und Ökonomie: Werden die Fähigkeiten von Frontier-Modellen (jene mit massiven, exponentiell wachsenden Rechenbudgets) die „meek“-Modelle (jene mit festen oder langsam wachsenden Rechenbudgets, die dennoch von geteilter Hardware und algorithmischen Effizienzgewinnen profitieren) dauerhaft übertreffen?

Die bestehende empirische Literatur liefert hierzu widersprüchliche Antworten. Einige Studien deuten darauf hin, dass sich die Leistungsdifferenz vergrößern wird, was zu einer oligopolistischen Konzentration der Leistungsfähigkeit führt. Andere, spezifisch Gundlach et al. (2025b), argumentieren, dass die Lücke schrumpfen wird, was dazu führt, dass „meek“-Modelle letztlich „die Welt erben“. Dieses Paper postuliert, dass diese divergierenden Schlussfolgerungen nicht notwendigerweise widersprüchlich sind, sondern Artefakte der spezifisch gewählten Leistungsmetriken zur Messung der KI-Fähigkeiten darstellen. Das zentrale Problem besteht darin, dass verschiedene Metriken, selbst wenn sie offensichtlich ähnliche Fähigkeiten messen, unterschiedliche funktionale Formen in Bezug auf die Rechenleistung besitzen, was zu grundlegend verschiedenen langfristigen Konvergenzeigenschaften führt.

Methodik

Die Autoren verwenden einen theoretischen Rahmen, um Leistungsmetriken basierend auf ihrem mathematischen Verhalten unter exponentieller Skalierung der effektiven Rechenleistung zu kategorisieren.

Definitionen:
- Normale Leistungsmetrik: Eine differenzierbare, schwach monoton steigende Funktion, die die Trainingsrechenleistung auf die Leistung abbildet.
- Meek-Metrik: Eine Metrik, bei der die Leistungsdifferenz zwischen einem Frontier-Modell (exponentielles Investitionswachstum) und einem Meek-Modell (konstantes Investitionswachstum, aber Profit von geteilten Effizienzgewinnen) gegen Null konvergiert, wenn die Zeit gegen Unendlich geht.
- Mighty-Metrik: Eine Metrik, bei der die Leistungsdifferenz nicht gegen Null konvergiert (sie kann als Konstante bestehen bleiben oder divergieren).
Analytischer Ansatz:
Das Paper generalisiert das Argument von Gundlach et al. (2025b) bezüglich des Validierungsverlusts. Es analysiert den Grenzwert der Differenz $P(C_{frontier}) - P(C_{meek})$ für $t \to \infty$ , wobei $C$ die effektive Rechenleistung darstellt. Die Autoren leiten präzise mathematische Bedingungen ab, um zu bestimmen, ob eine Metrik „meek“ oder „mighty“ ist, basierend auf ihrer Wachstumsrate und Begrenztheit.
Klassifizierungsrahmen:
Die Autoren konstruieren einen Entscheidungsbaum (Abbildung 1), um Metriken zu klassifizieren:
- Wenn eine Metrik beschränkt ist (eine Obergrenze hat), ist sie immer meek.
- Wenn eine Metrik unbeschränkt ist, ist sie nur dann meek, wenn sie langsamer als $\log \log C$ wächst (speziell: $\lim_{C \to \infty} \frac{P(C)}{\log \log C} = 0$ ). Andernfalls ist sie mighty.

Zentrale Beiträge

Theoretische Klassifizierung von Metriken: Das Paper liefert die ersten rigorosen mathematischen Bedingungen, die zwischen „meek“-Metriken (wo Lücken sich schließen) und „mighty“-Metriken (wo Lücken bestehen bleiben) unterscheiden. Es stellt fest, dass Beschränktheit eine hinreichende Bedingung für Meekness ist.
Reinterpretation gängiger Benchmarks: Die Autoren zeigen auf, dass viele Standardmetriken nur unter spezifischen Interpretationen „meek“ sind, während eng verwandte Transformationen derselben zugrunde liegenden Fähigkeit „mighty“ sind.
- Beispiel: Benchmark-Genauigkeit (0–100 %) ist beschränkt und somit meek. Die zugrunde liegende Fehlerrate $\epsilon$ oder die Anzahl der „Neunen“ der Zuverlässigkeit ( $\log(1/\epsilon)$ ) hingegen ist unbeschränkt und mighty.
- Beispiel: Win-Rates in Spielen sind beschränkt (meek), aber die zugrunde liegende Bradley-Terry-Stärke (ELO) ist unbeschränkt (mighty).
Erweiterung auf Inference-Scaling: Der Rahmen wird auf Budgets für die Rechenleistung zur Inferenzzeit (Inference-time compute) ausgeweitet und zeigt, dass während die Benchmark-Genauigkeit unter Inference-Scaling „meek“ bleibt, die entsprechende „Marsch der Neunen“ (Fehlerreduktion) „mighty“ bleibt.
Politische Relevanz: Das Paper argumentiert, dass die Bestimmung der „angemessenen“ Metrik für einen spezifischen Bereich eine Voraussetzung für effektive Politik ist. Beschränkte und unbeschränkte Metriken legen gegensätzliche politische Reaktionen hinsichtlich Kontrollen der Rechenleistung und Regulierung nahe.

Zentrale Ergebnisse

Konvergenz beschränkter Metriken: Für jede beschränkte Metrik (z. B. Klassifikationsgenauigkeit, Pass@k, Validierungsverlust) wird die Leistungsdifferenz zwischen Frontier- und Meek-Modellen schließlich verschwinden. Langfristig werden Meek-Modelle eine ununterscheidbare Leistung im Vergleich zu Frontier-Modellen auf diesen Skalen erreichen.
Divergenz unbeschränkter Metriken: Für unbeschränkte Metriken, die schneller als $\log \log C$ wachsen (z. B. ELO-Stärke, Aufgabenhorizont-Länge, Fehlerraten-Größenordnungen), bleibt die Lücke bestehen oder vergrößert sich. Frontier-Modelle werden einen permanenten Vorteil behalten.
Sensitivität gegenüber Nutzenfunktionen: Die Wahl zwischen einer meek- und einer mighty-Metrik hängt oft von der Nutzenfunktion des Nutzers ab.
- Wenn ein Nutzer darauf Wert legt, ob eine Aufgabe innerhalb eines festen Schwellenwerts abgeschlossen wird (beschränkter Nutzen), genügen Meek-Modelle.
- Wenn ein Nutzer darauf Wert legt, wie viel besser die Leistung ist (z. B. Reduzierung von Fehlerraten um Größenordnungen, Verlängerung von Aufgabenhorizonten), ist die Fähigkeit unbeschränkt und Frontier-Modelle dominieren.
Positionale Metriken: Das Paper stellt fest, dass es in „Winner-takes-all“-Szenarien (positionale Metriken) selbst dann, wenn die zugrunde liegende Fähigkeit beschränkt ist, die Belohnung immer an das Frontier-Modell gehen kann, da infinitesimale Vorteile entscheidend sind, was zu einem „mighty“-Ergebnis in Bezug auf die ökonomische Belohnung führt, trotz „meek“ zugrunde liegender Konvergenz.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Debatte darüber, ob KI-Fähigkeiten konzentriert oder verbreitet werden, oft eine Debatte darüber ist, welche Metrik verwendet wird, und nicht unbedingt über die zugrunde liegende Physik des KI-Scalings.

Für die Governance: Wenn die relevante gesellschaftliche Fähigkeit durch eine beschränkte Metrik gemessen wird (z. B. „Kann das Modell ein funktionales Skript schreiben?“), müssen Regulierungen berücksichten, dass diese Fähigkeiten letztlich für viele Akteure (Meek-Modelle) zugänglich werden. Wenn die Fähigkeit durch eine unbeschränkte Metrik gemessen wird (z. B. „Wie effizient kann es ein neuartiges Protein synthetisieren?“), werden die Fähigkeiten wahrscheinlich weiterhin in den Händen wohlhabender Akteure mit massiven Rechenbudgets konzentriert bleiben.
Für die Politik: Kontrollen der Rechenleistung (Exportbeschränkungen) könnten bei Fähigkeiten, die durch meek-Metriken gemessen werden, eher eine Verzögerung als eine permanente Deckelung darstellen, da Meek-Modelle durch geteilte Hardware und algorithmischen Fortschritt schließlich aufholen werden. Bei mighty-Metriken hingegen könnten solche Kontrollen einen dauerhaften Abstand aufrechterhalten.
Für die Sicherheit: Das Paper hebt hervor, dass gefährliche Fähigkeiten oft einen „Schwellenwert“-Charakter haben. Wenn eine Fähigkeit beschränkt ist (meek), kann der Schwellenwert letztlich auch von vielen Akteuren überschritten werden, nicht nur von den führenden Laboren. Wenn jedoch der Grad der Gefahr unbeschränkt skaliert (z. B. die Geschwindigkeit der Ausnutzung), bleibt das Risiko konzentriert.

Die Autoren kommen zu dem Schluss, dass Analysten und politische Entscheidungsträger über das naive Ablesen von Konvergenz oder Divergenz aus einer einzelnen Metrik hinausgehen müssen. Stattdessen müssen sie explizit die Nutzenfunktion des jeweiligen Bereichs definieren, um zu bestimmen, ob die relevante Metrik „meek“ oder „mighty“ ist, da diese Unterscheidung darüber entscheidet, ob die Zukunft der KI durch Konzentration oder Verbreitung geprägt sein wird.