Stellen Sie sich vor, Sie sind ein Trainer, der ein Team von superintelligenten Robotern trainiert, um Rätsel zu lösen. Um zu sehen, wer der Beste ist, geben Sie ihnen einen Test. Am Anfang sind die Ergebnisse völlig unterschiedlich verteilt: Einige Roboter erreichen 40 %, andere 80 % und einige Genies knacken die 95 %. Das ist großartig! Man kann klar sehen, wer gewinnt und wer mehr Übung braucht. Aber dann passiert etwas Seltsames. Nach einer Weile erzielen alle Roboter 99 % oder 100 %. Die Punktzahlen bewegen sich nicht mehr. Die Lücke zwischen dem „guten“ Roboter und dem „großen“ Roboter verschwindet. Der Test ist zu einfach geworden, um noch Unterschiede festzustellen. In der Welt der Künstlichen Intelligenz (KI) nennt man das „Sättigung“. Es ist wie ein Level in einem Videospiel, das alle so oft besiegt haben, dass die Spieleentwickler ein schwierigeres erfinden müssen, oder die Bestenliste unbrauchbar wird.

Dieses Paper mit dem Titel „When AI Benchmarks Plateau“ befasst sich tiefgehend mit genau diesem Problem. Die Forscher untersuchten 60 verschiedene Tests, die verwendet werden, um die Intelligenz von KI-Sprachmodellen zu messen. Sie wollten herausfinden, warum einige Tests schnell aufhören zu funktionieren, während andere über Jahre hinweg nützlich bleiben. Sie entwickelten einen speziellen „Sättigungsmesser“, um exakt zu messen, wie sehr sich die Ergebnisse abgeflacht haben. Ihre große Entdeckung? Die Tests, die alt sind und am häufigsten verwendet wurden, sind diejenigen, die zuerst kaputtgehen. Es stellt sich heraus, dass das bloße Verheimlichen der Antworten (das „privat“ halten des Tests) oder das Erstellen von Multiple-Choice-Fragen den Tests nicht wirklich vor der Nutzlosigkeit bewahrt. Die wahren Helden, die einen Test frisch halten, sind Dinge wie eine riesige Anzahl von Fragen und Experten, die den Test sorgfältig schwierig gestalten. Wenn ein Test alt und klein ist, ist es fast garantiert, dass er eine Decke erreicht, an der niemand mehr den besten KI von dem Rest unterscheiden kann.

Die Geschichte der feststeckenden Bestenliste

Stellen wir uns die Welt der KI-Benchmarks als eine riesige, hochkarätige Sportliga vor. Jedes Jahr treten neue Teams (KI-Modelle) der Liga bei, und sie müssen beweisen, dass sie die Besten sind. Dazu absolvieren sie eine Reihe von Rennen (Benchmarks). Einige Rennen sind kurze Sprints, manche sind lange Marathons und manche sind Hindernisläufe.

Lange Zeit funktionierten diese Rennen perfekt. Wenn ein neuer, schnellerer Läufer auftauchte, brach er den alten Rekord, und alle jubelten. Doch dann bemerkte die Liga einen seltsamen Trend. Die Läufer wurden alle schneller, aber die Ziellinien wurden immer voller. Bald überquerten die fünf besten Läufer die Linie fast zur exakt gleichen Zeit, bis auf die Millisekunde genau. Die Bestenliste steckte fest. Man konnte nicht mehr sagen, wer tatsächlich der Schnellste war, weil das Rennen zu kurz oder die Zeitmessung zu ungenau war.

Dies ist das Problem, das die Autoren dieses Papers lösen wollten. Sie fragten: „Warum hören diese Rennen auf zu funktionieren? Liegt es daran, dass die Läufer zu gut geworden sind, oder weil die Rennstrecke schlecht entworodert wurde?“

Die große Untersuchung: 60 Rennen unter dem Mikroskop

Die Forscher haben nicht nur geraten; sie gingen auf eine massive Detektivmission. Sie sammelten Daten von 60 verschiedenen KI-Benchmarks – den „Rennen“, die von den größten KI-Unternehmen und Forschern genutzt werden. Sie untersuchten alles: wie alt das Rennen war, wie viele Fragen darin enthalten waren, ob die Antworten öffentlich oder geheim waren und wer die Fragen geschrieben hatte (Menschen oder Computer).

Um die „Feststeckigkeit“ der Bestenliste zu messen, erfanden sie ein cleveres Werkzeug namens Saturation Index (Sättigungsindex). Denken Sie an dies wie einen „Rauschdetektor“.

• Wenn der Unterschied zwischen den Top-Läufern groß im Vergleich zum „Rauschen“ (zufälligen Fehlern in der Zeitmessung) ist, ist der Index niedrig und das Rennen ist noch fair.
• Wenn die Top-Läufer so nah beieinander liegen, dass ihre Unterschiede kleiner als das Rauschen sind, steigt der Index. Das Rennen ist „gesättigt“. Es ist, als würde man versuchen, ein Flüstern in einem Hurrikan zu hören; man kann nicht hören, wer spricht, weil der Wind zu laut ist.

Sie fanden heraus, dass fast die Hälfte der 60 untersuchten Rennen bereits gesättigt war. Einige waren so gesättigt, dass die Top-Modelle praktisch nicht mehr voneinander zu unterscheiden waren.

Die Mythen, die sie entlarvten

Vor dieser Studie hatten die Leute einige Ideen darüber, wie man ein Rennen lange fair hält. Die Forscher testeten diese Ideen, und einige von ihnen erwiesen sich als falsch.

Mythos 1: „Wenn wir die Antworten verstecken, bleibt das Rennen länger fair.“
Viele dachten, wenn man die Testfragen geheim hält (ein „privater“ Testsatz), könnten die Roboter die Antworten nicht auswendig lernen. Die Forscher prüften dies, indem sie öffentliche Tests mit privaten verglichen.

• Das Ergebnis: Es machte keinen Unterschied. Die privaten Tests wurden genauso schnell „feststecken“ wie die öffentlichen. Sobald ein Test populär wird, lernen die KI-Modelle den Stil der Fragen so gut, dass sie alle die gleichen hohen Punktzahlen erreichen. Das Verstecken des Tests ist wie das Verstecken der Ziellinie in einem Nebel; irgendwann findet jeder heraus, wo sie ist.

Mythos 2: „Multiple-Choice-Fragen sind das Problem.“
Einige dachten, wenn man die KI dazu bringt, lange, offene Antworten zu schreiben, anstatt nur A, B, C oder D zu wählen, würde der Test länger halten.

• Das Ergebnis: Nope. Die Studie fand heraus, dass Tests mit Multiple-Choice-Fragen und Tests mit offenem Schreiben beide etwa im gleichen Tempo gesättigt wurden. Das Format der Antwort rettete den Test nicht.

Mythos 3: „Nur-Englisch-Tests brechen schneller als Tests in vielen Sprachen.“
Es schien logisch, dass ein Test nur auf Englisch zu einfach wird, da die meisten KIs hauptsächlich auf Englisch trainiert werden.

• Das Ergebnis: Es sah so aus, als würden englische Tests schneller kaputtgehen, aber die Forscher erkannten, dass dies ein Trick der Zeit war. Die englischen Tests waren einfach älter. Die mehrsprachigen Tests waren neu, sodass sie noch nicht oft genug durchgeführt worden waren, um festzusteken. Wenn man Tests desselben Alters vergleicht, spielte die Sprache nicht so eine Rolle, wie man denken würde.

Die wahren Übeltäter: Alter und Größe

Wenn also das Verstecken von Antworten und das Ändern von Formaten nicht funktioniert, was verursacht dann tatsächlich, dass ein Test bricht? Die Forscher fanden zwei Hauptschurken:

1. Alter (Zeit): Dies war der wichtigste Faktor. Je älter ein Test ist, desto wahrscheinlicher ist es, dass er gesättigt ist. Denken Sie an ein beliebtes Lied. Das erste Mal, wenn man es hört, ist es frisch. Aber nachdem man es tausendmal gehört hat, kennt man jede Note. KI-Modelle sind genauso. Je öfter ein Test über die Jahre verwendet wird, desto mehr lernen die Modelle, ihn zu „überlisten“ – nicht durch Auswendiglernen, sondern indem sie einfach Experten für genau diese Art von Rätsel werden. Die Studie zeigte, dass Tests, die älter als 6 Jahr (60 Monate) waren, viel wahrscheinlicher feststeckten als neue.

2. Größe (Die Anzahl der Fragen): Dies war der zweitwichtigste Faktor. Tests mit sehr wenigen Fragen (kleine Testsätze) wurden viel schneller gesättigt. Stellen Sie sich ein Rennen mit nur 3 Hürden vor. Wenn Sie über eine stolpern, ist das eine große Sache. Wenn Sie 100 Hürden haben, ändert ein Stolperer nichts am Gewinner. Kleine Tests sind „verrauscht“. Wenn eine KI bei ein paar Fragen Glück hat, springt ihre Punktzahl nach oben, was sie wie ein Genie aussehen lässt. Aber wenn man einen riesigen Test mit tausenden Fragen hat, spielt das Glück keine so große Rolle mehr. Glück macht bei einem großen Test nichts aus. Die Studie fand heraus, dass Tests mit mehr Fragen länger fair und nützlich blieben, weil sie die winzigen Unterschiede zwischen den klügsten Modellen erkennen konnten.

Die guten Nachrichten: Wie man ein besseres Rennen baut

Das Paper sagt nicht nur „alles ist kaputt“. Es gibt ein Rezept für den Bau von Tests, die Bestand haben.

• Machen Sie den Test riesig: Wenn Sie wollen, dass ein Test nützlich bleibt, geben Sie der KI tausende Fragen, nicht nur ein paar Dutzend. Dies reduziert das „Rauschen“ und lässt Sie die echten Unterschiede erkennen.
• Halten Sie es frisch: Verwenden Sie nicht ewig dieselben Fragen. Die besten Tests sind die, die sich verändern, neue Fragen hinzufügen oder von Experten entworfen wurden, die wissen, wie man die KI austrickst.
• Verlassen Sie sich nicht auf Geheimnisse: Das Verstecken des Tests ist kein magischer Schutzschild. Sie müssen den Test so gut gestalten, dass die KI selbst dann hart arbeiten muss, um zu gewinnen, wenn sie die Regeln kennt.

Das Fazentelemment

Die Autoren betonen vorsichtig, dass das Erreichen einer hohen Punktzahl nicht immer schlecht ist. Wenn ein Test darauf ausgelegt ist, etwas Einfaches zu messen, und jede KI 100 % erreicht, dann ist das großartig! Das bedeutet, das Problem ist gelöst. Das Problem entsteht jedoch, wenn der Test eigentlich den Unterschied zwischen einer guten KI und einer großartigen KI messen sollte, es aber nicht mehr kann, weil der Test zu alt oder zu klein ist.

Diese Studie legt nahe, dass wir aufhören sollten, diese Tests wie permanente Trophäen zu behandeln, und statfangen sollten, sie wie lebendige Dinge zu behandeln. Sie müssen wachsen, sich verändern und größer werden, um mit den superintelligenten Robotern Schritt zu halten, die wir bauen. Wenn wir das nicht tun, werden unsere Bestenlisten nur eine flache Linie zeigen, und wir werden nicht wissen, wer tatsächlich der Beste ist.