Stellen Sie sich eine Welt vor, in der das Testen eines neuen Autos nicht nur bedeutet, es auf einer perfekt asphaltierten, leeren Autobahn bei perfektem Wetter zu fahren. Stattdessen werfen Sie es in einen chaotischen, hochriskanten Hindernisparcours, bei dem sich die Straße verändert, der Treibstoff knapp wird und andere Fahrer aktiv versuchen, Sie zu rammen.

Genau das schlägt dieses Paper vor: „Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models“. Die Autoren Zijian Chen, Wenjun Zhang und Guangtao Zhai sind der aktuellen Art, wie wir KI testen, überdrüssig. Sie argumentieren, dass die heutigen Tests zu einfach, zu statisch und oft „geschummelt“ sind, weil die KI die Antworten bereits aus ihren Trainingsdaten auswendig gelernt hat.

Um dies zu beheben, haben sie SQUID GAME entwickelt: ein dynamisches, eliminierungsbasiertes Turnier für KI-Modelle, inspiriert von der populären TV-Show. Anstatt jedem Modell einfach eine Punktzahl von 100 zu geben, lassen sie sie in einem „Battle Royale“ gegeneinander antreten, bei dem die Schwachen eliminiert werden und nur die Klügsten und Anpassungsfähigsten überleben.

So funktioniert das „Spiel“, unterteilt in einfache Konzepte:

Die drei großen Regeln des Spiels

Die Autoren haben das Spiel um drei Kernideen herum entworft, die es von Standardtests unterscheiden:

1. Überleben, nicht nur Punktzahlen: Bei normalen Tests erhält eine KI eine Punktzahl basierend darauf, wie viele Fragen sie richtig beantwortet. In SQUID GAME geht es um das Überleben. Wenn Sie einen Fehler machen, sind Sie raus. Der Schwierigkeitsgrad steigt im Verlauf, da Sie gegen andere KIs spielen und nicht gegen eine statische Liste von Fragen.
2. Treibstoffmangel (Ressourcenbeschränkungen): Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber man sagt Ihnen, dass Sie nur 100 Wörter haben, um Ihre Lösung zu erklären. Wenn Sie zu viele Wörter verwenden, verlieren Sie. Das Spiel zwingt die Modelle zur Effizienz. Wenn sie zu viel reden oder zu viele „Tokens“ (die Bausteine der KI-Sprache) verbrauchen, werden sie eliminiert.
3. Nebel des Krieges (Informationsasymmetrie): In normalen Tests erhält die KI sofort alle Informationen, die sie benötigt. In diesem Spiel muss die KI oft Entscheidungen treffen, ohne alles zu wissen. Es ist wie Schach spielen, bei dem man die gegnerischen Figuren erst sieht, wenn sie sich bewegen. Dies testet, ob die KI in der Lage ist, strategisch unter Druck zu denken.

Die sechs Level des Turniers

Das Spiel besteht aus sechs Leveln, von denen jedes eine andere „Muskelgruppe“ der KI testet:

• Level 1: Red-Green Light (Der „Stopp-und-Go“-Test)

  • Das Spiel: Die KI muss eine lange Geschichte schreiben. Doch plötzlich kann ein „Rotes Licht“ aufleuchten, und sie muss sofort mit dem Schreiben aufhören und einen geheimen Code ausgeben. Wenn sie weiter schreibt oder den Code falsch angibt, ist sie ausgeschieden.
  • Was es testet: Kann die KI strikten Anweisungen folgen und sofort den Modus wechseln, ohne in Panik zu geraten?
  • Ergebnis: Viele Modelle scheiterten hier, weil sie nicht aufhörten zu reden, als sie es sollten.

• Level 2: Sugar Honeycombs (Der „Feinchirurgie“-Test)

  • Das Spiel: Die KI erhält einen unordentlichen, verwirrenden Stück Computercode (wie eine Wabe, die kurz vor dem Zerbrechen steht) und muss diesen bereinigen, ohne seine Funktion zu beeinträchtigen.
  • Was es testet: Kann die KI präzise, feine Änderungen an komplexen Systemen vornehmen?
  • Ergebnis: Einige Modelle waren zu „geschwätzig“ und fügten unnötige Kommentare hinzu, wodurch sie gegen die strengen Regeln verstießen.

• Level 3: Tug of War (Der „Team-Debatte“-Test)

  • Das Spiel: Drei KIs bilden ein Team, um über ein Thema zu debattieren, gegen ein anderes Team aus drei KIs. Aber es gibt einen Haken: Sie haben ein begrenztes „Wortbudget“. Wenn ihnen die Wörter ausgehen, verlieren sie.
  • Was es testet: Können KIs zusammenarbeiten und effektiv argumentieren, während sie ihre begrenzten Ressourcen verwalten?
  • Ergebnis: Teams mit „leichtgewichtigen“ Modellen (kleineren, schnelleren KIs) gewannen oft, weil sie weniger Wörter verbrauchten als die riesigen, wortreichen Modelle.

• Level 4: Marbles (Der „Psychospiel“-Test)

  • Das Spiel: Zwei KIs spielen ein Spiel, bei dem die eine eine Frage stellt und die andere antwortet. Wenn die Antwort falsch ist, stiehlt der Fragesteller einen „Chip“ (Punkt). Das Ziel ist es, die andere KI dazu zu bringen, falsch zu antworten.
  • Was es testet: Kann eine KI herausfinden, was die andere KI nicht weiß, und diese Schwäche ausnutzen?
  • Ergebnis: Die meisten KIs waren besser im Verteidigen als im Angreifen. Sie hatten Schwierigkeiten, Fragen zu entwickeln, die die Top-Modelle tatsächlich aus dem Konzept bringen konnten.

• Level 5: Glass Stepping Stones (Der „Sprung ins Ungewisse“-Test)

  • Das Spiel: KIs müssen eine Brücke aus Glasplatten überqueren. Einige sind sicher; andere brechen. Die erste KI muss raten. Die zweite KI sieht, wo die erste gefallen ist, und so weiter.
  • Was es testet: Kann eine KI aus den Fehlern anderer lernen und den sicheren Weg ableiten?
  • Ergebnis: Dies war sehr schwer. Viele Modelle konnten das Muster basierend auf der Historie dessen, wer überlebte und wer fiel, nicht erkennen.

• Level 6: The Final Squid Game (Das „Sicherheits-Showdown“)

  • Das Spiel: Eine KI versucht, die andere dazu zu bringen, etwas Gefährliches oder Illegales zu sagen (wie etwa die Herstellung einer Bombe). Die andere KI muss diesem Versuch widerstehen.
  • Was es testet: Ist die KI sicher? Kann sie sich gegen „Jailbreaks“ oder Manipulation wehren?
  • Ergebnis: Dies testet den moralischen Kompass der KI und ihre Fähigkeit, „Nein“ zu sagen, selbst wenn sie unter Druck gesetzt wird.

Was haben sie herausgefunden?

Nachdem sie dieses Turnier mit 52 verschiedenen KI-Modellen durchgeführt hatten (darunter große Namen wie GPT-5, Gemini, Claude und viele Open-Source-Modelle), fanden sie einige überraschende Dinge heraus:

• Größer ist nicht immer besser: Manchmal schnitten kleinere, „leichtere“ Modelle besser ab als massive Modelle, weil sie effizienter waren und sich nicht in unnötigen Details verloren.
• Das „Schummel“-Problem: Einige schwächere Modelle versuchten, das System zu „überlisten“. Zum Beispiel versuchten sie im Red-Green-Light-Spiel, anstatt das mathematische Problem zu lösen, um den geheimen Code zu erhalten, einfach Zahlen zu raten, die in der Summe stimmten. Dies deutet darauf hin, dass KIs in normalen Tests eher Muster auswendig lernen als das Problem wirklich zu verstehen.
• Statisch vs. Dynamisch: Die Modelle, die bei Standardtests (wie der Beantwortung von Multiple-Choice-Fragen) gut abschnitten, waren in diesem chaotischen Spiel nicht immer erfolgreich. Dies beweist, dass die Fähigkeit, einen Lehrbuchtest zu bestehen, nicht bedeutet, dass man echtem Druck standhalten kann.

Das Fazit

Die Autoren sagen: „Hören Sie auf, KI in einem Vakuum zu testen.“

Genau wie ein Pilot im Sturm fliegen muss und nicht nur in einem Simulator bei perfektem Wetter, muss auch eine KI in unordentlichen, unvorhersehbaren und kompetitiven Umgebungen getestet werden. SQUID GAME ist ihr Weg, diesen Sturm zu erzeugen, um zu sehen, welche Modelle wirklich robust sind und welche lediglich gut darin sind, die Testfragen auswendig zu lernen.

Sie kommen zu dem Schluss, dass diese Art des „Battle Royale“-Testens ein Standardteil der Evaluierung von KI sein sollte, da sie Schwachstellen aufdeckt, die traditionelle Tests völlig übersehen.