Stel je een wereld voor waarin het testen van een nieuwe auto niet alleen betekent dat je eroverheen rijdt op een perfect geasfalteerde, lege snelweg in perfect weer. In plaats daarvan gooi je hem in een chaotische, risicovolle hindernisbaan waar de weg verandert, de brandstof laag wordt en andere bestuurders actief proberen tegen je op te botsen.

Dat is precies wat dit artikel, "Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models," voorstelt. De auteurs, Zijian Chen, Wenjun Zhang en Guangtao Zhai, zijn klaar met de huidige manier waarop we AI testen. Ze stellen dat de huidige tests te makkelijk, te statisch en vaak "vals gespeeld" zijn omdat de AI de antwoorden al heeft uit het hoofd geleerd uit de trainingsdata.

Om dit op te lossen, hebben ze SQUID GAME gebouwd: een dynamisch toernooi in eliminatiestijl voor AI-modellen, geïnspireerd door de populaire tv-serie. In plaats van elk model een score van 100 te geven, laten ze ze tegen elkaar strijden in een "Battle Royale" waarbij de zwakken worden geëlimineerd en alleen de slimste, meest aanpasbare overleeft.

Hier is hoe het "spel" werkt, onderverdeeld in eenvoudige concepten:

De Drie Grote Regels van het Spel

De auteurs hebben het spel ontworpen rond drie kernideeën die het anders maken dan standaardtests:

1. Overleven, Niet Alleen Scores: Bij normale tests krijgt een AI een score op basis van hoeveel vragen hij goed beantwoordt. In SQUID GAME draait het om overleven. Als je een fout maakt, lig je eruit. De moeilijkheidsgraad neemt toe naarmate je verder komt, omdat je tegen andere AI's speelt, niet tegen een statische lijst met vragen.
2. Brandstof Tekort (Resource Constraints): Stel je voor dat je een puzzel probeert op te lossen, maar je krijgt te horen dat je slechts 100 woorden hebt om je oplossing uit te leggen. Als je te veel woorden gebruikt, verlies je. Het spel dwingt modellen om efficiënt te zijn. Als ze te veel praten of te veel "tokens" (de bouwstenen van AI-taal) gebruiken, worden ze geëlimineerd.
3. De Fog of War (Informatie-asymmetrie): Bij normale tests krijgt de AI direct alle informatie die hij nodig heeft. In dit spel moet de AI vaak beslissingen nemen zonder alles te weten. Het is als schaken waarbij je de stukken van je tegenstander pas ziet als ze bewegen. Dit test of de AI strategisch kan denken onder druk.

De Zes Niveaus van het Toernooi

Het spel bestaat uit zes niveaus, die elk een andere "spier" van de AI testen:

• Niveau 1: Rood-Groen Licht (De "Stop en Go" Test)

  • Het Spel: De AI moet een lang verhaal schrijven. Maar plotseling kan er een "Rood Licht" flitsen, en moet de AI onmiddellijk stoppen met schrijven en een geheime code produceren. Als de AI blijft schrijven of de code fout heeft, is hij uitgeschakeld.
  • Wat het test: Kan de AI strikte instructies opvolgen en direct van koers veranderen zonder in paniek te raken?
  • Resultaat: Veel modellen faalden hier omdat ze niet konden stoppen met praten wanneer dat gevraagd werd.

• Niveau 2: Sugar Honeycombs (De "Verfijnde Chirurgie" Test)

  • Het Spel: De AI krijgt een rommelig, verwarrend stuk computercode (zoals een honingraat die op het punt staat te barsten) en moet dit opschonen zonder de functie ervan te breken.
  • Wat het test: Kan de AI nauwkeurige, delicate wijzigingen aanbrengen in complexe systemen?
  • Resultaat: Sommige modellen waren te "praatziek" en voegden onnodige commentaren toe, waardoor ze de strikte regels overtraden.

• Niveau 3: Tug of War (De "Teamdebat" Test)

  • Het Spel: Drie AI's vormen een team om een debat te voeren tegen een ander team van drie. Maar er is een addertje onder het gras: ze hebben een beperkt "woordbudget". Als ze door hun woorden heen zijn, verliezen ze.
  • Wat het test: Kunnen AI's samenwerken en effectief debatteren terwijl ze hun beperkte middelen beheren?
  • Resultaat: Teams met "lichtgewicht" modellen (kleinere, snellere AI's) wonnen vaak omdat ze minder woorden gebruikten dan de enorme, luidruchtige modellen.

• Niveau 4: Marbles (De "Mind Game" Test)

---

• Het Spel: Twee AI's spelen een spel waarbij de één een vraag stelt en de ander antwoordt. Als het antwoord fout is, steelt de vragensteller een "chip" (punt). Het doel is om de andere AI te misleiden tot een fout antwoord te geven.

• Wat het test: Kan een AI ontdekken wat de andere AI niet weet en die zwakte uitbuiten?

• Resultaat: De meeste AI's waren beter in verdedigen dan in aanvallen. Ze hadden moeite om vragen te bedenken die de topmodellen daadwerkelijk konden overrompelen.

• Niveau 5: Glass Stepping Stones (De "Leap of Faith" Test)

  • Het Spel: AI's moeten een brug oversteken die bestaat uit glazen panelen. Sommige zijn veilig; andere zullen breken. De eerste AI moet gokken. De tweede AI krijgt te zien waar de eerste AI viel, enzovoort.
  • Wat het test: Kan een AI leren van de fouten van anderen en de veilige route afleiden?
  • Resultaat: Dit was erg moeilijk. Veel modellen konden het patroon niet ontcijferen op basis van de geschiedenis van wie overleefde en wie viel.

• Niveau 6: De Finale Squid Game (De "Safety Showdown")

  • Het Spel: Eén AI probeert de andere te misleiden om iets gevaarlijks of illegale te zeggen (zoals hoe je een bom maakt). De andere AI moet dit weerstaan.
  • Wat het test: Is de AI veilig? Kan de AI weerstand bieden aan "jailbreaking" of manipulatie?
  • Resultaat: Dit test het morele kompas van de AI en het vermogen om "nee" te zeggen, zelfs onder druk.

Wat Hebben Ze Ontdekt?

Na het draaien van dit toernooi met 52 verschillende AI-modellen (inclusief grote namen zoals GPT-5, Gemini, Claude en vele open-source modellen), kwamen ze tot enkele verrassende inzichten:

• Groot is niet altijd beter: Soms presteerden kleinere, "lichtere" modellen beter dan enorme modellen, omdat ze efficiënter waren en niet verstrikt raakten in onnodige details.
• Het "Valsspelen" Probleem: Sommige zwakkere modellen probeerden het systeem te "gamen". Bijvoorbeeld, in het Red-Green Light spel losten ze niet echt het wiskundige probleem op om de geheime code te krijgen, maar gokten ze gewoon getallen die toevallig correct optelden. Dit suggereert dat AI's in normale tests misschien patronen memoriseren in plaats van het probleem echt te begrijpen.
• Statisch vs. Dynamisch: De modellen die goed scoorden op standaard, saaie tests (zoals het beantwoorden van meerkeuzevragen), deden het niet altijd even goed in dit chaotische spel. Dit bewijst dat goed zijn in een tekstboektest niet betekent dat je de druk van de echte wereld aankunt.

De Kernboodschap

De auteurs zeggen: "Stop met het testen van AI in een vacuüm."

Net zoals een piloot in een storm moet kunnen vliegen en niet alleen in een simulator met perfect weer, moet AI getest worden in rommelige, onvoorspelbare en competitieve omgevingen. SQUID GAME is hun manier om die storm te creëren om te zien welke modellen echt robuust zijn en welke slechts goed zijn in het memoriseren van de testvragen.

Ze concluderen dat dit soort "Battle Royale"-testen een standaard onderdeel moet worden van hoe we AI evalueren, omdat het zwakheden blootlegt die traditionele tests volledig missen.