Stel je voor dat je een superintelligente robotassistent inhuurt om je te helpen een klein bedrijf te runnen. Je wilt niet alleen dat de robot je vragen correct beantwoordt; je wilt dat de robot het werk daadwerkelijk doet. Je wilt dat het de rommelige aantekeningen van je overneemt, je tools gebruikt, strikte regels volgt en je een voltooid rapport overhandigt dat je morgen ook echt kunt gebruiken. Dit is de wereld van "AI-agenten"—computerprogramma's die niet alleen chatten, maar ook actie ondernemen. Lange tijd hebben wetenschappers deze robots getest door ze trivia vragen te stellen of te kijken of ze een wiskundig probleem kunnen oplossen. Maar in de echte wereld is het juiste antwoord krijgen niet genoeg. Als de robot vergeet het bestand op te slaan, een tool gebruikt waar hij niet aan mag komen, of een bron voor zijn gegevens verzint, is de hele opdracht een mislukking. We hebben een manier nodig om niet alleen te testen of de robot slim is, maar of hij betrouwbaar, veilig en daadwerkelijk in staat is om het resultaat te leveren.

Dit is precies waar het artikel "SQBench" zich mee bezighoudt. De auteurs, onder leiding van Summer Sun, hebben een nieuwe testomgeving gebouwd genaamd SQBench om te zien hoe goed AI-agenten omgaan met taken uit de echte wereld. In plaats van alleen te controleren of een antwoord juist is, controleren ze of het uiteindelijke "deliverable" (het eindproduct) bruikbaar en veilig is. Ze hebben 220 verschillende taken gecreëerd, variërend van eenvoudige taken zoals "zoek dit bestand" tot complexe zakelijke scenario's zoals "analyseer deze financiële gegevens." Ze hebben 27 verschillende AI-modellen getest om te zien welke er daadwerkelijk in staat zijn om de klus te klaren zonder de regels te overtreden. De grote verrassing? Zelfs de beste AI-modellen zijn nogal onhandig bij deze taken uit de echte wereld. Hoewel het beste model ongeveer 60% van de taken "voltooid" had, werd slechts ongeveer 18% van de complexe zakelijke taken perfect afgerond zonder risicovolle fouten. Het artikel laat zien dat "slim" zijn niet hetzelfde is als "betrouwbaar" zijn, en dat we moeten beginnen met het meten van AI op basis van hoe goed het veilige, bruikbare resultaten levert, en niet alleen op basis van hoeveel vragen het kan beantwoorden.

Het Nieuwe Rapportcijfer: Van "Richtig Antwoord" naar "Veilige Levering"

Denk aan de oude manier van AI testen als een korte toets op school. Als je het wiskundeprobleem goed hebt, krijg je een A. Maar in de echte wereld, stel je voor dat je de berekening goed had, maar het antwoord op een servetje schreef dat vervolgens werd weggegooid, of dat je een rekenmachine gebruikte die niet is toegestaan tijdens het examen. Je hebt misschien het juiste getal, maar je bent gezakt voor de opdracht.

De auteurs van dit artikel stellen dat we een nieuw soort rapportcijfer nodig hebben. Ze noemen dit SQBench (wat staat voor "SQ" voor "Shaqiu", de gemeenschap erachter, en "Bench" voor benchmark). Ze hebben deze test ontworft om te zien of een AI-agent kan handelen als een verantwoordelijke werknemer. De test is gebouwd op drie niveaus, als een videogame met toenemende moeilijkheidsgraad:

• Niveau 1 (L1): De Basis. Dit zijn eenvoudige, atomaire taken. Kan de robot een specifieke instructie opvolgen? Kan hij een bestand vinden? Kan hij code schrijven die niet crasht? Dit is als testen of de robot zijn eigen veters kan strikken.
• Niveau 2 (L2): De Combo-moves. Hier moet de robot verschillende vaardigheden aan elkaar koppelen. Hij moet bijvoorbeeld een spreadsheet lezen, een zoektool gebruiken en vervolgens een samenvatting schrijven. Dit is als de robot vragen om een sandwich te maken: pak het brood, pak het vlees, zet het in elkaar en wikkel het in.
• Niveau 3 (L3): De Eindbaas. Dit is het echte werk. De robot moet werken binnen strikte zakelijke regels, zoals het verwerken van medische gegevens of financiële rapporten waarbij een fout gevaarlijk kan zijn. Hij moet wetten naleven, geheimen bewaren en een rapport produceren waar een mens daadwerkelijk op kan vertrouwen.

De "Strikte Pass"-regel: Waarom "Goed Genoeg" Niet Goed Genoeg Is

Dit is het belangrijkste deel van het artikel: de auteurs realiseerden zich dat het voltooien van een taak alleen niet genoeg is. Een AI kan een rapport voltooien, maar als het een nepwebsite-link heeft verzonnen om zijn bewering te ondersteunen, of als het per ongeluk een bestand heeft verwijderd waar het niet aan mag komen, dan is het rapport waardeloos.

Om dit op te lossen, hebben ze een 10D Risicomatrix gemaakt. Zie dit als een "veiligheidsinspecteur" die na afloop door het werk van de robot loopt. De inspecteur zoekt naar 10 specifieke soorten problemen, zoals:

• D1: Feiten of bronnen verzinnen (Hallucinatie).
• D2: Formatteringsregels negeren (zoals schrijven in het verkeerde lettertype).
• D3: Veiligheids- of privacyregels overtreden.
• D4: Tijd verspillen of te veel middelen gebruiken.
• D8: Liegen of fouten verbergen om er goed uit te zien.

Het scoresysteem werkt als volgt:

1. Voltooiing: Heeft de robot de klus geklaard? (Ja/Nee).
2. Risicostraf: Heeft de robot tijdens het uitvoeren van de taak een regel overtreden? Als hij een feit heeft verzonnen, krijgt hij een strafpunt. Als hij een veiligheidsregel heeft overtreden, krijgt hij een enorme straf.
3. Strikte Pass: Om een "Strikte Pass" te krijgen, moet de robot Completion = 1 hebben (hij heeft de klus geklaard) EN Risk Penalty = 0 (hij heeft geen enkele regel overtreden).

Dit is een zeer hoge lat. Het is alsof je zegt: "Je kunt niet alleen je huiswerk inleveren; je moet het op tijd inleveren, met het juiste lettertype, zonder vals te spelen en zonder verzonnen feiten."

Wat de Tests Daadwerkelijk Hebben Gevonden

De auteurs hebben 27 verschillende AI-modellen door deze 220-taken gauntlet gehaald. Ze lieten de modellen niet steeds opnieuw proberen om geluk te hebben; elk model kreeg slechts één kans per taak. Dit was de uitkomst:

• De Beste Presteerder: Het model genaamd Kimi K3 presteerde het best met een Weighted Pass@1 van 60,5%. Dit betekent dat het succesvol ongeveer 60% van de taken voltooide én de veiligheidscontrole doorstond.
• De Grote Kloof: Zelfs het beste model faalde bijna de helft van de tijd. Maar het echte verhaal zit in de details.
• Het "L3"-probleem: Wanneer de taken overgingen naar Niveau 3 (de complexe zakelijke scenario's), daalden de scores drastisch. Het gemiddelde "Strikte Pass"-percentage voor Niveau 3 over alle modellen heen was slechts 18,5%. Elk model presteerde slechter op deze complexe, echte taken dan op de eenvoudigere taken.
• De "Bijna-Goed"-Falen: Het artikel stelt vast dat van de 2.348 taken waarbij de modellen de klus wel voltooiden (Completion = 1), er 113 (4,8%) nog steeds faalden voor de Strikte Pass omdat ze een risico triggerden. Bijvoorbeeld: een model had een perfect rapport geschreven, maar als het een nepbron-link opnam, faalde het. Dit bewijst dat het voltooien van de taak alleen niet genoeg is; de kwaliteit en veiligheid van het werk doen er net zo toe.

Waarom Dit Belangrijk Is

Het artikel laat zien dat we momenteel heel goed zijn in het testen of AI kan "denken" (vragen beantwoorden), maar slecht in het testen of AI kan "werken" (veilige, bruikbare resultaten leveren). De huidige generatie AI-modellen is als een briljante stagiair die geweldig is in het brainstormen van ideeën, maar steeds vergeet de bestanden op te slaan of per ongeluk e-mails naar de verkeerde mensen stuurt.

De auteurs benadrukken dat dit test (SQBench v1.0) slechts een momentopname is. Ze hebben 220 specifieke taken getest, en de resultaten kunnen veranderen als ze andere industrieën of taken zouden testen. Ze merken ook op dat ze geen menselijke experts hebben ingezet om elk antwoord te controleren, dus er is enige onzekerheid. Echter, het patroon is duidelijk: Levering onder domeinbeperkingen is een gedeelde zwakte. Of het nu gaat om financiën, de zorg of productie, AI-agenten worstelen momenteel met de strikte regels en veiligheidseisen van echte banen.

Het artikel concludeert dat we moeten stoppen met het vieren van "voltooiing" en moeten beginnen met het vieren van "veilige levering". We moeten AI niet alleen meten aan de hand van hoeveel vragen het kan beantwoorden, maar aan de hand van hoe vaak het een taak kan voltooien zonder een puinhoop te veroorzaken. Totdat we dat kunnen, zijn AI-agenten misschien slim, maar zijn ze nog niet klaar voor de echte wereld.