How Should AI Safety Benchmarks Benchmark Safety?
Dit artikel beoordeelt 210 AI-veiligheidsbenchmarks om hun technische en epistemische tekortkomingen te identificeren, waarbij een roadmap wordt voorgesteld die geworteld is in gevestigde risicobeheersings- en meettheorieën om meer valide, robuuste en verantwoorde veiligheidsevaluatiekaders te ontwikkelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een leraar bent die een nieuwe generatie superintelligente robots probeert te beoordelen. Je wilt weten of ze veilig zijn om de wereld in te laten gaan, of dat ze per ongeluk (of met opzet) problemen kunnen veroorzaken. Om dit te doen, geef je ze een reeks tests, zoals een rijexamen voor AI. In de wereld van de informatica worden deze tests "benchmarks" genoemd. Beschouw een benchmark als een gestandaardiseerde hindernisbaan: als een robot over de horden kan springen, de puzzels kan oplossen en de vallen kan vermijden, gaan we ervan uit dat hij klaar is voor de echte wereld. Maar hier is de crux: alleen omdat een robot geweldig is in het springen over de specifieke horden die jij hebt gebouwd, betekent niet dat hij niet over een bananenschil struikelt die je niet op de baan hebt geplaatst, of dat hij niet besluit een brand te stichten omdat hij zich verveelt. Dit artikel duikt in de rommelige, ingewikkelde wereld van hoe we AI-veiligheid testen, en betoogt dat onze huidige "hindernisbanen" vaak te simpel, te rigide en soms compleet de plank misslaan wat betreft wat echt gevaar is.
De auteurs van dit artikel, een team van onderzoekers van universiteiten zoals de Technische Universiteit München en Cornell, beslotenten een enorme blik te werpen op de staat van AI-veiligheidstesten. Ze bekeken niet zomaar een paar tests; ze beoordeelden 210 verschillende veiligheidsbenchmarks die onderzoekers hebben gecreëerd. Ze wilden zien of deze tests er daadwerkelijk goed in slaagden ons veilig te houden, of dat ze ons slechts een vals gevoel van veiligheid gaven.
Hier is het grote probleem dat ze ontdekten: De meeste van deze tests kijken naar de verkeerde dingen. Ze ontdekten dat 81% van de benchmarks alleen controleert op risico's die we al kennen en die we eerder hebben gezien, zoals "toxische" taal of eenvoudige trucjes om de AI haar regels te laten breken (wat "jailbreaks" wordt genoemd). Het is alsof je een auto alleen test op een glad, recht circuit en ervan uitgaat dat hij een modderige bergweg prima aan zal kunnen. De tests negeren volledig de vreemde, onvoorspelbare en volstrekt nieuwe manieren waarop AI de mist in kan gaan, wat de auteurs "unknown unknowns" (onbekende onbekenden) noemen.
Bovendien is de manier waarop deze tests veiligheid meten vaak wiskundig wankel. Het artikel wijst erop dat 79% van de benchmarks veiligheid behandelt als een eenvoudige "pass of fail"-schakelaar. Ze tellen hoe vaak een AI een ongewenst verzoek weigerde en noemen dat een "veiligheidsscore". Maar de auteurs stellen dat dit misleidend is. Al weigert een AI een verzoek in 90% van de gevallen in een test, dat betekent niet dat de AI in de echte wereld voor 90% veilig is. Het is alsof je zegt dat een brug veilig is omdat hij standhield bij een zuchtje wind, zonder te controleren of hij een orkaan kan weerstaan. De tests negeren vaak hoe ernstig de schade zou zijn als de AI wel faalt, en ze houden geen rekening met hoe vaak mensen in het echte leven ook daadwerkelijk om die gevaarlijke dingen vragen.
De onderzoekers ontdekten ook dat de verbinding tussen de test en de realiteit vaak verbroken is. Ze noemen dit een "proxy chain" (proxy-keten). Stel je voor dat je wilt weten of een student een goede bestuurder is, dus je test hem op hoe goed hij een auto kan parkeren in een simulator. Dat is een proxy. Maar als de simulator geen rekening houdt met regen, of andere bestuurders, of de student die wordt afgeleid door een telefoon, dan zegt het testresultaat je niet of hij daadwerkelijk veilig is op de snelweg. Het artikel betoogt dat veel AI-veiligheidstests als die simulator zijn: ze meten zaken als "weigeringspercentages" of "trefwoordherkenning", maar deze cijfers vertalen zich niet altijd naar echte schade in de echte wereld.
Dus, wat stellen de auteurs in plaats daarvan voor? Ze stellen een nieuw stappenplan voor met 10 aanbevelingen om deze gebrekkige tests te repareren.
Ten eerste zeggen ze dat we moeten stoppen met alleen te testen wat we al weten. We moeten tests bouwen die actief op zoek gaan naar nieuwe, vreemde en onverwachte manieren waarop AI zou kunnen falen. Ze suggereren het gebruik van tools die constant proberen de AI op nieuwe manieren aan stukken te krijgen, in plaats van alleen vast te houden aan een vaste lijst met vragen.
Ten tweede moeten we betere wiskunde toepassen. In plaats van alleen maar "Slagen" of "Slagen" te zeggen, moeten we het werkelijke risico berekenen. Dit betekent vragen: "Hoe waarschijnlijk is het dat dit slechte ding gebeurt?" en "Hoe erg zou het zijn als het gebeurt?". De auteurs suggereren een methode genaamd "Probabilistic Risk Assessment" (probabilistische risicobeoordeling), die wordt gebruikt in sectoren zoals kernenergie en de luchtvaart. Ze laten zelfs een berekening zien waarbij een model veilig lijkt in een test, maar wanneer je meeweegt hoe vaak mensen het gebruiken en hoe vaak ze om gevaarlijke dingen vragen, het werkelijke risico veel hoger is.
Ten derde moeten we ervoor zorgen dat onze tests daadwerkelijk meten wat ze beweren te meten. Dit betekent heel duidelijk te zijn over wat "veiligheid" betekent in een specifieke situatie en ervoor te zorgen dat de test de echte wereld reflecteert, en niet alleen een schoon, kunstmatig laboratorium. Ze pleiten er ook voor om de mensen te betrekken die door de AI beïnvloed kunnen worden — zoals tieners, patiënten of gemeenschappen — om te helpen bij het ontwerpen van de tests, omdat zij het beste weten wat voor soort schade voor hen echt voelt.
Om te bewijzen dat hun ideeën werken, bouwde het team een kleine, voorbeeldtest gericht op hoe AI met tieners praat over mentale gezondheid. Ze vroegen de AI niet alleen of hij de regels kende; ze simuleerden echte gesprekken en berekenden de potentiële schade op basis van hoeveel tieners deze tools daadwerkelijk gebruiken. De resultaten lieten zien dat zelfs modellen die in standaardtests als "veilig" werden beschouwd, nog steeds aanzienlijke problemen konden veroorzaken wanneer je naar de cijfers uit de echte wereld kijkt.
Uiteindelijk zegt het artikel niet dat AI gedoemd is of dat we het niet kunnen testen. Het zegt dat onze huidige testmethoden zijn als het gebruiken van een liniaal om de temperatuur van een soep te meten — het zijn de verkeerde instrumenten voor de klus. Om AI echt veilig te houden, moeten we stoppen met veiligheid te behandelen als een eenvoudige checklist en het gaan behandelen als een complex, levend systeem dat verandert, ons verrast en vereist dat we denken aan de echte wereld, en niet alleen aan het reageerbuisje. De auteurs suggereren dat we, door deze nieuwe, meer rigoureuze en meer mensgerichte manieren van testen te adopteren, AI kunnen bouwen die niet alleen slim is, maar ook echt veilig voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.