Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

In de snel evoluerende wereld van kunstmatige intelligentie proberen onderzoekers voortdurend computers te leren hoe ze behulpzaam kunnen zijn zonder schadelijk te zijn. Om ervoor te zorgen dat deze systemen geen gevaarlijk advies of giftige inhoud genereren, moeten wetenschappers hun output evalueren. Jarenlang hebben twee hoofdmethode de overhand gehad bij deze veiligheidscontrole. De eerste methode houdt in dat één kunstmatige intelligentie het werk van een andere beoordeelt, waarbij het fungeert als een geautomatiseerde rechter. De tweede methode vertrouwt op handgeschreven computerregels die tekst scannen op specifieke trefwoorden of patronen die wijzen op schade, wat functioneert als een digitale filter. De aanname achter de tweede methode was dat omdat deze regels vaststaan en deterministisch zijn — wat betekent dat ze voor dezelfde input altijd hetzelfde resultaat produceren — ze perfect betrouwbaar zijn en als de absolute waarheid kunnen worden beschouwd. Als een computerprogramma een strikte set instructies volgt, is de logica dat zijn oordeel over veiligheid correct moet zijn.

Een nieuwe studie daagt deze aanname uit door deze veiligheidstools niet te behandelen als onfeilbare scheidsrechters, maar als instrumenten die fouten kunnen maken, net als elk ander meetinstrument. De onderzoeker, Yangyi Zhang van Georgetown University, besloot zowel de geautomatiseerde rechter als de op regels gebaseerde filter te auditeren om te zien of ze daadwerkelijk doen wat ze beweren te doen. Het onderzoek richtte zich op een collectie van 550 reacties gegenereerd door diverse grote taalmodellen wanneer zij vragen stelden over moeilijke of potentieel schadelijke onderwerpen. Om de waarheid te achterhalen, creëerde de onderzoeker een kleine, onafhankelijke benchmark door er 32 van deze reacties handmatig te lezen en te labelen, waarbij veiligheid werd gedefinieerd op basis van de vraag of het model uitvoerbare schadelijke inhoud bood. Deze door mensen geverifieerde set diende als de grondwaarheid waartegen de twee geautomatiseerde tools werden getest.

De resultaten toonden een significante tekortkoming in de betrouwbaarheid van beide instrumenten aan. De op regels gebaseerde classifier, die in eerder onderzoek breed werd vertrouwd en gebruikt als de standaard voor veiligheid, presteerde zwak. Wanneer deze werd vergeleken met de menselijke labels, was dit geautomatiseerde instrument slechts in ongeveer de helft van de gevallen correct. Cruciaal was dat het de helft van de werkelijk onveilige reacties niet identificeerde, waardoor gevaarlijke inhoud volledig werd gemist. Tegelijkertijd markeerde het zes onschadelijke reacties onterecht als onveilig, waarbij beleefde weigeringen werden geïnterpreteerd als gevaarlijke leveringen. De geautomatiseerde rechter, een kleiner taalmodel dat de taak had de reacties te beoordelen, presteerde iets beter in algemene nauwkeurigheid, maar leed aan een andere fatale fout. Het slaagde er niet in om een van de vier werkelijk onveilige reacties in de testset te vangen; het miste ze allemaal volledig. In plaats daarvan labelde het twee veilige weigeringen onterecht als onveilig.

De studie bracht ook een verborgen instabiliteit in het op regels gebaseerde systeem aan het licht die voorheen niet was opgemerkt. De onderzoeker draaide twee verschillende versies van dezelfde regelset op de volledige collectie van 550 reacties. De eerste versie identificeerde 40 reacties als onveilig, terwijl de tweede, licht aangepaste versie er slechts acht identificeerde. Dit vijfvoudige verschil trad op zonder dat de eigenlijke inhoud van de reacties veranderde, wat bewees dat de telling van onveilige items volledig afhangt van welke versie van de regels wordt geladen. Omdat het systeem deterministisch is, reproduceert het zijn eigen fouten perfect elke keer, waardoor die fouten onzichtbaar blijven voor iedereen die alleen naar de definitieve cijfers kijkt. De twee geautomatiseerde tools stemden met elkaar overeen over ongeveer 62 procent van de items, een cijfer dat op het eerste gezicht als een sterke consensus zou kunnen lijken. Echter, deze overeenstemming was grotendeels een illusie, veroorzaakt door het feit dat de meeste reacties veilig waren. Wanneer de onderzoeker corrigeerde voor deze onbalans, was de werkelijke overeenstemming tussen de tools verwaarloosbaar, wat aantoonde dat ze elkaar niet werkelijk valideerden, maar eerder inzakkten in een standaardvoorspelling van veiligheid.

De kernbevinding is dat noch de geautomatiseerde rechter, noch de op regels gebaseerde filter op zichzelf een neutrale of geldige maatstaf voor veiligheid is. De op regels gebaseerde classifier is geen perfect standaardmiddel; het is een meetinstrument met een hoge en ongemeten foutmarge. De studie concludeert dat de enige manier om deze veiligheidscijfers te vertrouwen, het valideren van elk instrument tegen een aparte, door mensen geverifieerde benchmark is voordat resultaten worden gepubliceerd. Onderzoekers moeten niet alleen rapporteren hoe vaak een tool overeenkomt met een andere, maar ook hoe goed het de specifieke fouten vangt die er toe doen, zoals het missen van gevaarlijke inhoud. Zonder deze onafhankelijke controle loopt het vakgebied het risico veiligheidsevaluaties te bouwen op fundamenten die zelf gebrekkig zijn, waarbij de consistentie van een defect instrument wordt verward met de waarheid.