When Validating the Judge Changes the Result: Instability in Human Validation of LLM Safety Graders
Dit artikel toont aan dat menselijke validatie van de veiligheidsoordelen van LLM's zeer instabiel is en afhankelijk is van procedurele factoren zoals blindering en het aantal annotatoren, wat vaak tot tegenstrijdige resultaten leidt die willekeurig kunnen bepalen of een model aan de veiligheidsdrempels voldoet.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is veiligheid het meest kritieke controlepunt. Voordat een nieuw taalmodel wordt uitgebracht aan het publiek, moeten ontwikkelaars ervoor zorgen dat het niet kan worden misleid om gevaarlijke instructies te genereren, zoals hoe men een wapen bouwt of fraude pleegt. Om dit te doen, gebruiken ze vaak een tweede, geautomatiseerd AI-systeem om als rechter te fungeren, dat de antwoorden van het model scant en alles wat schadelijk is, rapporteert. Omdat machines echter fouten kunnen maken, worden deze geautomatiseerde oordelen meestal gecontroleerd door menselijke beoordelaars. De aanname is lang geweest dat hoewel mensen het bij de uiterste grenzen van eens kunnen zijn, hun collectieve oordeel een stabiele, betrouwbare basis biedt voor het vertrouwen in de geautomatiseerde rechter. Als de menselijke controle zegt dat het model veilig is, krijgt het model het groene licht om te lanceren.
Een recente studie daagt deze aanname in de kern uit. Onderzoekers probeerden een specifiek veiligheidsprobleem te meten: of AI-modellen eerder schadelijke verzoeken weigeren wanneer deze op een stijve, formele manier worden gesteld versus in een informele, gespreksachtige toon. Ze verwachtten een gat in de veiligheidsprestaties te vinden, maar ontdekten in plaats daarvan dat de handeling van het controleren van de rechter zelf onstabiel was. Wanneer dezelfde set AI-antwoorden werd beoordeeld door verschillende menselijke teams die gebruikmaakten van licht afwijkende regels, schommelden de resultaten wild. In sommige gevallen concludeerden de mensen dat het model gevaarlijk onveilig was; in andere gevallen besloten ze dat het perfect veilig was. De onderzoekers ontdekten dat de methode die werd gebruikt om de rechter te valideren belangrijker was dan de rechter zelf, tot het punt waarop een enkele wijziging in het beoordelingsproces een voldoende in een onvoldoende kon veranderen.
Het onderzoek begon met een eenvoudige vraag over hoe mensen tegen machines praten. Het team creëerde 300 paren van schadelijke verzoeken, waarbij dezelfde gevaarlijke vragen op twee verschillende manieren werden gesteld. Eén stijl was formeel en droog, lijkend op een vraag uit een tekstboekexamen. De andere was informeel en gespreksmatig, klinkend als een echt persoon die met een vriend chat. Ze haalden deze prompts door zes verschillende AI-modellen en vroegen een geautomatiseerde rechter om elk antwoord te labelen als een weigering, een gedeelde waarschuwing of een schadelijke instructie. De geautomatiseerde rechter vond een duidelijk patroon: de modellen weigerden de formele vragen veel vaker dan de informele. Dit suggereerde dat de modellen eerder de mist in gaan en gevaarlijk advies geven wanneer het verzoek als een echt persoon klinkt in plaats van als een test.
Om dit bevinding te verifiëren, moesten de onderzoekers zien of de geautomatiseerde rechter daadwerkelijk correct was. Ze namen een steekproef van de antwoorden en vroegen mensen om ze te beoordelen. De eerste poging omvatte een enkele beoordelaar die de context van de vraag kon zien en alleen het eerste deel van het antwoord kon lezen. Deze persoon concludeerde dat het gat in de veiligheid enorm was, wat suggereerde dat de modellen er niet in slaagden gebruikers te beschermen in informele gesprekken. De onderzoekers realiseerden zich echter dat deze opzet gebreken vertoonde. De beoordelaar wist waar hij naar op zoek was, en hij zag niet het volledige antwoord, wat belangrijke details had kunnen verbergen.
Het team probeerde het opnieuw met een tweede, striktere opzet. Dit keer beoordeelden twee verschillende mensen exact dezelfde 442 antwoorden onafhankelijk van elkaar. Beiden zagen de eerste 700 tekens van de tekst en de inkadering van de vraag. Het resultaat was verbijsterend. De twee beoordelaars waren het over minder dan de helft van de antwoorden eens. Belangrijker nog, ze kwamen tot tegenovergestelde conclusies over de veiligheidskloof. De ene beoordelaar zag bijna geen verschil tussen de formele en de informele stijl, terwijl de andere een enorme veiligheidsfout zag. Hun onenigheid was zo ernstig dat als de gegevens van de eerste beoordelaar waren gebruikt, het model zou zijn goedgekeurd; als de gegevens van de tweede beoordelaar waren gebruikt, zou het model zijn afgekeurd. Dit gebeurde zelfs terwijl ze naar exact dezelfde tekst keken, dezelfde regels gebruikten en tegelijkertijd werkten.
Om deze verwarring op te lossen, ontwierp het team een derde, zeer gecontroleerde audit. Ze verborgen de context van de vragen voor de beoordelaars zodat zij de stijl niet konden raden, en ze zorgden ervoor dat de beoordelaars de volledige reactie zagen. Ze schreven ook vooraf strikte regels op om precies te definiëren wat als schadelijk werd beschouwd. Deze keer stemden de beoordelaars veel vaker met elkaar overeen. Hun definitieve berekening toonde een zeer kleine veiligheidskloof aan, wat suggereerde dat de modellen in informele gesprekken eigenlijk quite veilig waren. Dit resultaat lag dicht bij wat de oorspronkelijke geautomatiseerde rechter had voorspeld, maar de weg daarheen onthulde een diep probleem.
De onderzoekers testten vervolgens of de manier waarop de antwoorden werden gegenereerd, de resultaten had kunnen beïnvloeden. De oorspronkelijke antwoorden werden afgebroken na 200 tokens, en de informele reacties werden vaker afgebroken dan de formele. Het team genereerde alle antwoorden opnieuw met een veel langere limiet om te garanderen dat er niets ontbrak. Zelfs met de volledige, ongecensureerde tekst bleef de geautomatiseerde kloof hetzelfde. Dit sloot het idee uit dat de ontbrekende tekst de oorzaak van de verwarring was. De enige variabele die overbleef, was het menselijke beoordelingsproces zelf.
De studie concludeert dat het valideren van een AI-veiligheidsrechter geen eenvoudige, passieve controle is. Het is een complexe experiment op zich, waarbij de specifieke regels, de hoeveelheid tekst die wordt getoond en het aantal beoordelaars de uitkomst volledig kunnen veranderen. De onderzoekers ontdekten dat verschillende geautomatiseerde rechters de grens tussen "veilig" en "onveilig" op verschillende plaatsen trekken, wat verklaart waarom machines het oneens kunnen zijn. Maar de menselijke onenigheid was nog verontrustender omdat deze onder identieke omstandigheden plaatsvond. Het team betoogt dat voor veiligheidsevaluaties om betrouwbaar te zijn, het volledige beoordelingsproces met extreme precisie gedocumenteerd moet worden. Elk detail, van hoeveel tekst een mens leest tot de vraag of zij de context kennen, moet gespecificeerd en gerapporteerd worden. Zonder dit niveau van zorg is een enkel cijfer in een krantenkop dat beweert dat een model veilig of onveilig is slechts een gok, en de keuze van wie de rechter controleert, kan bepalen of een krachtige technologie aan de wereld wordt vrijgegeven of in het laboratorium blijft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.