ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

Stel je voor dat je naar een goocheltruc kijkt waarbij de goochelaar een superintelligente robot is die verhalen kan schrijven, wiskundige problemen kan oplossen of zelfs als een vriend kan chatten. Deze robot wordt een Large Language Model (LLM) genoemd. Hij is ongelooflijk getalenteerd, maar zoals elke krachtige tool heeft hij ook een duistere kant: soms kan hij erin worden gelokt om iets gevaarlijks, gemeens of illegale dingen te zeggen, zoals hoe je een bom bouwt of iemand pijn doet. Dit is een grote zorg voor iedereen die deze robots in de echte wereld gebruikt.

Om te voorkomen dat de robot het geheim van slechte ideeën verklapt, plaatsen we meestal een "guardrail" (een vangrail). Denk aan een guardrail als een strenge uitsmijter bij een club. In het verleden keek deze uitsmijter alleen naar de voltooide zin die de robot schreef. Als de zin er slecht uitzag, zette de uitsmijter de robot eruit. Maar er was een probleem: de uitsmijter was te traag. Tegen de tijd dat de robot zijn hele zin had afgemaakt, was de schade al aangericht. Ook was de uitsmijter een beetje te zwart-wit. Hij begreep niet dat de robot onzeker was over wat hij als volgende zou zeggen. Het was alsof de uitsmijter alleen het definitieve ticket controleerde, terwijl hij de nerveuze trillingen in de handen van de robot negeerde terwijl deze nog aan het beslissen was wat hij moest zeggen.

Dit is waar een nieuw idee genaamd ProbGuard om de hoek komt kijken. In plaats van te wachten tot de robot zijn zin heeft afgemaakt, werkt ProbGuard als een superobservante detective die het denkproces van de robot in de gaten houdt terwijl het nog gaande is. Hij kijkt niet alleen naar de woorden die de robot al heeft getypt; hij kijdt naar het "onderbuikgevoel" van de robot over welk woord hij erه als volgende zou kunnen zeggen. Hij berekent de kans dat de robot van het pad af raakt. Als de detective ziet dat de robot een kans van 90% heeft om over een paar seconden iets gevaarlijks te zeggen, trekt ProbGuard onmiddellijk de noodrem aan en stopt de robot voordat hij zelfs maar zijn zin heeft afgemaakt. Het is alsoer dat je een auto ziet uitwijken en deze stopt voordat hij crasht, in plaats van te wachten tot de crash gebeurt en dan pas de politie te bellen.

Het Probleem met Oude Guardrails

Het artikel legt uit dat de oude manier van werken lijkt op een spelletje "Raad het Woord" waarbij je pas de definitieve antwoorden te zien krijgt. De meeste huidige veiligheidssystemen werken als een eenvoudige classifier: ze nemen een voltooide zin en zeggen: "Veilig" of "Onveilig".

De auteurs stellen dat dit twee grote gebreken heeft:

1. Het is te laat: Tegen de tijd dat de zin klaar is, is het te laat om de slechte output te stoppen.
2. Het negeert het "misschien": Veiligheid is niet altijd een ja-of-nee-vraag, vooral niet wanneer de robot nog aan het nadenken is. Een robot kan een zin beginnen die onschuldig lijkt, maar die gemakkelijk in een gevaarlijke zin kan veranderen. De oude systemen negeren de interne "onzekerheid" van de robot en kijken alleen naar de uiteindelijke tekst. Ze negeren het feit dat de robot aarzelde of veel verschillende paden overwagde, waarvan sommige veilig en andere gevaarlijk waren.

Hoe ProbGuard Werkt: De Kristallen Bol Benadering

ProbGuard verandert het spel door veiligheid te behandelen als een waarschijnlijkheid, niet als een simpel label. Stel je voor dat de robot bij een kruispunt staat. De oude guardrails wachten tot de robot een pad kiest en eroverheen loopt om te zien of het naar een klif leidt. ProbGuard kijkt echter naar de kaart die de robot vasthoudt terwijl hij daar staat.

Hier is de stapsgewijze goocheltruc die ProbGuard gebruikt:

1. De "Wat als"-simulatie (Monte Carlo Sampling)
Om te weten hoe gevaarlijk de huidige gedachte van een robot is, vraagt ProbGuard een simpele vraag: "Als we deze robot vanaf dit exacte moment laten verder praten, wat zijn de kansen dat hij iets slechts zegt?"
Omdat we de toekomst niet perfect kunnen voorspellen, speelt ProbGuard het scenario duizenden keren in zijn hoofd af. Het simuleert dat de robot de zin op 16 verschillende manieren afmaakt (zoals 16 keer met een dobbelsteen gooien om de kansen te zien). Als de robot in 15 van de 16 gevallen iets veiligs zegt, maar in 1 geval iets gevaarlijks zegt, weet ProbGuard dat er een klein risico is. Als de robot in 10 van de 16 gevallen iets slechts zegt, is het risico groot. Dit geeft het een precieze "gevaarscore" (een getal tussen 0 en 1) in plaats van een simpel "Veilig/Onveilig" label.

2. Het Lezen van de "Geest" van het Volgende Woord
Wanneer een robot tekst genereert, kiest hij niet zomaar één woord; hij berekent de waarschijnlijkheid voor elk mogelijk volgend woord. Bijvoorbeeld, als de robot over het punt komt om te zeggen "De lucht is...", denkt hij misschien: "Blauw" (30% kans), "Groen" (5% kans), "In brand" (2% kans).
Oude systemen kijken meestal alleen naar het woord "Blauw" omdat dat de hoogste kans heeft. ProbGuard kijelt echter naar de volledige lijst van mogelijkheden. Het ziet dat "In brand" een kleine kans heeft, maar als die kleine kans tot een ramp leidt, dan doet dat ertoe. ProbGuard zet deze volledige lijst van waarschijnlijkheden om in een speciale code (een "waarschijnlijkheids-gewogen representatie") die het kan lezen zonder in het geheime brein (de verborgen toestanden) van de robot te hoeven kijken. Dit zorgt ervoor dat ProbGuard met elke soort robot werkt, niet alleen met één specifings merk.

3. De Vroege Stop
Zodra ProbGuard de gevaarscore heeft berekend, kan het direct handelen. Het artikel laat zien dat ProbGuard slechts de eerste 10 woorden (of decodingsstappen) die de robot typt, kan bekijken en kan beslissen of het gevaarlijk gaat worden. Als de gevaarscore te hoog is, stopt ProbGuard de robot direct op dat punt.

Wat de Cijfers Zeggen

De onderzoekers hebben ProbGuard getest tegen 13 andere veiligheidsmethoden, inclus_ de huidige top-guards zoals Llama-Guard3 en ShieldGemma. Ze gebruikten drie verschillende soorten robots en drie verschillende sets gevaarlijke vragen om te zien wie het beste was in het voorspellen van problemen.

• Kalibratie: Dit is een chique woord voor "hoe eerlijk de robot is over zijn eigen risico." Als ProbGuard zegt dat er een kans van 90% op gevaar is, gebeurt dat dan ook daadwerkelijk in 90% van de gevallen? Het onderzoek vond dat ProbGuard hierin veel beter was dan iedereen anders. Het verminderde de fout in de risicovoorspellingen met ongeveer 79,6% vergeleken met de beste vorige methode.
• Het Stoppen van Aanvallen: Het team probeerde de robots te misleiden met zes verschillende "jailbreak"-technieken (speciale trucjes om robots de regels te laten negeren). ProbGuard was ongelooflijk effectief. Na het zien van slechts de eerste 10 woorden stopte het de aanvallen bijna volledig, waardoor het succespercentage van deze trucjes maximaal op 1% bleef. Ter vergelijking: de beste oude guardrail liet ongeveer 2,4% van de aanvallen slagen.
• Snelheid: ProbGuard is ook snel. Het kan 1.000 monsters controleren in ongeveer 36,4 seconden, wat ongeveer 52,7% sneller is dan sommige van de andere zware veiligheidssystemen.

De Kern van het Verhaal

Het artikel concludeert dat ProbGuard een grote stap voorwaarts is omdat het veiligheid niet langer behandelt als een simpele "ja of nee" checklist. In plaats daarvan behandelt het veiligheid als een vloeiende, veranderende waarschijnlijkheid die gemeten en beheerd kan worden terwijl de robot aan het denken is.

Door gebruik te maken van de eigen "onderbuikgevoelens" (de outputdistributie) van de robot en door vele mogelijke toekomsten te simuleren, kan ProbGuard gevaarlijke ideeën opvangen voordat ze zelfs maar volledige zinnen zijn. Het werkt bij verschillende robotmodellen, heeft geen toegang nodig tot hun geheime brein, en doet dit alles met hoge nauwkeurigheid en snelheid. De auteurs suggereren dat deze aanpak ons in staat stelt om veiligere AI-systemen te bouwen die in de allereerste momenten van een fout gestopt kunnen worden, in plaats van te wachten tot de hele ramp zich voltrekt.