Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

In de snel expanderende wereld van kunstmatige intelligentie zijn grote taalmodellen waardevol intellectueel eigendom geworden, vergelijkbaar met een geheim recept of een propriëtair ontwerp. Omdat deze modellen zo waardevol zijn, is er een groeiende angst dat kwaadwillenden de onderliggende code, bekend als gewichten (weights), kunnen stelen door het systeem te misleiden om zijn interne berekeningen te onthullen tijdens normaal gebruik. Om dit te stoppen, heeft een onderzoeker een verificatiemethode ontwikkeld die fungeert als een beveiligingscontrolepunt. Dit systeem controleert of de keuzes die een model maakt bij het genereren van tekst consistent zijn met een specifieke, gedeelde geheime sleutel. Het systeem staat een kleine hoeveelheid natuurlijke fout toe, in de wetenschap dat computerhardware niet perfect nauwkeurig is en soms minuscule, willekeurige fouten maakt bij het beslissen tussen twee zeer vergelijkbare opties. Deze ingebouwde tolerantie voor fouten is bedoeld als een veiligheidsfunctie, om ervoor te zorgen dat eerlijke gebruikers niet ten onrechte worden beschuldigd van het schenden van regels wanneer hun computer simpelweg even twijfelt.

Een onderzoeker aan de Delftse Universiteit van Technologie testte onlangs de sterkte van dit beveiligingscontrolepunt tegen een meer sluwe vorm van aanvaller. Zij ontdekten dat het vangnet van het systeem, dat ontworpen was om kleine hardwarefoutjes te vergeven, verbreed kon worden tot een enorme lek door een tegenstander die weet hoe hij de vragen aan het model moet manipuleren. De onderzoeker ontdekte dat door het model prompts te voeren die normale taalregels breken en verwarring creëren, een aanvaller het model kan dwingen onzeker te worden over zijn volgende woord. Deze onzekerheid vergroot de lijst met acceptabele antwoorden die het beveiligingssysteem zal tolereren, waardoor een smal, veilig pad effectief wordt veranderd in een brede snelweg voor het stelen van informatie. Hun werk suggereert dat de huidige verdediging, die gekalibreerd is aan de hand van normale, alledaagse gesprekken, niet sterk genoeg is om een vastberaden aanvaller te stoppen die weet hoe hij de eigen verwarring van het model kan uitbuiten.

De kern van het probleem ligt in de manier waarop het beveiligingssysteem beslist wat een legitieme fout is en wat een gestolen geheim. Wanneer een model tekst genereert, berekent het de waarschijnlijkheid van elk mogelijk volgende woord. Meestal is één woord duidelijk de beste keuze, en het systeem zet daarop in. Echter, wanneer het model onzeker is, kunnen twee of meer woorden bijna identieke scores hebben. Op deze momenten van besluiteloosheid kunnen de minuscule, willekeurige fluctuaties in de computerhardware de uiteindelijke keuze van het ene woord naar het andere doen omslaan. Het beveiligingssysteem is gebouwd om deze wisselingen te vergeven, uitgaande van de aanname dat dit slechts onschadelijke ruis is. De onderzoeker realiseerde zich dat als een aanvaller een situatie kan creëren waarin het model constant onzeker is, hij het systeem kan dwingen een veel breder scala aan uitkomsten te accepteren. Door dit te doen, kan de aanvaller verborgen gegevens coderen in de specifieke keuze van een woord, waarbij hij de tolerantie van het systeem voor fouten gebruikt als een geheim kanaal om informatie te lekken.

Om deze theorie te testen, zette de onderzoeker een reeks experimenten op met zes verschillende taalmodellen van variërende grootte, variërend van kleine modellen met 1 miljard parameters tot massieve systemen met 32 miljard parameters. Zij begonnen met het vaststellen van een baseline met 150 standaard, onschuldige prompts, vergelijkbaar met de vragen die een gebruiker aan een chatbot zou stellen in een normaal gesprek. Onder deze omstandigheden werkte het beveiligingssysteem zoals bedoeld. De lijst met acceptabele woorden bestond bijna altijd uit slechts één optie, wat betekende dat het model gedwongen werd deterministisch te zijn. In deze staat vertraagde het systeem elke poging tot diefstal van gegevens met een factor van meer dan 200 keer, waardoor de diefstal praktisch onmogelijk werd. Dit bevestigde dat de verdediging effectief was tegen passieve aanvallers die het model gebruiken zoals het bedoeld is.

De onderzoeker introduceerde vervolgens drie verschillende soorten aanvallen, elk ontworpen om het vermogen van het model om het volgende woord met vertrouwen te voorspellen te verstoren. Het eerste type, genaamd "terse" (kortaf), gebruikte zeer korte prompts met weinig context die het eerste woord van een reactie isoleerden. Het tweede type, "scramble" (door elkaar gehusseld), gebruikte lijsten van ongerelateerde items en instructies die de normale grammaticale regels braken. Het derde en meest effectieve type, "cipher" (cijfer), gebruikte reeksen tekens, cijfers en symbolen uit verschillende schriftsystemen die geen logische onderlinge samenhang hadden. Deze prompts waren ontworpen om het interne begrip van het model over hoe woorden bij elkaar passen te verstoren, waardoor het model gedwongen wordt te vertrouwen op willekeur in plaats van geleerde patronen. De onderzoeker genereerde 150 van deze adversariële prompts voor elk type aanval en draaide ze drie keer door de modellen om de resultaten consistent te waarborgen.

De resultaten toonden een dramatische verschuiving in de prestaties van het systeem. Wanneer de modellen werden gevoed met de "cipher"-prompts, die het model op het niveau van individuele tekens en scripts verstoorden, explodeerde de tolerantie voor fouten van het beveiligingssysteem. In plaats van dat de lijst met acceptabele woorden slechts één item bevatte, werd deze aanzienlijk groter. Deze expansie stelde de aanvaller in staat om ongeveer twee keer zoveel verborgen informatie per woord te extraheren vergeleken met de onschuldige baseline. Bij gevolg was de vertragingsfactor, die eerder een enorme barrière van meer dan 200 keer was, gekrompen tot tussen de 60 en 118 keer, afhankelijk van het specifieke model dat werd gebruikt. Voor de grootste modellen werd de verdediging ongeveer drie keer minder effectief dan oorspronkelijk gedacht. De "scramble"-prompts toonden ook aanzienlijk succes, terwijl de "terse"-prompts de verdediging op kleinere modellen ironisch genoeg juist sterker maakten, waardoor ze voorspelbaarder werden en minder vatbaar voor de onzekerheid die de aanvaller probeerde te creëren.

Deze bevindingen wijzen erop dat de huidige methode van verificatie te rigide is. Het vertrouwt op een statische drempel voor wat als een acceptabele fout wordt beschouwd, een drempel die is ingesteld op basis van hoe het model zich gedraagt tijdens een normaal, beleefd gesprek. De studie demonstreert dat deze aanpak faalt wanneer de input is ontworpen om de verwarring van het model te maximaliseren. De onderzoeker concludeert dat voor deze verdediging echt veilig te zijn, het systeem dynamisch moet zijn. In plaats van een vaste regel te gebruiken, moet de verifieerder constant meten hoe onzeker het model is bij elke stap en de tolerantie voor fouten dienovereenkomstig aanpassen. Als het model in verwarring is, moet het systeem de regels aanscherpen; als het model zeker is, kan het de regels versoepelen. Zonder deze dynamische aanpassing blijft de beveiligingscontrole kwetsbaar voor een aanvaller die weet hoe hij de onzekerheid van het model zelf als wapen kan inzetten.

De implicaties van dit werk reiken verder dan alleen de specifieke methode die is getest. Het belicht een fundamentele spanning bij het beveiligen van kunstmatige intelligentie: verdedigingen die zijn gekalibreerd voor normaal gedrag, falen vaak tegen actieve, intelligente tegenstanders die de omgeving kunnen manipuleren om die aannames te breken. De onderzoeker beweerde niet de technologie volledig te hebben gebroken, maar toonde wel aan dat de veiligheidsmarges veel dunner zijn dan voorheen werd aangenomen. Zij bewezen dat door simpelweg de aard van de gestelde vragen te veranderen, een aanvaller de snelheid waarmee de geheimen van een model kunnen worden gestolen, kan verdubbelen. Dit suggereert dat toekomstige beveiligingsontwerpen niet kunnen vertrouwen op de aanname dat inputs onschuldig zullen zijn. Ze moeten gebouwd worden om stand te houden tegen de specifieke, berekende chaos die een intelligente aanvaller kan introduceren, om ervoor te zorgen dat de tolerantie van het systeem niet de weg wordt die de diefstal mogelijk maakt.