What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
Dit artikel onthult dat huidige detectoren voor naleving lijden aan "regelblindheid", waarbij ze er niet in slagen om werkelijk te vertrouwen op de geformuleerde regelgeving in plaats van op oppervlakkige kenmerken, en demonstreert dat zelfs de voorgestelde trainingsvrije Internal Compliance Score (ICS) een gebrek aan robuustheid vertoont tegen triviale baselines en adaptieve aanvallen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne digitale wereld fungeren grote taalmodellen als krachtige motoren voor het genereren van tekst, van het opstellen van e-mails tot het beantwoorden van complexe vragen. Wanneer deze hulpmiddelen echter worden gebruikt in gereguleerde velden zoals de financiële sector, de gezondheidszorg of de juridische sector, moeten ze strikte geschreven regels volgen. Een bank kan bijvoorbeeld een beleid hebben dat persoonlijke gegevens binnen negentig dagen moet worden verwijderd. Om ervoor te zorgen dat de AI dit opvolgt, zetten bedrijven vaak "guard models" in—gespecialiseerde classificatiesystemen die getraind zijn om de output van de AI te scannen en overtredingen te signaleren. De hoop is dat deze bewakers de specifieke regel lezen en controleren of het antwoord van de AI ermee overeenkomt. Als de bewaker correct werkt, zou hij alleen een overtreding moeten signaleren wanneer de specifieke regel wordt geschonden, en niet alleen omdat het onderwerp risicovol klinkt.
Een team onderzoekers van Lexsi Labs zette zich het doel om te testen of deze nalevingsmonitors daadwerkelijk de regels begrijpen die ze geacht worden te handhaven. Ze onderzochten een fenomeen dat zij "rule blindness" (regelblindheid) noemen. Dit treedt op wanneer een detector hetzelfde oordeel geeft, ongeacht de regel die hij zou moeten controleren. Stel je een beveiligingsbeambte voor in een museum die elke bezoeker met een rode tas tegenhoudt, niet omdat rode tassen verboden zijn, maar omdat de beambte simpelweg heeft geleerd de kleur rood met gevaar te associëren. Als het museum de regel verandert naar een verbod op blauwe tassen, zou een regelblinde beambte nog steeds de rode tassen tegenhouden en de blauwe tassen negeren, waardoor hij de nieuwe instructie volledig mist. De onderzoekers wilden weten of de digitale bewakers die onze gegevens beschermen, last hadden van hetzelfde probleem.
Het team begon door een breed scala aan bestaande guard-modellen en activatieprobes te testen—instrumenten die in de interne werking van de AI kijken om diens intenties te raden. Ze gebruikten een methode van counterfactual testing (contrafactische testen), wat inhoudt dat de input op specifieke manieren wordt gewijzigd om te zien hoe het systeem reageert. In hun experimenten namen ze een scenario waarin gegevens vierhonderd dagen werden bewaard, wat duidelijk een schending is van een negentigdagenregel. Vervolgens vervingen ze die negentigdagenregel door een totaal andere, ongerelateerde regel, of verwijderden ze de regel zelfs volledig. Tot hun verbazing signaleerden de guard-modellen de overtreding net zo vaak, en met dezelfde mate van zekerheid, zelfs wanneer de leidende regel verdwenen of gewijzigd was. De detectoren volgden het scenario—het feit dat gegevens te lang werden bewaard—in plaats van de specifieke regel die het een overtreding maakte. Dit falen was niet beperkt tot één type model; het kwam voor bij vaste veiligheidsclassificaties die de regel helemaal niet zien, en zelfs bij geavanceerde "policy-conditioned" guards die expliciet zijn ontworpen om aangepaste regels te lezen en te volgen. Eén van die guards citeerde correct de positie van de regel in de tekst in eenijnegentig tot vijfendertig procent van de gevallen, maar het uiteindelijke oordeel veranderde nauwelijks wanneer de regel werd vervangen door een permissieve regel die het gedrag toestond.
Om te begrijpen wat deze systemen daadwerkelijk lazen, bouwden de onderzoekers een nieuwe, specifiek hiervoor ontwikkelde benchmark. Ze creëerden een test waarbij het antwoord volledig afhangt van de interactie tussen een specifieke regel en een specifiek scenario, waarbij wordt gewaarborgd dat noch de tekst van de regel, noch de tekst van het scenario alleen de uitkomst kan voorspellen. Bijvoorbeeld: een regel kan zeggen dat een bank controles kan vereenvoudigen voor rekeningen onder duizend dollar, terwijl een andere regel de limiet op vijfduizend dollar stelt. Als een scenario een rekening beschrijft met twee duizend dollar, hangt het oordeel volledig af van welke regel actief is. Toen ze hun tests draaiden op deze onvermengde benchmark, presteerde elke efficiënte detector die ze probeerden, inclusief hun eigen nieuwe instrument, niet beter dan willekeurige gokken. Het enige systeem dat slaagde, was een groot taalmodel dat stap voor stap kon redeneren, door het probleem te ontleden voordat het een antwoord gaf. Dit suggereerde dat de snelle, geautomatiseerde detectoren de regel niet samenvoegden met het scenario, maar simpelweg een breed signaal van "overtreding" herkenden op basis van de oppervlakkige kenmerken van de tekst.
Vervolgens introduceerden de onderzoekers een nieuw, training-vrij instrument genaamd de Internal Compliance Score. Deze methode leest direct de interne activatiesignalen van de AI en heeft slechts tien paren voorbeelden nodig om te kalibreren. Het is uiterst goedkoop en snel, zonder dat er hertraining of extra verwerkingsstappen nodig zijn. Ze ontdekten dat dit instrument uitstekend was in het rangschikken van kandidaat-antwoorden, wat hielp bij het selecteren van het meest conforme antwoord uit een lijst met opties. In tests verbeterde het de slagingskans voor instructievolgende taken met vijf procentpunt. Echter, dezelfde regelblindheid die de andere bewakers teisterde, trof ook deze nieuwe score. Wanneer de regel werd verwijderd of gewijzigd, bleef de score ongewijzigd. Het instrument mat effectief een algemeen gevoel van risico in plaats van een specifieke naleving van de geschreven regel. Bovendien ontdekten de onderzoekers dat dit voordeel fragiel was; een slimme, adaptieve aanval kon het systeem gemakkelijk misleiden door enkele specifieke woorden aan het einde van een reactie toe te voegen, waardoor de score tot het niveau van willekeur zakte.
De studie onthulde ook een dieper liggend probleem met de manier waarop naleving momenteel wordt gemeten. De onderzoekers auditeerden zeven publieke benchmarks die worden gebruikt om deze systemen te testen en vonden dat vier ervan "lexicaal degeneratief" waren. Dit betekent dat de labels voor de vraag of een reactie conform was of niet, in de tekst zelf waren ingebakken, vaak door de manier waarop het scenario was geschreven of de uitspraak werd genarreerd. Een eenvoudig computerprogramma dat alleen woorden telde, zonder enige regels te begrijpen, kon deze benchmarks met hoge nauwkeurigheid oplossen. Dit impliceert dat veel eerdere claims over het vermogen van een model om regels te volgen, in feite claims waren over het vermogen om specifieke woorden of zinstructuren te herkennen. De onderzoekers concludeerden dat hoewel deze detectoren nuttig zijn voor het sorteren en rangschikken van reacties, ze niet kunnen worden vertrouwd voor het nemen van juridische of audit-beslissingen op basis van specifieke regels. Ze bieden de schijn van regel-specifieke zekerheid, maar in werkelijkheid zijn ze blind voor de regels die ze geacht worden te handhaven. Het paper eindigt met de publicatie van de instrumenten en protocollen die voor deze tests zijn gebruikt, zodat anderen toekomstige systemen op deze zelfde blindheid kunnen controleren voordat ze in de echte wereld worden ingezet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.