🤖 machine learning

On the Limits of Support-Preserving Alignment and Bounded Filtering

Dit artikel demonstreert theoretisch en empirisch dat alignment-schema's die interne modeldistributies behouden, wanneer deze worden gecombineerd met begrensde veiligheidsfilters, schadelijke outputs van grote taalmodellen niet volledig kunnen elimineren, zoals blijkt uit een hardnekkige empirische schadevloer over diverse modellen en query-budgetten heen.

Oorspronkelijke auteurs: Aryan Dutt, Rui Mao, Anupam Chattopadhyay

Gepubliceerd 2026-07-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aryan Dutt, Rui Mao, Anupam Chattopadhyay

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente, ongelooflijk creatieve robot probeert te leren hoe hij een goede burger kan zijn. Je wilt hem niet lobotomiseren of zijn geheugen wissen over hoe de wereld werkt; je wilt alleen zijn persoonlijkheid een zetje geven zodat hij minder snel iets gemeens of gevaarlijks zegt. Dit is de wereld van Large Language Models (LLM's), de AI-hersenen achter veel van de chatbots die we vandaag de dag gebruiken. Wetenschappers hebben een methode ontwikkeld genaamd alignment (afstemming), wat lijkt op het geven van een nieuwe set voorkeuren aan de robot. In plaats van de mogelijkheid om over gevaarlijke onderwerpen te praten te wissen, leert de robot dat die onderwerpen "minder leuk" zijn om over te praten, zodat hij meestal voor veiligere antwoorden kiest.

Er zit echter een addertje onder het gras. Zelfs als de robot de voorkeur heeft om veilig te zijn, weet hij nog steeds hoe hij gevaarlijk moet zijn. Om er zeker van te zijn dat hij geen fouten maakt, plaatsen we een "veiligheidsfilter" voor hem — een uitsmijter bij de deur van de club. Deze uitsmijter is snel en goedkoop in gebruik, maar hij kan niet zo diep of zo langzaam nadenken als de robot zelf. De grote vraag voor wetenschappers is: als we de hersenen van de robot exact hetzelfde houden (alleen een beetje bijgestuurd) en vertrouwen op een snelle, beperkte uitsmijter om de slechte dingen op te vangen, kunnen we de robot dan ooit 100% veilig maken? Of is er een klein, onzichtbaar lek dat we simpelweg niet kunnen dichten?

Het Grote AI-Veiligheidslek: Waarom "Goed Genoeg" Misschien Niet Goed Genoeg Is

In dit artikel besloten onderzoekers Aryan Dutt, Rui Mao en Anupam Chattopadhyay van de Nanyang Technological University de grenzen van deze veiligheidsopstelling te testen. Ze wilden weten of er een "harm floor" (schadevloer) bestaat — een punt waarop je, hoe hard je ook probeert, het percentage slechte antwoorden niet naar nul krijgt.

Beschouw het AI-model als een enorme bibliotheek met elk geschreven verhaal, inclusief enkele zeer gevaarlijke verhalen. Alignment is als het plakken van een "Niet Lezen"-sticker op de gevaarlijke boeken. De bibliothecaris (de AI) heeft de boeken nog steeds, maar krijgt de opdracht om eerst de veilige boeken te kiezen. De veiligheidsfilter is een beveiliger die de boeken controleert die de bibliothecaris kiest voordat je ze krijgt. Het probleem is dat de beveiliger betaald wordt om snel te zijn; ze kunnen slechts een paar pagina's bekijken of een paar snelle vragen stellen. Ze kunnen niet het hele boek langzaam lezen om een verborgen valstrik te vinden.

De onderzoekers vroegen zich af: als de bibliothecaris nog steeds de gevaarlijke boeken heeft (omdat we ze niet hebben verwijderd, maar alleen minder waarschijnlijk hebben gemaakt om te kiezen), en de bewaker te snel is om alle slechte boeken te betrappen, kunnen we dan ooit alle slechte boeken tegenhouden?

Het Experiment: De Uitsmijter tot het Uiterste Drijven

Om dit te ontdekken, zetten het team een grootschalig experiment op. Ze namen verschillende van de slimste beschikbare AI-modellen (waaronder bekende modellen zoals LLaMA en Nemotron) en plaatsten ze achter verschillende soorten "beveiligers".

Ze testten drie soorten bewakers:

De Black-Box Bewaker: Deze bewaker zoekt alleen naar specifieke "slechte woorden" of eenvoudige patronen. Hij is snel, maar een beetje dom.
De White-Box Bewaker: Deze bewaker is iets slimmer; hij kijkt naast het controleren op slechte woorden ook naar de lengte van het antwoord en hoe zelfverzekerd de AI lijkt te zijn.
De Statistical-Query Bewaker: Deze bewaker is als een detective die de AI dezelfde vraag vele malen stelt om een gevoel van de "vibe" te krijgen voordat hij een beslissing neemt.

Vervolgens voerden ze deze AI-modellen lastige vragen die bedoeld waren om hen te misleiden tot het geven van gevaarlijk advies, zoals hoe je een computer hackt of een wapen bouwt. Dit deden ze terwijl ze het "budget" voor de bewakers verhoogden — ze lieten de bewakers in feite meer vragen stellen of meer opties controleren voordat ze "ja" of "nee" zeiden.

De Ontdekking: De Muur die Niet Breekt

De resultaten waren verrassend en een beetje verontrustend.

Terwijl de onderzoekers de bewakers meer tijd en meer vragen gaven om te stellen (het budget verhogen van 1 naar 64 controles), ging het aantal gevaarlijke antwoorden wel omlaag. De bewakers werden beter in het vangen van het overduidelijke slechte gedrag. Maar hier komt de crux: het percentage slechte antwoorden bereikte nooit nul.

Hoeveel ze het budget ook verhoogden, of hoe slim de bewaker ook was, of hoe goed de AI ook was afgestemd, de gevaarlijke antwoorden stopten niet met afnemen en bereikten een vlakke lijn. Het was alsof je een badkuip probeerde leeg te scheppen met een kleine beker; uiteindelijk kun je de laatste paar druppels niet meer uit de kuip krijgen omdat de beker te klein is om het water te vangen dat in de hoekjes spat.

De onderzoekers vonden deze "harm floor" in elk model dat ze testten, van de kleinere tot de massieve, superintelligente modellen. Zelfs de best afgestemde modellen, die normaal gesproken weigeren om op slechte vragen te antwoorden, maakten nog steeds af en toe een fout wanneer de vragen slim genoeg waren.

Waarom Gebeurt Dit?

Het artikel suggereert dat dit gebeurt vanwege een mismatch in "denkdiepte". Het AI-model is als een diepzinnige denker die complexe, meerstaps scenario's kan voorstellen. De veiligheidsfilter wordt echter gedwongen om oppervlakkig en snel te zijn om de real-time chat bij te kunnen houden.

Stel je een spelletje verstoppertje voor. De AI (de verstoppertje) mag urenlang nadenken om de perfecte schuilplaats te bedenken. De filter (de zoeker) mag slechts 5 seconden zoeken. Zelfs als de verstoppertje probeert braaf te zijn, zullen er altijd een paar plekken zijn die zo slim verborgen zijn dat de 5-seconden zoeker ze mist. Omdat de AI nog steeds weet hoe hij zich in die schuilplaatsen moet verbergen (de "support" van het gevaarlijke gedrag is er nog steeds), en de zoeker niet lang genoeg kan kijken om ze allemaal te vinden, glippen er altijd enkele slechte antwoorden doorheen.

Wat Dit Betekent voor de Toekomst

De auteurs benadrukken voorzichtig dat dit niet betekent dat AI hopeloos is of dat we het moeten opgeven. Het betekent alleen dat de huidige manier van werken — het aanpassen van de voorkeuren van de AI en het toevoegen van een snelle filter erbovenop — een harde limiet heeft. Je kunt de AI veiliger en veiliger maken, maar je zult met deze specifieke methode misschien nooit "perfecte veiligheid" bereiken.

Het suggereert dat we, om het probleem echt op te lossen, misschien de hersenen van de AI zelf moeten veranderen, en niet alleen de voorkeuren moeten aanpassen of een betere uitsmijter moeten toevoegen. We moeten de AI misschien leren om bepaalde gevaarlijke dingen niet te weten, in plaats van er alleen maar op te hopen dat hij ze niet kiest om te zeggen. Totdat we dat uitzoeken, zal er altijd een klein, hardnekkig lek aan risico zijn dat we met filters alleen niet kunnen dichten.

Technische Samenvatting: Over de Limieten van Ondersteuningsbehoudende Alignement en Begrensde Filtering

Probleemstelling
Dit artikel onderzoekt een fundamentele beperking in huidige veiligheidspijplijnen voor Large Language Models (LLM's): of alignmentschema's die de outputdistributies hervormen, wanneer deze worden gecombineerd met computationeel begrensde veiligheidsfilters, de waarschijnlijkheid van schadelijk gedrag naar nul kunnen drijven. Terwijl recent onderzoek aangeeft dat schadelijk gedrag kan aanhouden onder voorkeurgebaseerde alignement en dat externe filtering te maken heeft met computationele hardheid in worst-case scenario's, blijft het onduidelijk of praktische pijplijnen—die grotendeels de interne representaties en capaciteiten van het model behouden—schadelijk gedrag volledig kunnen elimineren of slechts de meest zichtbare vormen ervan kunnen onderdrukken. De auteurs postuleren dat er een intrinsieke "harm floor" (schadegrond) kan bestaan voor alignementpijplijnen die het basismodel vast houden terwijl ze het omringen met veiligheidsfilters met strikte latentie- en compute-budgetten.

Methodologie
De studie formaliseert het veiligheidsprobleem met behulp van een framework van ondersteuningsbehoudende alignementoperatoren gecombineerd met begrensde filteringsalgoritmen.

Theoretisch Framework: De auteurs definiëren alignement als een proces dat de kansen herweegt over een vaste gedragssteun (i.e., $P_\theta(y|x) > 0 \implies P_{\theta'}(y|x) > 0$ ). Onder dit regime blijven schadelijke outputs mogelijk, zij het met een lagere waarschijnlijkheid. Ze analyseren het vermogen van begrensde filters (black-box, white-box en statistical-query) om een ideale eliminator te benaderen die alle schadelijke massa verwijdert. Theoretische argumenten suggereren dat onder deze beperkingen, begrensde filtering er mogelijk niet in slaagt om alle schadelijke outputs te elimineren die door de distributie van het basismodel worden ondersteund, vanwege computationele en informatie-theoretische barrières.
Empirische Pijplijn: De auteurs hebben een evaluatiepijplijn geconstrueerd die echte LLM's (toegankelijk via OpenRouter) omhult met drie klassen van begrensde filters:
1. Black-box filter: Selecteert laag-risico samples met behulp van een lichtgewicht keyword-gebaseerde risicoscore.
2. White-box-geïnspireerd filter: Combineert risicoscoring met lengte- en betrouwbaarheidsheuristieken.
3. Statistical-query (SQ) filter: Kalibreert een risicodrempel op basis van herhaalde queries voordat outputs worden geaccepteerd.
4. Gelaagde guardrail: Een baseline die exploit-patroondetectie, procedurele analyse en zelfkritiek combineert.
Evaluatie: Het systeem werd getest op adversariële prompts afkomstig uit gecureerde cybersecurity-scenario's en de PKU-SafeRLHF dataset. De studie varieerde de query-budgetten ( $q \in \{1, 4, 16, 64\}$ ) over een reeks state-of-the-art open-weight en hosted modellen (inclusief LLaMA-3.2, Nemotron-varianten en frontier-modellen zoals GPT-5 en Claude Opus 4.5). Schadelijkheid werd gemeten met behulp van een transparante keyword-gebaseerde predicaat.

Belangrijkste Bijdragen

Verenigd Empirisch Framework: Het artikel biedt een reproduceerbaar framework voor het meten van de "harm floors" van echte LLM's onder begrensde veiligheidsfilters, gebruikmakend van openbaar beschikbare prompts, modellen en metrieken.
Cross-Model Bewijs: Het presenteert bewijs dat ondersteuningsbehoudende alignement in combinatie met computationeel beperkte filters een niet-nul residuele waarschijnlijkheid van schadelijk gedrag achterlaat, zelfs naarmate filters worden versterkt en query-budgetten worden verhoogd.
Theoretisch-Praktische Brug: Het werk verbindt hoogwaardige onmogelijkheidsresultaten in alignement (met betrekking tot ondersteuningsbehoud en begrensde inferentie) met de concrete architectuur van gedeponeerde LLM-stacks, en suggereert dat het dichten van de residuele veiligheidskloof methoden vereist die de modelrepresentaties of het redeneren veranderen, in plaats van enkel te vertrouren op output-niveau waarschijnlijkheidsvorming.

Resultaten
De experimenten leveren drie primaire bevindingen op die overeenkomen met de onderzoeksvragen:

RQ1 (Convergentie): Het verhogen van het query-budget van begrensde veiligheidsfilters vermindert consequent de gemeten waarschijnlijkheid van schadelijke outputs, maar de snelheid vlakt af boven nul in plaats van te convergeren naar nul. Dit verzadigingsgedrag wordt waargenomen bij alle modellen en filterklassen.
RQ2 (Filterarchitectuur): Hoewel verschillende filterarchitecturen (black-box, white-box, SQ) verschillende kwantitatieve verbeteringen opleveren (bijv. black-box filters vertoonden vaak de sterkste reductie voor een bepaald budget), heeft geen enkele de schade tot nul gebracht. Alle vertoonden hetzelfde kwalitatieve patroon van een snelle initiële reductie gevolgd door een niet-nul verzadigingspunt.
RQ3 (Modelconsistentie): De niet-nul harm floors blijven bestaan over diverse modelfamilies, parameterschalen (van 3B tot 120B+) en alignement-paradigma's (RLHF, Constitutional AI, RLAIF, reasoning-based). Grotere en zwaarder op veiligheid getunede modellen bereikten lagere absolute harm floors, maar vertoonden nog steeds verzadiging boven nul.

Betekenis en Claims
Het artikel beweert de structurele condities te hebben geïdentificeerd waaronder externe filtering en waarschijnlijkheidsvorming alleen geen universele veiligheid kunnen garanderen. Specifiek, wanneer alignement de gedragssteun van het model behoudt en filters computationeel beperkt zijn, kan een residuele schadelijke massa aanwezig blijven.

De auteurs beweren niet dat alignement onmogelijk is of dat huidige systemen onvermijdelijk onveilig zijn.
In plaats daarvan stellen zij dat de "harm floor" een gevolg is van de discrepantie tussen het diepe redeneervermogen van de generator en de oppervlakkige, begrensde analyse van de filter.
De significantie ligt in het feit dat zij suggereren dat toekomstige robuuste alignement methoden vereist die veranderen wat het model kan representeren of hoe het redeneert, of dat schadelijkheids-relevante invarianten directer blootstellen aan veiligheidscomponenten, in plaats van enkel te vertrouwen op sterkere externe filters rondom een essentieel ongewijzigde generator.

De auteurs erkennen beperkingen, waarbij zij opmerken dat hun schadelijkheidslabels steunen op heuristische predicaten in plaats van menselijke evaluatie en dat de prompt-suites niet exhaustief alle adversariële strategieën dekken. De gemeten harm floors vertegenwoordigen derhalve bewijs van een persistent residueel risico onder de geëvalueerde instellingen, in plaats van definitieve ondergrenzen voor alle mogelijke veiligheidsmechanismen.

Het Grote AI-Veiligheidslek: Waarom "Goed Genoeg" Misschien Niet Goed Genoeg Is

Het Experiment: De Uitsmijter tot het Uiterste Drijven

De Ontdekking: De Muur die Niet Breekt

Waarom Gebeurt Dit?

Wat Dit Betekent voor de Toekomst

Meer zoals dit