💬 NLP

Trust The Typical

Het artikel introduceert Trust The Typical (T3), een nieuw LLM-veiligheidsframework dat bescherming behandelt als een out-of-distribution detectieprobleem door de distributie van veilige prompts te leren zonder schadelijke trainingsdata te vereisen, waardoor het een state-of-the-art prestatie bereikt over diverse dreigingen en talen terwijl de overhead tijdens inferentie laag blijft.

Oorspronkelijke auteurs: Debargha Ganguly, Sreehari Sankar, Biyao Zhang, Vikash Singh, Kanan Gupta, Harshini Kavuru, Alan Luo, Weicong Chen, Warren Morningstar, Raghu Machiraju, Vipin Chaudhary

Gepubliceerd 2026-02-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Debargha Ganguly, Sreehari Sankar, Biyao Zhang, Vikash Singh, Kanan Gupta, Harshini Kavuru, Alan Luo, Weicong Chen, Warren Morningstar, Raghu Machiraju, Vipin Chaudhary

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Stop met het jagen op schaduwen, begin met het kennen van het licht

Stel je voor dat je probeert een feestje veilig te houden. De oude manier om dit te doen is door een uitsmijter in te huren die een enorme, steeds groeiende lijst heeft van "slechte gasten" (mensen met specifieke tatoeages, die specifieke hoeden dragen of specifieke zinnen zeggen). Elke keer als er een nieuwe slechte gast opduikt met een hoed die de uitsmijter nog nooit heeft gezien, glippen ze naar binnen. De uitsmijter moet zijn lijst constant bijwerken, maar de slechte gasten zijn altijd een stap vooruit en verzinnen steeds nieuwe vermommingen.

De auteurs van dit paper stellen dat dit "kat-en-muisspel" kapot is. In plaats van te proberen te onthouden op welke manieren iemand slecht kan zijn, stellen ze een slimmere aanpak voor: Leer zo goed wat "normaal" is, dat alles wat vreemd is direct opvalt.

Ze noemen hun nieuwe systeem T3 (Trust The Typical).

Hoe T3 werkt: De "Menigte"-analogie

Stel je een enorme, onzichtbare kamer voor vol met miljoenen mensen.

De Veilige Mensen: Wanneer normale, behulpzame mensen met een AI praten, klonteren hun woorden samen in een specifieke, comfortabele hoek van de kamer. Ze staan allemaal dicht bij elkaar en vormen een compacte, voorspelbare menigte. In wiskundige termen wordt dit de "Typical Set" genoemd.
De Slechte Actoren: Wanneer iemand probeert de AI te misleiden (een "jailbreak" of een giftige prompt), moeten ze iets ongewoons zeggen om de regels te omzeilen. Omdat ze proberen slinks te zijn, eindigen ze ver weg van de menigte, in de lege, vreemde hoeken van de kamer.

T3 geeft niet om wat de slechte persoon zegt. Het kijkt alleen naar waar diegene staat. Als je midden in de veilige menigte staat, is het goed met je. Als je alleen in de donkere hoek staat, markeert T3 je als een potentieel gevaar.

Waarom dit een grote zaak is

Het paper beweert dat T3 drie grote problemen oplost die andere veiligheidstools hebben:

1. Het heeft geen "Gezocht"-lijst nodig

De Oude Manier: Je hebt een lijst nodig van elke ooit uitgevonden slechte zin. Als een slechte gast een nieuwe zin verzint, mis je hem.
De T3-Manier: Je hebt alleen een lijst van goede zinnen nodig. T3 leert hoe "goed" eruitziet. Als iets niet in het "goede" patroon past, wordt het geblokkeerd. Dit betekent dat het nieuwe, nog nooit eerder geziene aanvallen kan vangen zonder dat het opnieuw getraind hoeft te worden.

2. Het beschuldigt geen goede mensen (Vals Positieven)

Het Probleem: Oude veiligheidstools zijn zo bang om een slechte gast te missen, dat ze vaak onschuldige mensen blokkeren. Als je bijvoorbeeld een medische vraag stelt die enigszins complex klinkt, kan een oude tool denken: "Dat klinkt als een gevaarig verzoek!" en weigeren te antwoorden. Dit wordt "over-refusal" genoemd.
Het T3-Resultaat: Het paper stelt dat T3 veel nauwkeuriger is. Het verminderde het aantal valse alarmen met wel 40 keer vergeleken met andere tools. Het begrijpt het verschil tussen een complexe maar veilige vraag en een echt gevaarige vraag, omdat het de "vorm" van veilige taal begrijpt.

3. Het werkt overal (Geen vertaling nodig)

Het Probleem: Meestal, als je wilt dat een AI veilig is in het Spaans, Frans of Japans, moet je voor elke taal een heel nieuw veiligheidssysteem trainen.
Het T3-Resultaat: De auteurs hebben T3 alleen getraind op Engelse veilige tekst. Verrassend genoeg werkt het perfect op meer dan 14 andere talen (waaronder Japans en Arabisch) zonder extra training. Het lijkt erop dat "slechte" taal op dezelfde manier vreemd oogt, ongeacht de taal waarin het gesproken wordt.

De "Snelheidstest": Het vertraagt de boel niet

Een van de grootste angsten bij veiligheidstools is dat ze de AI traag maken. Stel je een auto voor met een bewaker die elke passagier moet stoppen en controleren voordat ze mogen rijden.

De auteurs hebben T3 direct geïntegreerd in de motor die veel AI-systemen aandrijft (genaamd vLLM). Ze ontdekten dat T3 de veiligheid van de woorden van de AI kan controleren terwijl de AI ze nog aan het typen is.

Het Resultaat: Het voegt minder dan 6% extra tijd toe aan het proces.
De Analogie: Het is als een beveiligingsbeambte die naast de bestuurder loopt en de weg in realtime controleert, zonder de auto ooit merkbaar te laten stoppen of vertragen.

Wat het paper niet zegt (Belangrijke beperkingen)

Het paper is eerlijk over waar T3 moeite mee zou kunnen hebben:

Het "Grijze Gebied"-probleem: Als de "veilige" trainingsdata zelf enkele slechte woorden bevat (zoals een dataset van discussies waarin mensen scheldwoorden gebruiken maar nog steeds "veilig" zijn in context), kan T3 in de war raken. Het vertrouwt erop dat de trainingsdata werkelijk "veilig" is. Als de trainingsdata rommelig is, wordt het systeem ook rommelig.
Het is geen magie: Het werkt het best wanneer er een duidelijke lijn is tussen "veilig" en "onveilig". Als het verschil extreem subtiel is (zoals één woord dat een zin van behulpzaam naar schadelijk verandert), kan het moeilijker te detecteren zijn, hoewel het nog steeds erg goed presteerde op lastige "jailbreak"-tests.

Samenvatting

Trust The Typical is een nieuwe manier om AI veilig te houden. In plaats van te proberen te onthouden wat een AI allemaal slecht zou kunnen zeggen, leert het zo diep wat "goed" eruit ziet, dat alles wat "vreemd" of "slinks" is, direct wordt opgemerkt. Het is sneller, vangt meer nieuwe soorten aanvallen, maakt minder fouten bij onschuldige gebruikers en werkt over vele talen zonder extra training nodig te hebben.

Technische Samenvatting: Trust The Typical (T3)

Probleemstelling

Huidige veiligheidsparadig's voor Large Language Models (LLM's) zijn fundamenteel reactief en vertrouwen op gespecialiseerde classificaties die getraind zijn om bekende categorieën van schadelijke inhoud te detecteren via expliciete patroonherkenning. Deze "kat-en-muis"-dynamiek creëert een inherente asymmetrie: aanvallers hoeven alleen maar nieuwe prompt-structuren te ontdekken die buiten de trainingsdistributie van de veiligheidsclassifiers vallen, terwijl verdedigers continu catalogi van schadelijke patronen moeten uitbreiden. Bijgevolg kunnen geavanceerde alignment-technieken zoals Reinforcement Learning from Human Feedback (RLHF) en Constitutional AI geen robuustheid garanderen tegen adversariële inputs die buiten hun trainingsdistributies vallen. Bovendien lijden deze reactieve methoden vaak aan hoge fout-positieveven (over-refusal), waarbij onschuldige maar uitdagende prompts worden geblokkeerd, en hebben ze moeite met generalisatie over diverse domeinen en talen zonder uitgebreide hertraining.

Methodologie: Trust The Typical (T3)

Het artikel introduceert Trust The Typical (T3), een framework dat LLM-veiligheid herkadert van reactieve patroonherkenning naar proactieve statistische modellering op basis van het principe van typicaliteit. Afgeleid van informatietheorie, stelt T3 dat legitieme gebruikersinteracties een geconcentreerd gebied bezetten in de semantische representatieruimte van het model (de "typische verzameling"), terwijl adversariële prompts, door ontwerp, moeten afwijken van natuurlijke taalpatronen om kwetsbaarheden uit te buiten, wat zich manifesteert als out-of-distribution (OOD) punten.

Kernmechanisme

T3 operationaliseert dit principe door de geometrische structuur van veilig taalgebruik te leren en afwijkingen te detecteren, zonder dat hiervoor training op schadelijke voorbeelden nodig is. De methodologie omvat:

Multi-View Embedding: Voor elke tekststeekproef gebruikt T3 drie sentence transformers (Qwen3-Embedding-0.6B, BGE-M3 en E5-Large-v2) om genormaliseerde embeddings op een eenheids-hypersfeer te genereren.
PRDC-metrieken: Het framework berekent vier geometrische kenmerken per punt om de relatie tussen test- en referentiedistributies vast te leggen:
- Precision (Precisie): Of het testpunt binnen de unie van $k$ -dichtstbijzijnde buur-ballen van de referentieverzameling valt.
- Recall (Recall): De proportie referentiepunten waarvan de $k$ -dichtstbijzijnde buren het testpunt bevatten.
- Density (Dichtheid): De proportie referentiepunten die het testpunt binnen hun $k$ -dichtstbijzijnde buren hebben.
- Coverage (Dekking): Of het testpunt enige referentiepunten heeft binnen zijn $k$ -dichtstbijzijnde buren.
Theoretische Fundering: Het artikel biedt een rigoureuze theoretische analyse (Theorem 3.1 en Appendix A) die de verwachte waarden van deze metrieken onder de nulhypothese (in-distributie) vaststelt en aantoont dat ze consistent zijn in het onderscheiden van distributies onder partiële ondersteuningsmismatch, dichtheidsverschuivingen en lokale perturbaties.
Anomaly Scoring (Anomalie-score): De PRDC-metrieken van alle encoders worden geaggregeerd tot één enkele representatie. Een dichtheidsschatter (Gaussian Mixture Model of One-Class SVM) wordt alleen getraind op de uit de PRDC-metrieken afgeleide data van veilige, in-distributie data. De anomalie-score voor een testpunt is de negatieve log-likelihood onder dit passende model.

Implementatie & Integratie

Zero-Shot Generalisatie: T3 vereist geen hertraining voor nieuwe domeinen of talen. Een enkel model dat getraind is op algemene Engelse veilige tekst, wordt direct toegepast op gespecialiseerde domeinen (bijv. code, HR) en meer dan 14 talen.
Productie-integratie: De auteurs hebben T3 geïntegreerd in het vLLM-inferentiekader. Door de outputs te onderscheppen in het Main Process terwijl de inferentie plaatsvindt in Worker Processes, maakt T3 continue veiligheidsmonitoring mogelijk tijdens de token-generatie. Deze co-design maakt het mogelijk om veiligheidsberekeningen te overlappen met inferentie-operaties, waardoor een overhead van minder dan 6% wordt bereikt, zelfs met dichte evaluatie-intervallen.

Belangrijkste Bijdragen

Theoretische Uitbreiding: De auteurs breiden het Forte-framework van visie naar tekst uit, waarbij een rigoureuze theoretische analyse biedt van per-punt PRDC-metrieken voor het detecteren van distributieverschuivingen in een algemene setting, en de verwachte waarden vaststelt zonder extra aannames voor in-distributie steekproeven.
State-of-the-Art Prestaties: Over 18 benchmarks (toxiciteit, haatzaaiende taal, jailbreaking, meertalige schade) bereikt T3 een state-of-the-art AUROC. Cruciaal is dat het de fout-positieveven (FPR@95) met 10–40x vermindert ten opzichte van gespecialiseerde veiligheidsmodellen. Bijvoorbeeld, op OffensEval bereikt T3-OCSVM een FPR@95 van 2,0% versus 75,2% voor de beste baseline.
Robuuste Generalisatie: T3 vertoont een bijna perfecte transfer naar gespecialiseerde domeinen (99,6% AUROC op code, 99,8% op HR) en behoudt een consistente prestatie over meer dan 14 talen met minder dan 2% variantie, waardoor de noodzaak voor domeinspecifieke training of meertalige dataverzameling wordt geëlimineerd.
Real-Time Deployment: De integratie in vLLM demonstreert productie-gereedheid, waarbij continue bewaking (guardrailing) mogelijk is met minder dan 6% overhead op grootschalige workloads, wat real-time veiligheidsmonitoring praktisch maakt zonder de latentie-penalties van post-processing.

Resultaten

Toxiciteit & Haatzaaiende Taal: T3 presteert superieur ten opzichte van baselines zoals LlamaGuard, WildGuard en PolyGuard, met name in het verminderen van valse alarmen. Traditionele OOD-methoden faalden catastrofaal (FPR@95 >90%), terwijl gespecialiseerde modellen een "precisieplafond" bereikten.
Adversariële & Jailbreaking: T3 biedt een robuuste verdediging tegen nieuwe aanvallen (AdvBench, JailbreakBench) ondanks dat het alleen op veilige data is getraind, waarbij de FPR@95 op AdvBench wordt teruggebracht naar 15,8% (een 4,2x verbetering ten opzichte van PolyGuard).
Over-Refusal (Overmatige Weigering): Op OR-Bench bereikt T3 een superieur evenwicht tussen veiligheid en bruikbaarheid, waarbij T3-GMM een FPR@95 van 22,2% behaalt, wat aanzienlijk beter is dan gespecialiseerde modellen die excessieve over-refusal vertonen.
Meertalige & Domein Transfer: T3 behoudt een hoge AUROC (>98%) en lage variantie over meer dan 14 talen en diverse domeinen zonder hertraining, terwijl baselines een hoge linguïstische variantie en slechte generalisatie vertonen.
Efficiëntie: In de vLLM-integratie voegde T3 slechts 1,5% overhead toe op 500-prompt workloads en 6% op 5.000-prompt workloads. Evaluatie na generatie toonde aan dat de T3-looptijden (60–155 ms) aanzienlijk sneller zijn dan zware evaluatoren zoals MDJudge en LlamaGuard.

Betekenis en Claims

Het artikel claimt dat T3 een paradigmaverschuiving vertegenwoordigt in LLM-veiligheid, waarbij de focus verschuift van reactieve dreigingsblokkering naar een proactieve aanpak gebaseerd op statistische typicaliteit. Door te modelleren "wat veilig is" in plaats van te enumereren "wat schadelijk is", adresseert T3 de fundamentele beperkingen van huidige verdedigingen:

Proactiviteit: Het leunt niet op een uitputtende catalogus van schadelijke patronen, maar biedt een geprincipeerde verdediging tegen nieuwe en onvoorziene aanvallen.
Efficiëntie: Het elimineert de hoge kosten van dual-model likelihood-methoden en de noodzaak voor "OOD-oracles" die vereist zijn door synthetische datamethoden.
Practicaliteit: De succesvolle integratie in vLLM met minimale overhead demonstreert dat continue, real-time bewaking (guardrailing) haalbaar is voor productieomgevingen.

De auteurs erkennen een fundamentele grens: de effectiviteit van T3 is afhankelijk van de curatie van de in-distributie trainingsset. Als de "veilige" trainingsdata zelf schadelijke patronen bevat (bijv. toxische inhoud in RLHF-datasets), omvat de typische verzameling de schade en faalt de detectie. Echter, voor scenario's waarin veilig en schadelijk materiaal gescheiden manifolds bezet, biedt T3 een theoretisch gefundeerde, efficiënte en zeer generaliseerbare oplossing.