Technische Samenvatting: GLiGuard: Schema-geconditioneerde Classificatie voor LLM-beveiliging

Probleemstelling

De wijdverbreide implementatie van Large Language Models (LLM's) vereist robuuste, real-time contentmoderatiesystemen om de generatie van schadelijke, illegale of misleidende inhoud te voorkomen. Huidige state-of-the-art guardrail-modellen (bijv. LlamaGuard, ShieldGemma, WildGuard) vertrouwen voornamelijk op autoregressieve decoder-architecturen (7B–27B parameters). Deze modellen herformuleren veiligheidsclassificatie als een sequentiële tekstgeneratietak. Deze ontwerpkeuze introduceert fundamentele inefficiënties:

1. Hoge Latentie: Het genereren van classificatie-outputs token voor token schaalt met de outputlengte.
2. Slechte Parallelisatie: Ze worstelen om meerdere veiligheidsdimensies gelijktijdig te evalueren.
3. Resource-intensiteit: Ze maken gebruik van miljarden parameters voor een taak die fundamenteel classificatie is, en niet generatie.

Het artikel stelt dat het herformuleren van veiligheidsmoderatie als een schema-geconditioneerd classificatieprobleem met behulp van een compacte bidirectionele encoder, concurrerende nauwkeurigheid kan bereiken met aanzienlijk verlaagde inferentiekosten.

Methodologie

GLiGuard is een 0,3B-parameter schema-geconditioneerde bidirectionele encoder, aangepast van de GLiNER2-architectuur (Zaratiana et al., 2025). In tegenstelling tot autoregressieve guards die veiligheid behandelen als instructievolgende generatie, behandelt GLiGuard het als een multi-aspect classificatietak waarbij taakdefinities en labelsemantiek direct in de inputsequentie worden gecodeerd.

1. Schema-geconditioneerde Architectuur

De kerninnovatie is de schema-geconditioneerde inputrepresentatie. In plaats van outputheads hard te coderen, ontvangt het model tijdens de inferentie een gelineariseerde tokensequentie bestaande uit:

• Schema-prefix: Een gestructureerde sequentie van taakdefinities ($\tau_k$) en hun kandidaatlabels ($Y_k$).
• Inputtekst: De gebruikersprompt of modelrespons die gemodereerd moet worden.
• Speciale tokens: [P] (taakafbakening), [L] (labelprefix) en [SEP] (schema/tekst-scheidingsteken).

De inputsequentie wordt als volgt geconstrueerd:
$$z = T(\tau_1, Y_1) \dots T(\tau_K, Y_K) \text{ [SEP] } w_1 \dots w_N$$
Waarbij elke taakblok $T(\tau_k, Y_k)$ gesequenced is als [P] $\phi(\tau_k)$ [L] $l_1$ [L] $l_2$ ...

2. Bidirectionele Encoding en Label-extractie

De tokensequentie wordt verwerkt door een vooraf getrainde bidirectionele transformer-encoder (bijv. DeBERTa, ModernBERT). Belangrijke kenmerken zijn:

• Volledige Self-Attention: De encoder attendeert bidirectioneel op zowel de schematokens als de inputtekst. Dit stelt het model in staat gelijktijdig "label-bewuste tekstrepresentaties" en "tekst-bewuste labelrepresentaties" te bouwen.
• Contextualiseerde Label-embeddings: Verborgen staten op de posities van de [L]-tokens worden geëxtraheerd. Deze embeddings worden geïnformeerd door de volledige inputtekst en alle andere labels in het schema, waardoor rijke context voor classificatie wordt geboden.
• Gedeelde Classificatiekop: Een lichtgewicht, gedeelde twee-laags MLP-classificator wordt onafhankelijk toegepast op elke label-embedding om logits te produceren.
  • Single-label taken (bijv. Veiligheid, Weigering) gebruiken Softmax.
  • Multi-label taken (bijv. Schadelijkheidscategorieën, Jailbreak-strategieën) gebruiken Sigmoid.

3. Unificatie Multi-task Moderatie

GLiGuard ondersteunt vier verschillende moderatietaken, die kunnen worden samengesteld tot één schema voor een enkele niet-autoregressieve forward pass:

1. Veiligheidsclassificatie: Binary classificatie (Veilig/Onveilig) voor prompts en responsen.
2. Weigeringsdetectie: Binary classificatie (Compliance/Weigering) voor responsen.
3. Schadelijkheidscategorie-classificatie: Multi-label classificatie in 14 fijnmazige schadelijkheidscategorieën (bijv. Geweld, PII, Haat).
4. Jailbreak-strategie-detectie: Multi-label classificatie in 11 adversariale aanvalstrategieën (bijv. Prompt-injectie, Roleplay-bypass).

4. Inferentiepijplijn en Beslissingsregels

De inferentiepijplijn omvat serialisatie van het schema, een enkele encoder-pass en parallelle decoding. Het uiteindelijke veiligheidsverdict wordt bepaald door harde beslissingsregels die voorspellingen van aanvullende taken combineren:

• Prompt-veiligheid: Als de Veiligheidsclassificator Onveilig voorspelt OF als er een Schadelijkheidscategorie of Jailbreak-strategie (anders dan BENIGN) wordt gedetecteerd, is het verdict ONVEILIG.
• Responsveiligheid: Als de Veiligheidsclassificator Onveilig voorspelt, is het verdict ONVEILIG. Echter, als een Weigering wordt gedetecteerd, wordt het verdict overschreven naar VEILIG (om straffen voor overmatige weigering te voorkomen).

Belangrijkste Bijdragen

1. Schema-geconditioneerde Architectuur: Aanpassing van GLiNER2 aan moderatie, waardoor taak- en labelblokken dynamisch tijdens de inferentie kunnen worden samengesteld zonder hertraining of prompt-herontwerp.
2. Unificatie Multi-task Framework: Een enkele forward pass die gelijktijdig prompt/respons-veiligheid, 14 schadelijkheidscategorieën en 11 jailbreak-strategieën evalueert.
3. Concurrerende Nauwkeurigheid op Kleine Schaal: Aantonen dat een 0,3B-encoder concurrerend kan blijven met 7B–27B decoder-gebaseerde guards.
4. Inferentie-efficiëntie: Het bereiken van drastisch lagere latentie en hogere doorvoer vanwege de niet-autoregressieve aard van het model.

Experimentele Resultaten

De auteurs evalueerden GLiGuard op negen gevestigde veiligheidsbenchmarks (bijv. OpenAI Moderation, Aegis 2.0, HarmBench, WildGuardTest) tegen zes state-of-the-art autoregressieve guardmodellen (variërend van 7B tot 27B parameters).

• Nauwkeurigheid:
  • Prompt-schadelijkheid: GLiGuard behaalde een gemiddelde F1 van 87,7, binnen 1,7 punten van de beste baseline (PolyGuard-Qwen-7B met 89,4) en presteerde beter dan enkele grotere modellen zoals LlamaGuard4-12B (82,5) en ShieldGemma-27B (69,6).
  • Respons-schadelijkheid: GLiGuard behaalde een gemiddelde F1 van 82,7, de op één na beste onder vergeleken modellen, slechts achter Qwen3Guard-8B-Gen (84,1) en presteerde beter dan WildGuard-7B (82,4).
• Efficiëntie:
  • Doorvoer: GLiGuard leverde tot 16,2× hogere doorvoer (133 samples/s versus 8,2 samples/s voor een 8B-model bij batchgrootte 4).
  • Latentie: GLiGuard behaalde tot 17× lagere latentie (26 ms versus 426 ms voor een 8B-model bij sequentielengte 64).
• Pareto-efficiëntie: Het model bezet een Pareto-concurrentiegebied, waarbij het vergelijkbare F1-scores biedt aan veel grotere modellen met 23–90× minder parameters.

Betekenis en Claims

Het artikel stelt dat compacte bidirectionele encoders de nauwkeurigheid van veel grotere guardmodellen kunnen benaderen terwijl de inferentiekosten drastisch worden verlaagd. De auteurs stellen dat voor contentmoderatie datakwaliteit, trainingsstrategie en modelspecialisatie kritischer zijn dan schaal alleen, zoals blijkt uit grotere modellen (bijv. ShieldGemma-27B) die onderpresteren ten opzichte van kleinere, gespecialiseerde alternatieven.

GLiGuard wordt gepresenteerd als een oplossing voor latentie- en geheugenbeperkte omgevingen, waardoor real-time poortwachterschap mogelijk wordt zonder de knelpunten die geassocieerd zijn met autoregressieve generatie. Het werk suggereert dat het herformuleren van veiligheid als een schema-geconditioneerd classificatieprobleem een haalbaar en efficiënt alternatief is voor het huidige paradigma van het gebruik van grote generatieve modellen voor guardrails.

Opmerking: Het artikel erkent beperkingen, waaronder gevoeligheid voor oppervlakkige triggerwoorden in onschadelijke contexten (vals-positieven) en uitdagingen met adversariale jailbreaks die zijn ingebed in ingewikkelde fictieve verhalen (vals-negatieven). Toekomstig werk wordt voorgesteld om deze specifieke robuustheidsproblemen aan te pakken.