Technische Samenvatting: Volstaan Encoders? Een Systematische Vergelijking van Encoder en Decoder Safety Judges voor LLM Adversariële Evaluatie

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden ingezet in kritieke, klantgerichte toepassingen (bijv. bankwezen, luchtvaartdiensten), is de noodzaak voor effectieve, lage-latentie en kostenefficiënte veiligheidscontroles (safety guardrails) essentieel geworden. Huidige veiligheidsevaluatieparadigma's vertrouwen zwaar op decoder-gebaseerde safety judges, inclusief grote autoregressieve modellen die worden gebruikt als "LLM-as-a-judge" prompts of gefinetunede decoder-classifiers zoals LlamaGuard. Hoewel deze effectief zijn, lijden deze benaderingen onder hoge inferentiekosten, aanzienlijke latentie en potentiële prestatievermindering onder distributieverschuivingen of nieuwe aanvalspatronen. Bovendien verwerken decoders input sequentieel (van links naar rechts), wat hun vermogen om schadelijke intentie over een volledige context te vatten kan beperken in vergelijking met bidirectionele architecturen.

Dit paper onderzoekt of gefinetunde moderne encoder-classifiers (specifiek uit de ModernBERT-familie, zoals Ettin) als een betrouwbaar, kostenefficiënt alternatief kunnen dienen voor decoder-gebaseerde judges voor het identificeren van schadelijke LLM-outputs in adversariële scenario's.

Methodologie

Dataset Constructie en Partitionering

De studie maakte gebruik van een trainingscorpus bestaande uit een aggregatie van 14 brondatasets, met 9.968 bronprompts en 563.216 (prompt, response) paren. De bronnen omvatten gestandaardiseerde benchmarks (HarmBench, SafetyBench), reële interacties (ToxicChat, WildJailbreak) en synthetische domeinspecifieke data (medisch, financieel).

• Preventie van Data Leakage: Om data leakage te voorkomen waarbij de respons van een model op een specifieke vraag in de training de prestaties op dezelfde vraag in de testfase zou kunnen beïnvloeden, hanteerden de auteurs een question-group partitioning strategie. Alle rijen die dezelfde vraagtekst deelden, werden aan hetzelfde partitie toegewezen (training of test), ongeacht de doel-LLM of de gebruikte aanvalstechniek.
• Holdout Set: Een strikte out-of-distribution (OOD) holdout set van 42.899 voorbeelden werd geconstrueerd uit JailbreakBench en AILuminate, geëvalueerd over vier frontier modellen (Claude Sonnet 4.5, Gemini 3.1 Pro, GPT-5.4, GPT-OSS 120B) en vier aanvalstechnieken.

Safety Judge Panel en Label Aggregatie

Om trainingslabels te genereren, stelden de auteurs een panel samen van zeven safety judges uit drie categorieën:

1. Open-weight classifiers: LlamaGuard 3 en 4.
2. Proprietary LLMs: Claude Judge, SorryBench, JailbreakBench Judge, AILuminate Judge.
3. Rubric-gebaseerde scorer: StrongReject.

Een majority-voting strategie werd gebruikt om binaire labels (schadelijk vs. veilig) te aggregeren. Om de lage inter-judge overeenstemming (Fleiss' $\kappa \approx 0.23$ op de volledige dataset) aan te pakken, werd een High-Confidence Filtering strategie toegepast, waarbij alleen unaniem veilige rijen en rijen met een sterke meerderheid aan schadelijkheid ($\ge$ 5 van de 7 stemmen) werden behouden. Dit reduceerde de dataset tot 307K rijen maar verhoogde de overeenstemming naar $\kappa \approx 0.805$.

Aanvalstechnieken

De evaluatie omvatte vier adversariële prompting technieken:

1. Single-turn: Directe adversariële prompts.
2. Decomposition: Het fragmenteren van een schadelijk verzoek in onschuldige sub-queries.
3. Escalation: Het incrementeel verhogen van de sensitiviteit van het verzoek tijdens een conversatie.
4. Context Manipulation: Het inbedden van schadelijke verzoeken binnen een onschuldige framing (bijv. academische of fictieve narratieven).

Geëvalueerde Modellen

• Encoder Classifiers: ModernBERT-familie modellen (Ettin-150M en Ettin-400M), gefinetuned op de geaggregeerde judge labels.
• Baselines: LlamaGuard 3/4, Claude-as-a-judge, StrongReject, SorryBench, JailbreakBench en AILuminate.
• Target Modellen: 16 LLM's van zes providers (OpenAI, Anthropic, Meta, Mistral, Google, Amazon) variërend van legacy tot moderne cohorten.

Belangrijkste Bijdragen

1. Systematische Vergelijking: De eerste grootschalige benchmark die moderne encoder-classifiers vergelijkt met zowel LLM-as-a-judge systemen als gefinetunde decoder-gebaseerde safety modellen op adversariële safety benchmarks met behulp van ground-truth holdout labels.
2. Cost-Latency-Performance Analyse: Een productie-niveau kwantificering van de trade-offs, waarbij wordt aangetoond dat encoders aanzienlijke efficiëntiewinsten bieden ten opzichte van decoder-gebaseerde alternatieven.
3. Gedetailleerde Aanvalsanalyse: Een analyse van de prestaties van de classifier over specifieke aanvalstechnieken (single-turn, decomposition, escalation, context manipulation) om alignment en divergentiepunten tussen encoder en decoder judges te identificeren.

Resultaten

Prestaties op OOD Holdout

• Voordelen van Encoders: Encoder-classifiers vertoonden een stabielere kalibratie dan decoder-judges. LlamaGuard-4 onderschatte schade (FNR = 0.658), terwijl judges zoals Claude en StrongReject schade overschatten (harmful rates >25%).
• Ettin Modellen:
  • Ettin-150M: Bereikte een gebalanceerd profiel (F1 = 0.547, FNR = 0.422).
  • Ettin-400M: Fungeerde als een high-recall detector (Recall = 0.854, FNR = 0.146) met een hoger aantal fout-positieven.
• Impact van Label Ruis: Op een high-confidence subset van de holdout (waar judges sterk overeenstemden), bereikte Ettin-400M een F1 van 0.894, wat suggereert dat annotatie-ruis, in plaats van modelarchitectuur, de primaire limiterende factor is voor de prestaties van de encoder.

Falingsmodi

• Multi-Turn Aanvallen: Encoders hadden de meeste moeite met decomposition attacks, waarbij de schadelijke intentie verdeeld is over tussenliggende stappen. Omdat encoders doorgaans de finale (vraag, antwoord) paar evalueren zonder expliciete toegang tot het redeneepad van tussenliggende beurten, misten zij de gedistribueerde schade patronen.
• Model Schaling: Het vergroten van de modelgrootte van 150M naar 400M parameters mitigeerde dit probleem aanzienlijk, waardoor de false negative rate voor decomposition attacks daalde van 50.6% naar 11.6%.

Kosten en Latentie

• Doorvoersnelheid: Op een Azure ML instantie (8x V100 GPU's) bereikte Ettin-150 244.8 completions per seconde (CPS) bij een batch size van 8, vergeleken met 1.31 CPS voor LlamaGuard-4-12B (een verbetering van 187x).
• Latentie: De mediane latentie daalde van ~718 ms (LlamaGuard) naar 3.6 ms (Ettin-150).
• Kostenefficiëntie: Ettin-150 bereikte 11.1 CPS per dollar per uur, vergeleken met 0.06 voor LlamaGuard-4-12B. Encoders kunnen ook draaien op goedkope CPU-instances, wat de implementatiekosten verder verlaagt.

Betekenis en Claims

Het paper concludeert dat gefinetunde encoder-classifiers kunnen dienen als een kostenefficiënt en lage-latentie alternatief voor LLM-gebaseerde evaluatie, met name als een eerste lijn van filtering voor veiligheidsklassificatie. Hoewel ze de decoder-gebaseerde judges voor complexe, multi-turn jailbreaks die diep redeneren over de gesprekshistorie vereisen, mogelijk niet volledig kunnen vervangen, bieden ze een praktische oplossing voor high-volume, real-time veiligheidsfiltering.

De auteurs claimen bescheiden dat hun bevindingen inzicht bieden in wanneer encoders volstaan, waarbij zij opmerken dat de lage inter-judge overeenstemming in de trainingsdata ($\kappa \approx 0.23$) waarschijnlijk de werkelijke prestatieplafonds van de classifiers beperkte. Toekomstig werk wordt gesuggereerd om op menselijk gecureerde datasets te testen om de prestaties verder te valideren. De studie claimt niet dat encoders universeel superieur zijn, maar benadrukt hun levensvatbaarheid voor specifieke productierestricties waar latentie en kosten cruciaal zijn.