Technische Samenvatting: Opir – Efficiënte Veiligheidsclassificatie voor Meerdere Taken

Probleemstelling

De implementatie van Large Language Models (LLM's) in chat-, agent- en middleware-omgevingen vereist real-time veiligheidsfiltering om onveilige prompts, giftige taal, jailbreak-pogingen en schadelijke antwoorden te detecteren. Huidige state-of-the-art guardrailsystemen (zoals Llama Guard, WildGuard, ShieldGemma, PolyGuard) vertrouwen voornamelijk op grote autoregressieve decodermodellen (7B–22B parameters). Hoewel deze effectief zijn, brengen ze aanzienlijke rekenkosten en latentie met zich mee, aangezien elke beveiligde interactie één of meer extra forward passes van een LLM vereist. Bovendien prioriteren veel bestaande systemen binaire veilig/onveilig-beslissingen en missen ze de granulariteit die nodig is voor real-world categorisatie over giftigheid, jailbreaks en specifieke schadelijke inhoudsdomeinen. Er is een kritieke behoefte aan classifiers die onschadelijke gevoelige tekst kunnen onderscheiden van covert schadelijke inhoud, terwijl ze werken met een aanzienlijk kleiner implementatiefootprint en lagere latentie.

Methodologie

Opir adresseert deze uitdagingen door een familie van encoder-gebaseerde guardrailmodellen te introduceren, gebouwd op de GLiClass-architectuur. In tegenstelling tot decoder-gebaseerde benaderingen die gestructureerde verdicten autoregressief genereren, encodeert Opir invoertekst en kandidaatlabels gezamenlijk met een bidirectionele encoder. Dit maakt zero-shot multi-label classificatie mogelijk voor een fractie van de kosten van generatieve modellen.

Kerncomponenten

1. Architectuur: Opir maakt gebruik van GLiClass, wat de GLiNER-architectuur uitbreidt voor sequentieklassificatie. Het hanteert een uni-encoder met configureerbare pooling (gemiddelde, first-token, etc.) en scoremechanismen (dot-product, bilineair of geleerde heads).

   • Multi-task Varianten: Gebaseerd op DeBERTaV3-large en mDeBERTaV3-base voor uitgebreide veiligheid, giftigheid, jailbreak en zero-shot categorisatie.
   • Edge-varianten: Gebaseerd op compacte encoders (Ettin-encoder-32m en mmBERT-small) met minder dan 100M parameters, geoptimaliseerd voor binaire veilig/onveilig-classificatie op randapparatuur.

2. Veiligheidstaxonomie: De modellen zijn getraind op een drie-niveau taxonomie bestaande uit 996 labels:

   • Niveau 1: 16 top-level categorieën (bijv. giftigheid, geweld, zelfverminking, beveiliging van AI-systemen).
   • Niveau 2: 126 mid-level categorieën.
   • Niveau 3: 854 leaf-labels.
   • Cruciaal is dat de taxonomie onschadelijke en veiligheidsbehoudende categorieën omvat (bijv. counterspeech, defensieve cybersecurity, gepaste weigering) om de "over-refusal"-faalmodus te mitigeren die vaak voorkomt bij strikt geprompte guardrails.

3. Dataconstructie: Het trainingsdataset is een synthese van:

   • Taxonomie-gebaseerde generatie: 30 onveilige prompts gegenereerd per taxonomienode via een LLM-as-auteur-pijplijn.
   • Adversariale Mining: Hard negatives geëvolueerd om bestaande veiligheidsmodellen te omzeilen (geïnspireerd door red-teaming-pijplijnen).
   • Onschadelijke Contrastvoorbeelden: Veiligheidsgerelateerde maar veilige tekst om false positives op gevoelige contexten te verminderen.
   • Antwoordgeneratie: Antwoorden gegenereerd door een fine-tuned Qwen3-4B-model en gevalideerd door een LLM-as-a-judge-panel.
   • Meertalige Vertaling: Data vertaald naar 23 talen met behulp van DeepSeek-V3.1.
   • Open Subsets: Delen van Aegis2 en WildGuardMix trainingsdata.

4. Trainingsstrategie: Training omvat een tweestapsproces: initiële training op het hoofddataset gevolgd door post-training op verrijkte data (10% steekproef). Augmentatietechnieken omvatten label-dropout, prompt-perturbatie en het invoegen van veilig ogende distractor-instructies om robuustheid te verbeteren tegen prompt-injectie en schendingen van instructiehiërarchieën. Het systeem ondersteunt Elastic Weight Consolidation (EWC) voor continu leren.

Belangrijkste Bijdragen

1. Een Uitgebreide Veiligheidstaxonomie: Een 3-niveau, 996-label taxonomie die gewone giftigheid, LLM-specifieke aanvallen (inclusief indirecte prompt-injectie en schendingen van instructiehiërarchieën) en onschadelijke gevoelige contexten omvat.
2. Een GLiClass-gebaseerde Modelfamilie: Ontwikkeling van Opir-varianten (multi-task en edge-gericht) die binaire classificatie, multi-label giftigheid/jailbreak-detectie en zero-shot categorisatie over 23 talen ondersteunen.
3. Synthetische en Open-Data Recept: Een reproduceerbare pijplijn die taxonomie-afgeleide generatie, adversariale hard-negative mining en meertalige vertaling combineert.
4. Multi-View Evaluatieharness: Een open-source evaluatiesuite die GLiClass, GLiNER2 en decoder-gebaseerde backends (vLLM) ondersteunt, met dekking voor binaire veiligheid, giftigheid, jailbreaks en subcategorie-views over 12 veiligheidsdatasets en 17 categorisatieverdelingen.
5. Uitgebreide Benchmarking: Een vergelijkende analyse tegen acht hedendaagse guardrailsystemen (inclusief GLiNER2-gebaseerde en generatieve modellen) die concurrerende nauwkeurigheid aantoont met aanzienlijk gereduceerde latentie.

Resultaten

Het artikel evalueert Opir tegen acht hedendaagse guardrailsystemen (waaronder GLiGuard, Gliner-Guard-Omni, WildGuard, Nemotron Safety Guard, PolyGuard en Qwen3Guard) over 12 binaire veiligheidsdatasets en 17 categorisatietaken.

• Nauwkeurigheid:

  • Binaire Veiligheid: Opir-multitask-large behaalde de op één na hoogste rij-gemiddelde macro F1 (0,8045) onder 11 systemen, slechts achter de 8B-parameter Nemotron Safety Guard v3 (0,8061) en presteerde gemiddeld beter dan andere decoder-gebaseerde modellen. Het won twee individuele datasets (WildGuard prompt-veiligheid en JBB-Behaviors-veiligheid).
  • Edge-prestaties: Opir-edge-multilang (<100M parameters) won op Aegis prompt-veiligheid (0,9321) en WildGuard antwoordveiligheid (0,9194).
  • Categorisatie: Opir-multitask-large behaalde de hoogste gemiddelde nauwkeurigheid (0,5432) over 17 categorisatiedatasets, waarbij het 11 van de 17 rijen won. Het toonde aanzienlijke marges boven baselines op Aegis-categorieën, HarmBench-prompts en WildGuard-subcategorieën.
  • Beperkingen: De modellen hadden moeite met de OR-Bench-familie (over-refusal-probes), waarbij GLiGuard-300M Opir overtrof. De auteurs schrijven dit toe aan een kalibratieprobleem waarbij Opir's taxonomie deze prompts naar bredere onschadelijke categorieën mapt, wat leidt tot hogere abstain-rates.

• Latentie en Doorvoer:

  • Bij 1024 tokens behaalde Opir-multitask-large 50,51 samples/s met een p50-latentie van 25,65 ms.
  • De edge-varianten toonden superieure efficiëntie: Opir-edge bereikte 499,49 samples/s met een p50-latentie van 9,25 ms.
  • In vergelijking met de sterkste decoder-gebaseerde baseline (Nemotron Safety Guard v3 met 97,63 ms p50) werken Opir-varianten 10–33 keer sneller, en bieden vergelijkbare veiligheidsnauwkeurigheid voor een fractie van de inferentiekosten.

Betekenis en Claims

Het artikel positioneert Opir als een oplossing voor de latentie- en kostenknelpunten van huidige LLM-guardrails. Door een encoder-gebaseerde architectuur te benutten, bereikt Opir orde-van-magnitude latentiereducties in vergelijking met 7B–22B decodermodellen, terwijl het concurrerende nauwkeurigheid behoudt. De auteurs claimen dat Opir-varianten "concurrerend zijn op of vooruitlopen op de sterkste open-weight baselines op de meerderheid van de benchmarkdatasets, terwijl ze werken met een aanzienlijk kleiner implementatiefootprint."

De opname van onschadelijke gevoelige categorieën wordt benadrukt als een specifieke mitigatie tegen over-refusal, een bekende faalmodus in strikte veiligheidsfilters. De auteurs benadrukken dat Opir is ontworpen voor real-time moderatie, veiligheidsrouting en offline analyse, maar stellen expliciet dat het niet als enige basis mag worden gebruikt voor beslissingen met grote impact (juridisch, werkgelegenheid, etc.) of als vervanging voor menselijke beoordeling en beleidsontwerp. Het werk toont aan dat efficiënte, encoder-gebaseerde modellen complexe, multi-task veiligheidsclassificatie effectief kunnen afhandelen zonder de rekenoverhead van generatieve guardrails.