Riepilogo Tecnico: Opir – Classificazione di Sicurezza Multi-Task Efficiente

Enunciato del Problema

Il dispiegamento di Modelli Linguistici di Grande Dimensione (LLM) in ambienti di chat, agenziali e middleware richiede un filtraggio della sicurezza in tempo reale per rilevare prompt non sicuri, linguaggio tossico, tentativi di jailbreak e risposte dannose. I sistemi di protezione (guardrail) all'avanguardia attuali (ad esempio, Llama Guard, WildGuard, ShieldGemma, PolyGuard) fanno prevalentemente affidamento su grandi modelli decoder autoregressivi (da 7 a 22 miliardi di parametri). Sebbene efficaci, questi modelli comportano costi computazionali significativi e latenza, poiché ogni interazione protetta richiede uno o più passaggi in avanti (forward passes) aggiuntivi dell'LLM. Inoltre, molti sistemi esistenti privilegiano decisioni binarie sicuro/non sicuro, mancando della granularità necessaria per la categorizzazione nel mondo reale attraverso tossicità, jailbreak e domini specifici di contenuti dannosi. Esiste un bisogno critico di classificatori in grado di distinguere testi sensibili benigni da contenuti dannosi occulti, operando al contempo con un footprint di dispiegamento sostanzialmente più ridotto e una latenza inferiore.

Metodologia

Opir affronta queste sfide introducendo una famiglia di modelli di protezione basati su encoder costruiti sull'architettura GLiClass. A differenza degli approcci basati su decoder che generano verdetto strutturati in modo autoregressivo, Opir codifica congiuntamente testo di input e etichette candidate utilizzando un encoder bidirezionale. Ciò consente una classificazione multi-etichetta zero-shot a una frazione del costo dei modelli generativi.

Componenti Principali

1. Architettura: Opir utilizza GLiClass, che estende l'architettura GLiNER per la classificazione di sequenze. Impiega un uni-encoder con pooling configurabile (media, primo token, ecc.) e meccanismi di scoring (prodotto scalare, bilineare o testine apprese).

   • Varianti Multi-Task: Costruite su DeBERTaV3-large e mDeBERTaV3-base per una sicurezza completa, tossicità, jailbreak e categorizzazione zero-shot.
   • Varianti Edge: Costruite su encoder compatti (Ettin-encoder-32m e mmBERT-small) con meno di 100 milioni di parametri, ottimizzati per la classificazione binaria sicuro/non sicuro su dispositivi edge.

2. Tassonomia della Sicurezza: I modelli sono addestrati su una tassonomia a tre livelli composta da 996 etichette:

   • Livello 1: 16 categorie di livello superiore (ad esempio, tossicità, violenza, autolesionismo, sicurezza dei sistemi AI).
   • Livello 2: 126 categorie di livello intermedio.
   • Livello 3: 854 etichette foglia.
   • Crucialmente, la tassonomia include categorie benigne e di preservazione della sicurezza (ad esempio, controparole, cybersecurity difensiva, rifiuto appropriato) per mitigare la modalità di fallimento del "rifiuto eccessivo" comune nei sistemi di protezione con prompt di politica rigidi.

3. Costruzione dei Dati: Il dataset di addestramento è una sintesi di:

   • Generazione basata sulla tassonomia: 30 prompt non sicuri generati per ogni nodo della tassonomia tramite una pipeline LLM-as-author.
   • Mineraggio Adversarial: Negativi difficili evoluti per aggirare i modelli di sicurezza esistenti (ispirati a pipeline di red-teaming).
   • Esempi di Contrasto Benigni: Testo relativo alla sicurezza ma sicuro per ridurre i falsi positivi su contesti sensibili.
   • Generazione di Risposte: Risposte generate da un modello Qwen3-4B fine-tunato e validate da un panel LLM-as-a-judge.
   • Traduzione Multilingue: Dati tradotti in 23 lingue utilizzando DeepSeek-V3.1.
   • Sottoinsiemi Aperti: Porzioni dei dati di addestramento Aegis2 e WildGuardMix.

4. Strategia di Addestramento: L'addestramento prevede un processo in due fasi: addestramento iniziale sul dataset principale seguito da post-addestramento su dati aumentati (campionamento del 10%). Le tecniche di aumento includono dropout delle etichette, perturbazione dei prompt e inserimento di istruzioni distrattive dall'aspetto sicuro per migliorare la robustezza contro l'injection di prompt e le violazioni della gerarchia delle istruzioni. Il sistema supporta la Consolidazione dei Pesi Elastici (EWC) per l'apprendimento continuo.

Contributi Chiave

1. Una Tassonomia di Sicurezza Completa: Una tassonomia a 3 livelli con 996 etichette che copre tossicità ordinaria, attacchi specifici per LLM (inclusi injection di prompt indiretti e violazioni della gerarchia delle istruzioni) e contesti sensibili benigni.
2. Una Famiglia di Modelli Basata su GLiClass: Sviluppo di varianti Opir (multi-task e orientate all'edge) che supportano classificazione binaria, rilevamento multi-etichetta di tossicità/jailbreak e categorizzazione zero-shot in 23 lingue.
3. Ricetta di Dati Sintetici e Aperti: Una pipeline riproducibile che combina generazione derivata dalla tassonomia, mineraggio adversarial di negativi difficili e traduzione multilingue.
4. Suite di Valutazione Multi-Vista: Una suite di valutazione open-source che supporta GLiClass, GLiNER2 e backend basati su decoder (vLLM), coprendo sicurezza binaria, tossicità, jailbreak e visualizzazioni di sottocategorie su 12 dataset di sicurezza e 17 suddivisioni di categorizzazione.
5. Benchmarking Estensivo: Un'analisi comparativa contro otto sistemi di protezione contemporanei (inclusi modelli basati su GLiNER2 e modelli generativi) che dimostra accuratezza competitiva con latenza significativamente ridotta.

Risultati

Il documento valuta Opir contro otto sistemi di protezione contemporanei (inclusi GLiGuard, Gliner-Guard-Omni, WildGuard, Nemotron Safety Guard, PolyGuard e Qwen3Guard) su 12 dataset di sicurezza binaria e 17 attività di categorizzazione.

• Accuratezza:

  • Sicurezza Binaria: Opir-multitask-large ha raggiunto la seconda media macro F1 per riga più alta (0,8045) tra 11 sistemi, superata solo dal Nemotron Safety Guard v3 da 8 miliardi di parametri (0,8061) e superando in media gli altri modelli basati su decoder. Ha vinto due dataset individuali (sicurezza dei prompt WildGuard e sicurezza dei comportamenti JBB-Behaviors).
  • Prestazioni Edge: Opir-edge-multilang (<100 milioni di parametri) ha vinto su sicurezza dei prompt Aegis (0,9321) e sicurezza delle risposte WildGuard (0,9194).
  • Categorizzazione: Opir-multitask-large ha raggiunto la massima accuratezza media (0,5432) su 17 dataset di categorizzazione, vincendo 11 su 17 righe. Ha mostrato margini sostanziali rispetto alle baseline sulle categorie Aegis, prompt HarmBench e sottocategorie WildGuard.
  • Limitazioni: I modelli hanno faticato con la famiglia OR-Bench (sonde di rifiuto eccessivo), dove GLiGuard-300M ha superato Opir. Gli autori attribuiscono ciò a un problema di calibrazione in cui la tassonomia di Opir mappa questi prompt su categorie benigne più ampie, portando a tassi di astensione più elevati.

• Latenza e Throughput:

  • A 1024 token, Opir-multitask-large ha raggiunto 50,51 campioni/s con una latenza p50 di 25,65 ms.
  • Le varianti edge hanno dimostrato un'efficienza superiore: Opir-edge ha raggiunto 499,49 campioni/s con una latenza p50 di 9,25 ms.
  • Rispetto alla baseline più forte basata su decoder (Nemotron Safety Guard v3 a 97,63 ms p50), le varianti Opir operano 10–33 volte più velocemente, offrendo accuratezza di sicurezza comparabile a una frazione del costo di inferenza.

Significato e Affermazioni

Il documento posiziona Opir come soluzione ai colli di bottiglia di latenza e costo degli attuali sistemi di protezione per LLM. Sfruttando un'architettura basata su encoder, Opir ottiene riduzioni della latenza di un ordine di grandezza rispetto ai modelli decoder da 7 a 22 miliardi di parametri, mantenendo un'accuratezza competitiva. Gli autori affermano che le varianti Opir sono "competitive o superiori alle baseline open-weight più forti sulla maggior parte dei dataset di benchmark, operando al contempo con un footprint di dispiegamento sostanzialmente più ridotto".

L'inclusione di categorie sensibili benigne è evidenziata come una specifica mitigazione contro il rifiuto eccessivo, una modalità di fallimento nota nei filtri di sicurezza rigidi. Gli autori sottolineano che Opir è progettato per la moderazione in tempo reale, l'instradamento della sicurezza e l'analisi offline, ma dichiarano esplicitamente che non dovrebbe essere utilizzato come unica base per decisioni ad alto impatto (legali, occupazionali, ecc.) o come sostituto della revisione umana e della progettazione delle politiche. Il lavoro dimostra che modelli efficienti basati su encoder possono gestire efficacemente la classificazione della sicurezza complessa e multi-task senza il sovraccarico computazionale dei sistemi di protezione generativi.