Riepilogo Tecnico: HaloGuard 1.0

1. Definizione del Problema

I Large Language Models (LLM) stanno transitando dalle interfacce di chat ai flussi di lavoro agentici, espandendo la superficie di attacco e aumentando il costo dei fallimenti della sicurezza. Sebbene esistano già sistemi di protezione (guardrails), essi affrontano una critica "frontiera tra Falsi Positivi (FP) e Falsi Negativi (FN)". La sfida principale non è rilevare prompt palesemente dannosi, ma distinguere tra l'intento dannoso e i casi d'uso legittimi che condividono lo stesso vocabolario sensibile alla sicurezza (ad esempio, discussioni educative su armi, cybersecurity difensiva o analisi storica della violenza).

Gli attuali modelli di guardia open-weight si affidano spesso a tassonomie grossolane o a dataset di moderazione raccolti che riflettono le politiche di etichettatura della fonte piuttosto che le politiche di implementazione del target. Ciò porta a due specifici modi di fallimento:

1. Sovra-rifiuto (Alto FPR): Bloccare prompt benigni che sono lessicalmente simili a quelli dannosi (ad esempio, bloccare una richiesta su "come produrre gas cloro" per una classe di storia).
2. Danno Mancato (Alto FNR): Non rilevare l'intento dannoso nascosto dietro un framing avversariale o in lingue diverse dall'inglese dove i confini decisionali sono sbilanciati.

Inoltre, molti dataset sintetici mancano di "negativi difficili" (hard negatives): prompt benigni che sono strutturalmente e lessicalmente vicini a quelli dannosi ma differiscono solo nell'intento.

2. Metodologia

HaloGuard 1.0 introduce un approccio di Classificatore di Input Costituzionale, spostandosi dall'etichettatura di dati raccolti all'uso di una costituzione in linguaggio naturale come specifica generativa per l'intera distribuzione di addestramento.

2.1 Il Framework Costituzionale

Invece di una tassonomia piatta, il sistema utilizza una Costituzione HaloGuard gerarchica composta da:

• 46 Politiche Costituzionali: 29 politiche dannose e 17 politiche innocue condivise.
• 2.940 Sottocategorie: L'unità atomica per la generazione dei dati e il conteggio della copertura.
• Livelli di Rischio (Risk Tiers): Quattro livelli (Critico, Alto, Moderato, Sensibile) che dettano la larghezza del confine innocuo e le strategie di composizione dei dati.

La costituzione definisce esplicitamente non solo i comportamenti proibiti, ma anche gli usi adiacenti legittimi (ad esempio, analisi forense, supporto alle vittime, revisione legale) per ogni categoria dannosa.

2.2 Pipeline di Dati Sintetici

Il corpus di addestramento (1,26 milioni di record) è generato sinteticamente sulla base della costituzione, impiegando diversi meccanismi chiave:

• Controfattuali Accoppiati (Paired Counterfactuals): Per ogni sottocategoria dannosa, viene generato uno specchio benigno 1:1. Queste coppie mantengono fissi l'argomento e il vocabolario adiacente al danno, ma invertono l'intento (ad esempio, da "come costruire una bomba" a "analisi storica dell'attacco con gas sarin di Tokyo del 1995"). Ciò costringe il modello a imparare l'intento piuttosto che scorciatoie basate sulle parole chiave.
• Design Innocuo a Due Livelli (Two-Tier Harmless Design):
  • Dati del Confine Innocuo (Harmless-Boundary Data): Esempi sicuri locali alla costitzione che si trovano vicino a specifici confini dannosi (mirando ai falsi positivi di confine).
  • Dati Innocui Condivisi (Shared-Harmless Data): Esempi ampiamente benigni (ad esempio, scrittura creativa, cultura generale) per ancorare il modello contro i falsi positivi di base.
• Generazione Ancorata allo Stile (Style-Anchored Generation): I prompt sono generati ancorandoli a registri del mondo reale (da fonti come WildGuard, Aegis e ToxicChat) per evitare che il modello apprenda artefatti sintetici.
• Aumento della Superficie (Surface Augmentation): Include overlay di pattern di attacco (roleplay, splitting del payload) e trasformazioni deterministiche (codifiche, formattazione) applicati sia al lato dannoso che a quello benigno per garantire la robustezza contro l'offuscamento.

2.3 Materializzazione Multilingue

La pipeline si estende a 46 lingue attraverso sei gruppi tipologici. Fondamentalmente, tratta la lingua come una forma superficiale piuttosto che come un segnale avversariale.

• Generazione Bilanciata: Sia i prompt dannosi che quelli benigni vengono tradotti, garantendo il bilanciamento delle classi per lingua.
• Preservazione del Registro: Un processo a due stadi preserva il registro della sorgente (tono, formalità) per evitare che il modello associ specifici script a punteggi di sicurezza.
• Gate di Qualità: Include il rilevamento del rifiuto semantico (per catturare i rifiuti del modello nella traduzione) e la verifica della preservazione dell'intento.

2.4 Architettura del Modello

HaloGuard 1.0 viene rilasciato come due classificatori generativi basati su Qwen3.5:

• HaloGuard 1.0-0.8B: Ottimizzato per il filtraggio inline a bassa latenza.
• HaloGuard 1.0-4B: Ottimizzato per una maggiore capacità e una migliore discriminazione dei confini.
  Entrambi i modelli sono addestrati tramite previsione autoregressiva del prossimo token per emettere etichette attribuite alla costituzione (ad esempio, UNSAFE + Cyber) invece di utilizzare una testa di classificazione fissa.

3. Contributi Chiave

1. Primo Classificatore Costituzionale Open-Weight: A differenza dei precedenti Classificatori Costituzionali (CC) che erano sistemi chiusi, HaloGuard 1.0 è la prima implementazione implementabile e open-weight del paradigma CC, che utilizza una costituzione per guidare la generazione dei dati sintetici.
2. Tassonomia Fine-Grained: Una tassonomia di 2.940 sottocategorie che funge da unità di generazione, consentendo la costruzione di negativi difficili precisi e una diagnosi accurata dei fallimenti, superando di gran lunga le circa 14 categorie piatte dei precedenti guard open-weight.
3. Costruzione dei Dati Focalizzata sui Confini: L'uso sistematico di controfattuali accoppiati e dati innocui a due livelli mira specificamente alla frontiera FP/FN, separando gli errori di confine dagli errori di base.
4. Copertura Multilingue Bilanciata: Una pipeline che genera dati dannosi e benigni bilanciati in 46 lingue, trattando la lingua come una forma superficiale per evitare correlazioni spurie tra script e punteggi di sicurezza.
5. Indurimento Continuo (Continuous Hardening): Un protocollo di red-teaming avversariale sempre attivo è integrato per aggiornare continuamente la guardia contro attacchi a livello di contenuto e agentici.

4. Risultati

Valutato su sette benchmark di sicurezza dei prompt (OpenAI Moderation, Aegis, Aegis 2.0, ToxicChat, SimpleSafetyTests, HarmBench, WildGuardTest):

• Performance:
  • HaloGuard 1.0-0.8B: Raggiunge un F1 medio di 90,9, superando i baseline fino a 27B di parametri (ad esempio, ShieldGemma, PolyGuard-Qwen) pur utilizzando circa 30 volte meno parametri. Mantiene un tasso di falsi positivi (FPR) del 4,3% e un tasso di falsi negativi (FNR) del 9,5%.
  • HaloGuard 1.0-4B: Raggiunge un F1 medio di 92,1, con un FPR del 3,5% e un FNR del 7,7%, dimostrando una migliore precisione e richiamo.
• Analisi dei Benchmark: I modelli mostrano una forza particolare nei benchmark che coinvolgono la tossicità conversazionale e i prompt avversariali (ToxicChat, WildGuard), dove le scorciatoie basate su parole chiave spesso causano fallimenti in altri modelli.
• Metriche De-noised: Dopo un'adjudicazione strutturata dei fallimenti dei benchmark, gli autori hanno scoperto che il 51,5% dei falsi negativi apparenti erano in realtà errori di etichettatura del benchmark (prompt benigni erroneamente etichettati come dannosi). Il FNR de-noised per il modello 0.8B scende al 3,1%, suggerendo che il tasso di danno mancato reale del modello è significamente inferiore rispetto ai benchmark grezzi.
• Performance Multilingue: I modelli ottengono una forte generalizzazione sul benchmark PolyGuardPrompts (86,1 F1 per 0.8B, 88,0 F1 per 4B), sebbene il sovra-rifiuto (FPR) rimanga una sfida per i gruppi linguistici Indic e del Sud-est asiatico a causa di una copertura di sicurezza più sottile nei dati di addestramento.

5. Significato e Rivendicazioni

L'articolo sostiene che HaloGuard 1.0 stabilisce un nuovo stato dell'arte per i guard open-weight di input, dimostrando che un modello più piccolo (0.8B) può superare i baseline significativamente più grandi (fino a 27B) quando i dati di addestramento sono costruiti attorno a un confine costituzionale fine-grained.

Il nucleo della significatività risiede nel passaggio dalla rilevazione di parole chiave alla discriminazione dell'intento. Trattando la costituzione come una specifica generativa piuttosto che come una lista statica di etichette, gli autori dimostrano che è possibile costruire un dataset che insegni esplicitamente al modello a distinguere tra richieste non sicure e discussioni sicure di argomenti sensibili.

Gli autori sottolineano che la guardia è una difesa di primo livello progettata per affiancare altri meccanismi di sicurezza (moderazione dell'output, autorizzazione degli strumenti, revisione umana). Affermano esplicitamente che l'attuale rilascio si concentra sulla classificazione dell'input e non copre ancora il monitoraggio delle risposte o le tracce di esecuzione agentica, posizionando il lavoro come un passo fondamentale verso un'architettura di sicurezza a difesa in profondità (defense-in-depth). Il rilascio della costituzione e della pipeline sintetica consente alla comunità di auditare, riprodurre ed estendere il confine di sicurezza, andando oltre la moderazione "black box".