Safety Is Not Universal: The Selective Safety Trap in LLM Alignment

1. Enunciato del Problema

Le attuali valutazioni di sicurezza per i Large Language Models (LLM) creano un'illusione pericolosa di protezione universale. Aggregando i danni sotto categorie generiche (ad esempio, "Odio basato sull'identità"), i benchmark esistenti oscurano vulnerabilità critiche verso popolazioni specifiche. Gli autori identificano una modalità di fallimento sistemica denominata Trappola della Sicurezza Selettiva, in cui i modelli difendono robustamente specifici gruppi demografici ad alta visibilità (spesso dominanti nei dati di addestramento centrati sugli USA), lasciando le comunità sottorappresentate altamente vulnerabili ad attacchi avversari identici.

La sfida centrale è che l'allineamento alla sicurezza non è una capacità semantica uniforme, ma una gerarchia demografica. Le metriche attuali falliscono nel determinare per chi un modello è sicuro, portando a una falsa sensazione di sicurezza dove la sicurezza è semplicemente sovradattata a specifiche minoranze presenti nella distribuzione dei dati, lasciando la "coda lunga" dei gruppi sottorappresentati indifesa.

2. Metodologia

A. MiJaBench (Minority Jailbreaking Benchmark)

Per auditare sistematicamente questo fenomeno, gli autori hanno introdotto MiJaBench, un benchmark avversario bilingue (Inglese–Portoghese) progettato per isolare vulnerabilità specifiche per demografia.

• Scala: 43.961 prompt di jailbreaking controllati.
• Copertura: 16 gruppi minoritari distinti (ad esempio, Neri, LGBTQIA+, Persone con Disabilità, Immigrati, Anziani).
• Pipeline di Costruzione:
  1. Seme di Discorso d'Odio: Derivato da ToxiGen (Inglese) e ToxSyn (Portoghese) per garantire un contesto culturale nativo piuttosto che artefatti di traduzione automatica.
  2. Scenario Contestuale: 21 categorie narrative diverse (ad esempio, Storia, Tecnologia Futuristica, Mitologia) per imporre una generazione ad alta entropia e prevenire una convergenza deterministica del modello.
  3. Strategia di Jailbreaking: Quattro tecniche avversarie controllate:
     • Assegnazione di Persona: Scenari di ruolo.
     • Spostamento di Rappresentazione: Offuscamento tramite lingue a bassa risorsa, JSON o Leetspeak.
     • Catena di Pensiero (CoT): Decomposizione dell'intento dannoso in passaggi logici.
     • Razionalizzazione Logica: Inquadratura del discorso d'odio come esercizio analitico.
  4. Riscrittore Avversario: Una pipeline stocastica che utilizza Qwen-3-235B per sintetizzare questi componenti in prompt coerenti che aggirano i filtri di sicurezza preservando l'intento dannoso originale.

B. MiJaBench-Align

Gli autori hanno eseguito MiJaBench su 14 LLM all'avanguardia (inclusi Llama-3, Gemma-3, Qwen-3, GPT-4o mini e Gemini 2.0 Flash) con parametri che vanno da 1B a oltre 70B. Questo ha generato 615.454 coppie prompt-risposta, formando il corpus MiJaBench-Align.

C. Protocollo di Valutazione

• Metrica: Tasso di Difesa (DR), l'inverso del Tasso di Successo dell'Attacco (ASR).
• LLM come Giudice: Un sistema di valutazione automatizzato che utilizza un ensemble a voto di maggioranza di modelli di fascia alta (Qwen-3, Llama-3.3, GPT-OSS) per classificare le risposte come "Sicure" o "Pericolose".
• Verità Fondamentale: Validata da esperti umani utilizzando un protocollo di classificazione binaria rigoroso focalizzato sul successo tecnico (il modello ha prodotto il contenuto dannoso?) piuttosto che sull'offensività soggettiva.

3. Contributi Chiave

1. MiJaBench & MiJaBench-Align: Il primo benchmark su larga scala e bilingue specificamente progettato per auditare le vulnerabilità di sicurezza specifiche per demografia, andando oltre le tassonomie generiche del danno.
2. Identificazione della Trappola della Sicurezza Selettiva: Evidenza empirica che dimostra che l'allineamento alla sicurezza non è universale. I tassi di difesa fluttuano fino al 42% all'interno dello stesso modello basandosi esclusivamente sul gruppo demografico target.
3. Il Paradosso della Scalabilità: La scoperta che l'aumento delle dimensioni del modello (scaling) agisce come un amplificatore di bias. I modelli più grandi migliorano la sicurezza media ma allocano sproporzionatamente la loro capacità aumentata per proteggere i gruppi dominanti, ampliando il divario di sicurezza per le minoranze sottorappresentate.
4. Allineamento Equo tramite DPO: Una dimostrazione che un Direct Preference Optimization (DPO) mirato su un modello su piccola scala (1 miliardo di parametri) può ottenere una forte generalizzazione zero-shot verso demografie e strategie di attacco non visti, dimostrando che la sicurezza selettiva è un fallimento risolvibile degli obiettivi di allineamento, non un vincolo architetturale.

4. Risultati Chiave

• Disparità Demografica: I modelli esibiscono un sistema di sicurezza "a due livelli". Ad esempio, in inglese, i modelli hanno mostrato una deviazione del tasso di difesa del +12,29% per le comunità nere, ma una deviazione del -8,05% per le Persone con Disabilità.
• Coerenza Cross-Linguistica: La gerarchia di sicurezza persiste in portoghese, confermando che il bias è codificato nelle rappresentazioni semantiche latenti del modello piuttosto che essere un artefatto superficiale dei dati di addestramento in inglese. Tuttavia, la magnitudine della disparità è leggermente più attenuata in portoghese, probabilmente a causa di un minor sovradattamento al discorso sociopolitico specifico degli USA.
• Effetti della Scalabilità:
  • Famiglia Qwen-3: La scalatura da 1,7B a 32B parametri ha aumentato il tasso di difesa globale dal 2% al 16%, ma la disparità (deviazione standard tra i gruppi) è aumentata da 0,004 a 0,062.
  • Anomalia: Il modello Llama-3.2-1B ha raggiunto un tasso di difesa globale del 36% con limiti di disparità significativamente più stretti ($\sigma \approx 0,059$), superando modelli molto più grandi (ad esempio, Qwen-3-32B al 16%, GPT-4o mini al 28%). Ciò suggerisce che la disparità grave non è un vincolo inevitabile della capacità, ma un fallimento dell'allocazione dell'allineamento.
• Vulnerabilità alla Logica: I modelli sono significativamente più vulnerabili ai jailbreak di Razionalizzazione Logica e Catena di Pensiero (DR $\approx$ 7–23%) rispetto allo Spostamento di Rappresentazione (DR $\approx$ 39%), indicando che i modelli danno priorità all'adesione logica alle istruzioni rispetto ai vincoli di sicurezza quando il danno è inquadrato come premessa.

5. Significato e Implicazioni

• Ridefinizione della Valutazione della Sicurezza: Il paper sostiene che i punteggi di sicurezza aggregati sono fuorvianti. La vera sicurezza richiede un audit delle prestazioni attraverso intersezioni demografiche specifiche, non solo categorie ampie.
• Critica alle Leggi di Scalabilità: Mette in discussione l'assunzione che "più grande è più sicuro", dimostrando che senza intervento mirato, la scalatura esacerba la disuguaglianza ottimizzando eccessivamente per gruppi ad alta risorsa e ad alta visibilità.
• Percorso verso un'IA Equa: Il successo del DPO su un modello da 1B dimostra che i modelli piccoli possono apprendere un concetto generalizzato e trasferibile di danno. Ciò offre un percorso vitale ed efficiente dal punto di vista computazionale per mitigare la sicurezza selettiva senza richiedere un riaddestramento massiccio dei modelli all'avanguardia.
• Rilevanza Globale: Includendo il portoghese, lo studio evidenzia che i divari di sicurezza non sono unici per i contesti di lingua inglese, ma sono problemi sistemici nelle rappresentazioni latenti dei modelli multilingue, rendendo necessario un addestramento alla sicurezza culturalmente diversificato.

In conclusione, il paper fornisce un quadro diagnostico (MiJaBench) e una strategia di rimedio (DPO) per transitare la sicurezza degli LLM da un privilegio selettivo per pochi gruppi a una protezione equa per tutte le comunità.