🤖 machine learning

On the Limits of Support-Preserving Alignment and Bounded Filtering

Questo articolo dimostra teoricamente ed empiricamente che gli schemi di allineamento che preservano le distribuzioni dei modelli interni, se combinati con filtri di sicurezza limitati, non possono eliminare completamente gli output dannosi dai grandi modelli linguistici, come dimostrato da un persistente pavimento empirico di danno attraverso vari modelli e budget di query.

Autori originali: Aryan Dutt, Rui Mao, Anupam Chattopadhyay

Pubblicato 2026-07-22

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aryan Dutt, Rui Mao, Anupam Chattopadhyay

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente e incredibilmente creativo come essere un buon cittadino. Non vuoi lobotomizzarlo o cancellare la sua memoria di come funziona il mondo; vuoi solo dare una spinta alla sua personalità affinché sia meno propenso a dire qualcosa di cattivo o pericoloso. Questo è il mondo dei Large Language Models (LLM), i cervelli artificiali dietro molti dei chatbot che usiamo oggi. Gli scienziati hanno sviluppato un metodo chiamato allineamento (alignment), che è come dare al robot un nuovo set di preferenze. Invece di cancellare la sua capacità di parlare di argomenti pericolosi, il robot impara che quegli argomenti sono "meno divertenti" di cui parlare, quindi sceglie risposte più sicure la maggior parte delle volte.

Tuttavia, c'è un problema. Anche se il robot preferisce essere sicuro, sa ancora come essere pericoloso. Per assicurarci che non sgarri, mettiamo un "filtro di sicurezza" davanti a lui—un buttafuori alla porta del club. Questo buttafuori è veloce ed economico da gestire, ma non può pensare in modo così profondo o lento come il robot stesso. La grande domanda per gli scienziati è: se manteniamo il cervello del robot esattamente lo stesso (solo un po' orientato diversamente) e facciamo affidamento su un buttafuori veloce e limitato per intercettare le cose brutte, potremo mai rendere il robot sicuro al 100%? O c'è una piccola, invisibile perdita che semplicemente non possiamo tappare?

Il Grande Problema della Sicurezza dell'IA: Perché "Abbastanza Buono" Potrebbe Non Essere Abbastanza Buono

In questo articolo, i ricercatori Aryan Dutt, Rui Mao e Anupam Chattopadhyay della Nanyang Technological University hanno deciso di testare i limiti di questa configurazione di sicurezza. Volevano sapere se esiste un "pavimento di danno" (harm floor)—un punto in cui, non importa quanto tu ci provi, non puoi ridurre il tasso di risposte sbagliate a zero.

Pensa al modello di IA come a una gigantesca biblioteca contenente ogni storia mai scritta, incluse alcune molto pericolose. L'allineamento è come mettere un adesivo "Non Leggere" sui libri pericolosi. Il bibliotecario (l'IA) possiede ancora i libri, ma gli viene detto di scegliere prima quelli sicuri. Il filtro di sicurezza è un guardiano della sicurezza che controlla i libri che il bibliotecario sceglie prima che ti vengano consegnati. Il problema è che il guardiano è pagato per essere veloce; può solo sfogliare velocemente alcune pagine o fare poche domande rapide. Non può leggere l'intero libro lentamente per trovare una trappola nascosta.

I ricercatori si sono chiesti: se il bibliotecario possiede ancora i libri pericolosi (perché non li abbiamo cancellati, li abbiamo solo resi meno probabili da scegliere), e il guardiano è troppo veloce per intercettare ogni singolo trucco, possiamo mai impedire che tutti i libri cattivi passino?

L'Esperimento: Spingere il Buttafuori al Limite

Per scoprirlo, il team ha allestito un enorme esperimento. Hanno preso diversi dei modelli di IA più intelligenti disponibili (inclusi modelli famosi come LLaMA e Nemotron) e li hanno avvolti in diversi tipi di "guardiani della sicurezza".

Hanno testato tre tipi di guardiani:

Il Guardiano Black-Box: Questo guardiano cerca solo "parole brutte" specifiche o schemi semplici. È veloce ma un po' stupido.
Il Guardiano White-Box: Questo guardiano è un po' più intelligente; controlla la lunghezza della risposta e quanto l'IA sembra sicura di sé, oltre a controllare le parole brutte.
Il Guardiano a Query Statistica: Questo guardiano è come un detective che pone la stessa domanda all'IA molte volte per farsi un'idea del "vibe" prima di prendere una decisione.

Hanno poi sottoposto questi modelli di IA a domande trabocchetto progettate per indurli a dare consigli pericolosi, come come hackerare un computer o costruire un'arma. Hanno fatto questo aumentando il "budget" per i guardiani—in pratica, hanno permesso ai guardiani di porre più domande o controllare più opzioni prima di dire "sì" o "no".

La Scoperta: Il Muro che Non Si Rompe

I risultati sono stati sorprendenti e un po' preoccupanti.

Man mano che i ricercatori davano ai guardiani più tempo e più domande da porre (aumentando il budget da 1 a 64 controlli), il numero di risposte pericolose è effettivamente diminuito. I guardiani sono diventati più bravi a intercettare le cose brutte ovvie. Ma ecco il punto cruciale: il tasso di risposte sbagliate non è mai arrivato a zero.

Non importava quanto aumentassero il budget, o quanto fosse intelligente il guardiano, o quanto fosse ben allineata l'IA, le risposte pericolose smettevano di diminuire e raggiungevano una linea piatta. Era come cercare di svuotare una vasca da bagno con una piccola tazza; alla fine, semplicemente non riesci a togliere le ultime gocce perché la tazza è troppo piccola per raccogliere l'acqua che schizza negli angoli.

I ricercatori hanno trovato questo "pavimento di danno" in ogni singolo modello testato, dai più piccoli ai più massicci e super intelligenti. Anche i modelli meglio allineati, che di solito rifiutano di rispondere a domande brutte, sbagliavano occasionalmente quando le domande erano abbastanza trabocchetto.

Perché Succede Questo?

L'articolo suggerisce che ciò accada a causa di una discrepanza nella "profondità di pensiero". Il modello di IA è come un pensatore profondo che può immaginare scenari complessi e multi-step. Il filtro di sicurezza, invece, è costretto a essere superficiale e veloce per stare al passo con la chat in tempo reale.

Immaginate un gioco di nascondino. L'IA (chi si nasconde) ha il permesso di pensare per ore per trovare il nascondiglio perfetto. Il filtro (chi cerca) ha solo 5 secondi per cercare. Anche se chi si nasconde cerca di essere bravo, ci saranno sempre alcuni posti che sono così astutamente nascosti che il cercatore da 5 secondi li perderà. Poiché l'IA sa ancora come nascondersi in quei posti (il "supporto" del comportamento pericoloso è ancora lì), e il cercatore non può guardare abbastanza a lungo per trovarli tutti, alcune risposte brutte passano sempre.

Cosa Significa per il Futur

Gli autori avvertono che questo non significa che l'IA sia senza speranza o che dovremmo arrenderci. Significa solo che l'attuale modo di procedere—aggiustare le preferenze dell'IA e aggiungere un filtro veloce sopra di essa—ha un limite invalicabile. Puoi rendere l'IA sempre più sicura, ma potresti non raggiungere mai la "sicurezza perfetta" con questo specifico metodo.

Suggerisce che per risolvere davvero il problema, potremmo dover cambiare il cervello dell'IA stessa, non solo le sue preferenze o aggiungere un buttafuori migliore. Potremmo dover insegnare all'IA a non sapere certe cose pericolose, piuttosto che sperare solo che non scelga di dirle. Finché non risolveremo questo, ci sarà sempre una piccola, ostinata perdita di rischio che non possiamo tappare solo con i filtri.

Sintesi Tecnica: Sui Limiti dell'Allineamento Preservante il Supporto e del Filtraggio Vincolato

Problematica
Il saggio investiga un limite fondamentale negli attuali processi di sicurezza dei Large Language Model (LLM): se gli schemi di allineamento che rimodellano le distribuzioni di output, quando combinati con filtri di sicurezza computazionalmente vincolati, possano portare la probabilità di comportamenti dannosi a zero. Mentre ricerche recenti indicano che i comportamenti dannosi possono persistere sotto l'allineamento basato sulle preferenze e che il filtraggio esterno affronta la complessità computazionale nei casi peggiori, rimane da chiarire se le pipeline pratiche — che in gran parte preservano le rappresentazioni interne e le capacità del modello — possano eliminare interamente il comportamento dannoso o semplicemente sopprimerne le forme più visibili. Gli autori postulano che possa esistere un "pavimento di danno" (harm floor) intrinseco per le pipeline di allineamento che mantengono fisso il modello base avvolgendolo in filtri di sicurezza con budget rigorosi di latenza e calcolo.

Metodologia
Lo studio formalizza il problema della sicurezza utilizzando un framework di operatori di allineamento preservanti il supporto combinati con algoritmi di filtraggio vincolati.

Framework Teorico: Gli autori definiscono l'allineamento come un processo di riponderazione delle probabilità su un supporto comportamentale fisso (ovvero, $P_\theta(y|x) > 0 \implies P_{\theta'}(y|x) > 0$ ). Sotto questo regime, gli output dannosi rimangono possibili, sebbene con una probabilità inferiore. Analizzano la capacità dei filtri vincolati (black-box, white-box e statistical-query) di approssimare un eliminatore ideale che rimuova tutta la massa dannosa. Gli argomenti teorici suggeriscono che, sotto questi vincoli, il filtraggio vincolato potrebbe non essere in grado di eliminare tutti gli output dannosi supportati dalla distribuzione del modello base a causa di barriere computazionali e informatico-teoretiche.
Pipeline Empirica: Gli autori hanno costruito una pipeline di valutazione che avvolge veri LLM (accessibili tramite OpenRouter) con tre classi di filtri vincolati:
1. Filtro black-box: seleziona campioni a basso rischio utilizzando un punteggio di rischio leggero basato su parole chiave.
2. Filtro ispirato al white-box: combina il punteggio di rischio con euristiche di lunghezza e confidenza.
3. Filtro di query statistica (SQ): calibra una soglia di rischio attraverso query ripetute prima di accettare gli output.
4. Guardrail a livelli: una baseline che combina il rilevamento di pattern di sfruttamento, analisi procedurale e autocritica.
Valutazione: Il sistema è stato testato su prompt avversari tratti da scenari di cybersicurezza curati e dal dataset PKU-SafeRLHF. Lo studio ha variato i budget di query ( $q \in \{1, 4, 16, 64\}$ ) attraverso una gamma di modelli open-weight e ospitati all'avanguardia (inclusi varianti di LLaMA-3.2, Nemotron e modelli frontier come GPT-5 e Claude Opus 4.5). La dannosità è stata misurata utilizzando un predicato trasparente basato su parole chiave.

Contributi Chiave

Unified Empirical Framework: Il saggio fornisce un framework riproducibile per misurare i "pavimenti di danno" dei reali LLM sotto filtri di sicurezza vincolati, utilizzando prompt, modelli e metriche liberamente disponibili.
Evidenza Cross-Model: Presenta prove che l'allineamento preservante il supporto, combinato con filtri computazionalmente limitati, lascia una probabilità residua non nulla di comportamento dannoso, anche all'aumentare dei filtri e dei budget di query.
Ponte Teorico-Pratico: Il lavoro collega i risultati di impossibilità di alto livello nell'allineamento (riguardo alla preservazione del supporto e all'inferenza vincolata) alle concrete architetture degli stack di LLM implementati, suggerendo che colmare il divario di sicurezza residuo possa richiedere metodi che alterino le rappresentazioni o il ragionamento del modello piuttosto che fare affidamento esclusivamente sulla rimodellazione della probabilità a livello di output.

Risultati
Gli esperimenti producono tre scoperte primarie corrispondenti alle domande di ricerca:

RQ1 (Convergenza): L'aumento del budget di query dei filtri di sicurezza vincolati riduce costantemente la probabilità misurata di output dannosi, ma il tasso si stabilizza sopra lo zero invece di convergere a zero. Questo comportamento di saturazione è osservato in tutti i modelli e nelle classi di filtri.
RQ2 (Architettura del Filtro): Sebbene diverse architetture di filtro (black-box, white-box, SQ) producano diversi miglioramenti quantitativi (ad esempio, i filtri black-box hanno spesso mostrato la riduzione più forte per un dato budget), nessuno ha raggiunto lo zero di danno. Tutti hanno esibito lo stesso pattern qualitativo di rapida riduzione iniziale seguita da un punto di saturazione non nullo.
RQ3 (Consistenza del Modello): I pavimenti di danno non nulli persistono attraverso diverse famiglie di modelli, scale di parametri (da 3B a 120B+) e paradigmi di allineamento (RLHF, Constitutional AI, RLAIF, basati sul ragionamento). I modelli più grandi e pesantemente sottoposti a tuning di sicurezza hanno raggiunto pavimenti di danno assoluti più bassi, ma hanno comunque esibito una saturazione sopra lo zero.

Significatività e Rivendicazioni
Il saggio sostiene di aver identificato le condizioni strutturali sotto le quali il filtraggio esterno e la rimodellazione della probabilità da soli non possono garantire la sicurezza universale. Nello specifico, quando l'allineamento preserva il supporto comportamentale del modello e i filtri sono computazionalmente limitati, può rimanere una massa dannosa residua.

Gli autori non sostengono che l'allineamento sia impossibile o che gli attuali sistemi siano inevitabilmente insicuri.
Inveve, argomentano che il "pavimento di danno" è una conseguenza della disparità tra le profonde capacità di ragionamento del generatore e l'analisi superficiale e vincolata del filtro.
La significatività risiede nel suggerire che il futuro allineamento robusto potrebbe richiedere metodi che cambino ciò che il modello può rappresentare o come ragiona, o che espongano gli invarianti rilevanti per il danno più direttamente ai componenti di sicurezza, piuttosto che fare affidamento esclusivamente su filtri esterni più forti attorno a un generatore essenzialmente invariato.

Gli autori riconoscono i limiti, notando che le loro etichette di dannosità si basano su predicati euristici piuttosto che sulla valutazione umana e che le suite di prompt non coprono esaustivamente tutte le strategie avversarie. Pertanto, i pavimenti di danno misurati rappresentano evidenza di un rischio residuo persistente nelle impostazioni valutate piuttosto che limiti inferiori definitivi per tutti i possibili meccanismi di sicurezza.

Il Grande Problema della Sicurezza dell'IA: Perché "Abbastanza Buono" Potrebbe Non Essere Abbastanza Buono

L'Esperimento: Spingere il Buttafuori al Limite

La Scoperta: Il Muro che Non Si Rompe

Perché Succede Questo?

Cosa Significa per il Futur

Articoli simili