🤖 machine learning

Safety Hacking in Constrained Best-of- $N$ Inference-time Scaling

Questo articolo dimostra che lo scaling durante l'inferenza tramite il campionamento Best-of- $N$ vincolato è intrinsecamente vulnerabile al "safety hacking", in cui proxy di sicurezza imperfetti contaminano l'insieme ammissibile e la massimizzazione della ricompensa amplifica i residui output non sicuri, causando il verificarsi dei fallimenti di sicurezza in modo asintoticamente certo all'aumentare del numero di campioni, a meno che non vengano impiegati specifici meccanismi di controllo della copertura.

Autori originali: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Pubblicato 2026-08-25

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel panorama moderno dell'intelligenza artificiale, i grandi modelli linguistici sono sempre più guidati da un processo in due fasi per garantire che siano sia utili che innocui. In primo luogo, un filtro di sicurezza agisce come un guardiano, scansionando le potenziali risposte e rifiutando tutto ciò che appare pericoloso o inappropriato. In secondo luogo, un sistema di ricompensa valuta le opzioni sicure rimanenti, classificandole per selezionare quella che sembra più utile o di alta qualità. Questa combinazione consente agli sviluppatori di scalare il numero di opzioni che un modello considera, sperando che, guardando più possibilità, si possa trovare una risposta migliore. L'assunto è stato a lungo che se il filtro di sicurezza è abbastanza accurato e il sistema di ricompensa è buono, semplicemente aumentare il numero di candidati porterà a risultati più sicuri e migliori.

Tuttavia, un nuovo studio rivela un difetto nascosto in questa logica, mostrando che la scalabilità può in realtà ritorcersi contro. I ricercatori, lavorando con LY Corporation e istituzioni accademiche, hanno scoperto che quando un modello viene interrogato per scegliere la migliore risposta da un vasto pool di candidati, il processo di selezione può involontariamente sfruttare piccoli errori nel filtro di sicurezza. Se il filtro permette erroneamente ad alcune risposte non sicure di passare, e se queste risposte non sicure ricevono punteggi leggermente gonfiati dal sistema di ricompensa, il processo di selezione identificherà infine queste ultime come la scelta migliore rispetto alle opzioni realmente sicure. Questo fenomeno, che gli autori chiamano "safety hacking" (hacking della sicurezza), significa che man mano che il sistema esamina un numero sempre maggiore di candidati, la probabilità che selezioni una risposta dannosa può tendere alla certezza, anche se il filtro di sicurezza è per lo più corretto.

Il cuore del problema risiede nel modo in cui il sistema gestisce gli errori rari che inevitabilmente si verificano. Nessun filtro di sicurezza è perfetto; occasionalmente, lascerà passare una risposta pericolosa, classificandola come sicura quando non lo è. In una ricerca limitata, questo errore potrebbe essere ignorato. Ma quando il sistema viene scalato per esaminare migliaia di candidati, inizia a cercare i limiti estremi superiori dei suoi punteggi di ricompensa. I ricercatori hanno scoperto che se le poche risposte non sicure che sfuggono al filtro ricevono punteggi di ricompensa leggermente più alti di quelle sicure, il processo di selezione finirà per concentrarsi su di esse. Non è che il sistema stia cercando di essere pericoloso; piuttosto, sta seguendo le sue istruzioni per trovare l'opzione con il punteggio più alto, e l'opzione con il punteggio più alto in un pool contaminato è proprio quella che è stata erroneamente ammessa.

Per dimostrare ciò, il team ha condotto esperimenti utilizzando sia problemi semplici di tipo "toy problem" che modelli linguistici reali. Nelle loro simulazioni, hanno creato uno scenario in cui una minuscola frazione di risposte era non sicura ma superava il filtro, mentre le altre erano sicure. Hanno poi osservato cosa accadeva all'aumentare del numero di candidati, da una manciata a migliaia. I risultati sono stati netti: all'aumentare del numero di candidati, la probabilità che il sistema scegliesse le risposte non sicure cambiava drasticamente. Il sistema smetteva di scegliere le risposte sicure e iniziava a selezionare quelle non sicure con una frequenza quasi totale. Ciò accadeva anche se il filtro di sicurezza sbagliava solo una minuscola frazione delle volte e il sistema di ricompensa era solo leggermente impreciso in media. Il pericolo non risiedeva nella frequenza degli errori, ma nel modo specifico in cui tali errori interagivano con la ricerca del sistema del punteggio assoluto migliore.

Lo studio ha anche testato se un approccio diverso potesse risolvere il problema. Hanno introdotto un metodo chiamato "constrained pessimistic sampling" (campionamento pessimistico vincolato), che evita deliberatamente di concentrarsi troppo pesantemente sulla singola opzione con il punteggio più alto. Invece di dare la caccia al picco assoluto, questo metodo distribuisce la propria attenzione in modo più ampio tra le opzioni sicure. Nei loro test, questo approccio ha impedito con successo al sistema di aggrapparsi alle risposte non sicure, mantenendo basso il tasso di "safety hacking" anche all'aumentare del numero di candidati. Tuttavia, i ricercatori hanno osservato che questo metodo non elimina il problema iniziale del filtro di sicurezza che lascia passare risposte cattive; impedisce semplicemente di amplificare tale errore. Il problema fondamentale rimane che il pool di candidati è già contaminato.

Le implicazioni di questa scoperta sono significative per il modo in cui costruiamo e scaliamo i sistemi di IA. Suggeriscono che rendere i filtri di sicurezza più accurati in media non è sufficiente a garantire la sicurezza quando si utilizzano metodi di ricerca su larga scala. I ricercatori hanno dimostrato che la relazione tra i punteggi di ricompensa delle risposte sicure e non sicure è tanto critica quanto l'accuratezza del filtro stesso. Se le risposte non sicure hanno una "coda più pesante" nella loro distribuzione di ricompensa — ovvero, ottengono occasionalmente punteggi molto alti per caso — il sistema le troverà ed esse saranno preferite. Ciò significa che la sicurezza non può essere trattata come un passaggio separato che avviene prima dell'ottimizzazione; i due processi sono profondamente intrecciati e gli errori in uno possono essere amplificati dall'altro.

Negli esperimenti con modelli linguistici reali, il team ha confermato che questo meccanismo opera nella pratica. Hanno utilizzato un filtro di sicurezza standard e un modello di ricompensa per selezionare le risposte da un vasto pool di candidati generati da un'IA. Man mano che aumentavano il numero di candidati, il tasso in cui il sistema selezionava risposte dannose aumentava, mentre la qualità delle risposte sicure trovate non migliorava abbastanza da compensare. Quando hanno sostituito il modello di ricompensa con uno diverso, il comportamento è cambiato, provando che il modo specifico in cui il sistema di ricompensa classifica le opzioni è il driver principale di questo fallimento. Ciò conferma che il problema non riguarda solo l'imperfezione del filtro di sicurezza, ma riguarda il modo in cui il sistema di ricompensa interagisce con le poche opzioni non sicure che riescono a passare.

I ricercatori concludono che una scalabilità sicura richiede un approccio duplice: migliorare il filtro di sicurezza per ridurre il numero di opzioni cattive che entrano nel pool, e gestire attentamente il modo in cui il sistema seleziona da quel pool per evitare di amplificare gli errori rimanenti. Sostengono che gli attuali metodi, che si affidano alla scelta della singola migliore opzione da un grande insieme, sono intrinsecamente vulnerabili a questo tipo di fallimento. Sebbene il loro metodo alternativo proposto offra un modo per limitare il danno, non risolve la causa radice. Lo studio funge da avvertimento: mentre spingiamo i sistemi di IA a cercare più possibilità per trovare risposte migliori, dobbiamo essere ugualmente vigilanti su come tali sistemi gestiscono gli errori rari e pericolosi che inevitabilmente filtrano attraverso le crepe. Senza affrontare l'interazione tra il filtraggio della sicurezza e l'ottimizzazione della ricompensa, la scalabilità potrebbe portare a risultati più pericolosi anziché più sicuri.

Sintesi Tecnica: Safety Hacking nella Scalabilità dell'Inferenza Constrained Best-of-N

1. Definizione del Problema

Il paper affronta un modo di fallimento critico nella scalabilità dell'inferenza per i grandi modelli linguistici (LLM) che utilizzano proxy di sicurezza e di ricompensa appresi. Nei pipeline standard, come il campionamento Constrained Best-of-N (CBoN), un modello genera $N$ risposte candidate, le filtra utilizzando un modello di sicurezza appreso per definire un insieme "proxy-fattibile", e seleziona il candidato con il punteggio di ricompensa appresa più elevato.

Gli autori identificano un meccanismo di fallimento a due stadi che denominano safety hacking:

Contaminazione: Un proxy di sicurezza imperfetto ammette output non sicuri (falsi positivi) nell'insieme proxy-fattibile.
Amplificazione: Il successivo passaggio di massimizzazione della ricompensa (selezione del migliore tra $N$ ) amplifica questi output residui non sicuri se essi possiedono una coda superiore più pesante rispetto agli output sicuri.

Il problema centrale è che aumentare il budget di inferenza ( $N$ ) non si limita ad aumentare la probabilità di incontrare un output non sicuro; può garantire asintoticamente la selezione di un output non sicuro, anche quando i tassi di errore medi sia dei proxy di sicurezza che di ricompensa sono arbitrariamente piccoli.

2. Metodologia e Framework Teorico

Definizioni

Insiemi Veri: $S^\star_+$ (veramente sicuri) e $S^\star_-$ (veramente non sicuri).
Insieme Proxy-Fattibile: $\hat{S}_+$ , definito da un proxy di sicurezza appreso $\hat{g}$ che supera una soglia $b$ .
Decomposizione: L'insieme proxy-fattibile divide in:
- $A$ : Veri positivi (veramente sicuri e accettati).
- $B$ : Falsi positivi (veramente non sicuri ma accettati).
Safety Hacking: Un evento in cui l'output selezionato $\hat{y} \in B$ .

Analisi Teorica

Il paper deriva i limiti per $N$ finito e i risultati asintotici basandosi sulle code superiori congiunte dei punteggi di ricompensa appresa per gli insiemi $A$ e $B$ .

Quantità di Coda: Sia $\hat{\Psi}_A(t)$ e $\hat{\Psi}_B(t)$ la probabilità che un campione dalla distribuzione di riferimento cada negli insiemi $A$ o $B$ rispettivamente, con un punteggio di ricompensa appresa superiore a $t$ .
Limiti per $N$ Finito (Teorema 4.1): La probabilità di safety hacking è limitata da funzioni di $\hat{\Psi}_A$ e $\hat{\Psi}_B$ . Specificamente, se nessun campione da $A$ supera una soglia $t$ mentre almeno un campione da $B$ la supera, il CBoN seleziona un output non sicuro.
Certezza Asintotica (Teorema 4.2): Se esiste una sequenza di soglie $t_N$ $t_{N}$ tale che $N\hat{\Psi}_A(t_N) \to 0$ $N \hat{Ψ}_{A} (t_{N}) \to 0$ e $N\hat{\Psi}_B(t_N) \to \infty$ $N \hat{Ψ}_{B} (t_{N}) \to \infty$ , la probabilità di safety hacking converge a 1 quando $N \to \infty$ $N \to \infty$ .
- Ciò implica che anche se la massa dei falsi positivi ( $\epsilon$ ) e gli errori medi del proxy svaniscono, un budget $N = \Theta(1/\epsilon)$ è sufficiente per amplificare l'errore residuo verso un'alta probabilità, a condizione che la coda non sicura sia "più pesante".
Separazione della Coda Gaussiana: Il paper mostra che se l'errore del proxy di ricompensa sugli output non sicuri ha una coda Gaussiana più pesante (varianza maggiore) rispetto agli output sicuri, il safety hacking diventa certo al crescere di $N$ , anche con ricompense vere limitate.

Mitigazione: Controllo della Copertura (Coverage Control)

Gli autori propongono che, sebbene non sia possibile rimuovere la contaminazione iniziale (i falsi positivi ammessi dal filtro di sicurezza), è possibile limitare l'amplificazione di questa contaminazione.

Principio: Limitare la divergenza $\chi^2$ tra la politica di selezione finale e la distribuzione di riferimento proxy-fattibile.
Algoritmo (cPes): Lo implementano tramite Constrained Pessimistic Sampling (cPes). Questo comporta:
1. Il clipping dei punteggi di ricompensa appresa a un intervallo limitato.
2. La risoluzione di un problema di ottimizzazione regolarizzata per ricalibrare i pesi dei candidati proxy-fattibili, penalizzando la concentrazione su outlier ad alta ricompensa.
Garanzia (Teorema 5.1 & Corollario 5.3): Il cPes fornisce un limite sulla probabilità di selezionare un output non sicuro che è indipendente da $N$ . Tuttavia, questo limite dipende dalla massa di contaminazione iniziale $\kappa(x,b)$ e non può ridurla a zero; può solo impedire che la probabilità di selezione cresca con $N$ .

3. Contributi Chiave

Formalizzazione del Safety Hacking: Definito come la selezione di un output che soddisfa un vincolo di sicurezza appreso ma viola il vero criterio di sicurezza, specificamente guidato dall'interazione tra la contaminazione del filtro e l'amplificazione della coda della ricompensa.
Caratterizzazione dell'Amplificazione: Derivazione di limiti per $N$ finito mostrando che il safety hacking è governato dalle code congiunte della ricompensa di output sicuri vs non sicuri. Dimostrazione che una coda non sicura più pesante porta alla certezza asintotica del hacking, anche con errori medi che svaniscono.
Principio di Controllo della Copertura: Stabilire che limitare la divergenza $\chi^2$ dalla distribuzione di riferimento proxy-fattibile produce un limite di sicurezza indipendente da $N$ .
Validazione Empirica:
- Esperimenti Toy: Dimostrazione che il CBoN passa dalla selezione di classi sicure a classi non sicure all'aumentare di $N$ quando la classe non sicura ha una coda di ricompensa più pesante, mentre il cPes limita questo spostamento.
- Esperimenti LLM: Utilizzo di prompt da JailbreakBench, HarmBench e AdvBench con Qwen2.5-7B, Llama-Guard-3 e modelli di ricompensa Beaver/Skywork.
  - Osservazione che all'aumentare di $N$ , la ricompensa proxy del CBoN migliora, ma i tassi di safety-hacking e le ricompense vere "safety-aware" peggiorano.
  - Ablazione: Sostituire il proxy di ricompensa (Beaver vs Skywork) inverte il trend di scalabilità, confermando che il driver è il comportamento della coda (il ranking all'interno del set contaminato) e non solo il tasso di falsi positivi del filtro.

4. Risultati

Problema Toy: Con una classe non sicura che ha una coda di ricompensa più pesante ( $\sigma_B > \sigma_A$ ), il tasso di safety hacking del CBoN è salito da 0.023 ( $N=1$ ) a 0.9996 ( $N=8192$ ), mentre la ricompensa vera media è diminuita. Il cPes ha mantenuto un basso tasso di hacking (~0.02) attraverso tutti i valori di $N$ .
Esperimenti LLM:
- Decomposizione: L'aumento del safety hacking con il CBoN è stato guidato principalmente dalle "vittorie competitive non sicure" (candidati non sicuri che superano quelli sicuri), non semplicemente dall'assenza di candidati sicuri ("esposizione solo a non sicuri").
- Sensibilità del Proxy di Ricompensa: Il passaggio dai modelli di ricompensa Beaver a Skywork ha ridotto il tasso di vittorie competitive non sicure, abbassando il tasso complessivo di hacking, dimostrando che il comportamento della coda è dipendente dal proxy.
- Performance di cPes: Il cPes ha limitato l'effetto di amplificazione, mantenendo i tassi di hacking vicini alla selezione "random feasible" di base, sebbene non abbia eliminato la contaminazione di base.

5. Significato e Rivendicazioni

Il paper sostiene che viene esposta una difficoltà intrinseca nella scalabilità dell'inferenza quando ci si affida a modelli di sicurezza appresi. Il significato primario risiede nello spostare il focus dall'accuratezza media del filtro al comportamento della coda congiunta.

Limiti delle Metriche Medie: Gli autori sostengono che l'accuratezza media del filtro e gli errori medi del proxy sono insufficienti predittori della sicurezza sotto scalabilità; le code superiori relative delle ricompense per gli output sicuri vs non sicuri sono il determinante critico.
Distinzione dal Lavoro Precedente: A differenza della sovra-ottimizzazione della ricompensa (che assume un set fattibile benigno) o del jailbreaking (che assume prompt avversari), questo lavoro analizza un prompt fisso dove il set fattibile stesso è contaminato, e il processo di ricerca amplifica questa specifica contaminazione.
Mitigazione Modesta: Il paper è modesto riguardo alle soluzioni. Afferma che il controllo della copertura (cPes) limita l'amplificazione ma non può riparare un set fattibile contaminato. Se il filtro di sicurezza ammette output non sicuri con ricompense apprese elevate, la selezione regolarizzata potrebbe comunque favorirli.
Direzioni Future: Gli autori dichiarano esplicitamente che la loro analisi è limitata a pipeline di campionamento non adattive e i.i.d. Notano che la ricerca adattiva, l'auto-raffinamento o la pianificazione agentica (dove le distribuzioni dei candidati dipendono dalle valutazioni dei proxy precedenti) non sono coperti e rappresentano importanti lavori futuri.

In conclusione, il paper stabilisce che la scalabilità sicura dell'inferenza richiede un approccio duale: controllare l'ingresso nel set fattibile (migliorando il filtro di sicurezza) e controllare la concentrazione a valle (gestendo il comportamento della coda della ricompensa e la diversità della selezione).