Sintesi Tecnica: Allargare il Divario: Sfruttare la Quantizzazione degli LLM tramite l'Iniezione di Outlier

Problematica

La quantizzazione dei Large Language Model (LLM) è una tecnica standard per ridurre l'uso della memoria e i costi computazionali, consentendo il deployment su hardware consumer. Tuttavia, recenti ricerche sulla sicurezza hanno rivelato che la quantizzazione può essere sfruttata come un vettore di attacco. Un avversario può rilasciare un modello che appare benigno in precisione piena, ma che esibisce un comportamento malevolo solo dopo che l'utente ha applicato un metodo di quantizzazione specifico.

I lavori precedenti sugli "attacchi condizionati alla quantizzazione" sono stati limitati nell'ambito. Gli attacchi esistenti prendono di mira principalmente metodi di quantizzazione zero-shot semplici (ad esempio, LLM.int8(), NF4, FP4) dove l'attaccante può stimare le regioni di pesi che rimangono invarianti sotto quantizzazione. Questi metodi sono meno comuni nelle implementazioni ad alte prestazioni. Schemi di quantizzazione più sofisticati basati sull'ottimizzazione (ad esempio, GPTQ, AWQ), che utilizzano dataset di calibrazione per minimizzare l'errore di quantizzazione, hanno ampiamente resistito a tali attacchi. I tentativi precedenti di estendere gli attacchi a questi metodi complessi (ad esempio, mirando al k-quant di GGUF) non sono riusciti a generalizzare ad altre tecniche di ottimizzazione, lasciando un significativo vuoto nella comprensione dei rischi di sicurezza dei moderni e ampiamente utilizzati pipeline di quantizzazione.

Metodologia

Gli autori propongono un nuovo attacco che sfrutta una proprietà fondamentale condivisa da molti algoritmi di quantizzazione moderni: la sensibilità agli outlier.

Meccanismo Core

La maggior parte dei metodi di quantizzazione suddivide le matrici di pesi in gruppi (ad esempio, 32 o 128 pesi) e applica un fattore di scala condiviso per mappare i pesi a livelli discretizzati quantizzati. Gli autori osservano che se un gruppo contiene un outlier sufficientemente grande, il fattore di scala per quel gruppo viene dominato dall'outlier. Di conseguenza, i restanti pesi non-outlier in quel gruppo vengono effettivamente arrotondati a zero durante la quantizzazione, causando un prevedibile "collasso dei pesi" (weight collapse) e una sparsificazione del layer.

Pipeline dell'Attacco

L'attacco impiega una strategia di fine-tuning a doppio obiettivo per creare un modello che si comporti diversamente prima e dopo la quantizzazione. Il processo prevede quattro fasi:

1. Inizializzazione a Zero: L'avversario seleziona un blocco specifico (ad esempio, un layer FFN) in un LLM pre-addestrato e ri-inizializza i suoi pesi con rumore Gaussiano vicino allo zero. Questo crea un "blocco di commutazione" (switching block) che può essere manipolato senza distruggere immediatamente l'utilità del modello.
2. Fine-tuning Kick-start: Il modello viene sottoposto a un fine-tuning con un doppio obiettivo:
   • I parametri al di fuori del blocco di commutazione apprendono il comportamento malevolo.
   • Il blocco di commutazione apprende a sopprimere questo comportamento, garantendo che il modello a precisione piena rimanga benigno.
3. Iniezione di Outlier: L'avversario inietta grandi outlier in specifiche matrici di pesi all'interno del blocco di commutazione. Un outlier viene inserito per ogni gruppo di quantizzazione. L'entità di questi outlier è scalata da un fattore $c$ per garantire che dominino il fattore di scala del gruppo, forzando gli altri pesi a zero durante la quantizzazione.
4. Fine-tuning di Raffinamento con un Proxy Quantizzato: Per consolidare l'attacco, l'avversario utilizza un modello "proxy quantizzato" ($\phi$) che simula l'effetto di azzeramento degli outlier.
   • Il modello proxy sostituisce la matrice con l'outlier iniettato con una versione in cui rimangono solo gli outlier (i non-outlier sono impostati a zero).
   • Il modello viene sottoposto a fine-tuning per massimizzare il comportamento malevolo nel proxy (stato quantizzato) pur mantenendo il comportamento benigno nel modello a precisione piena.
   • Questo passaggio assicura che il comportamento malevolo sia robustamente innescato specificamente quando avviene il collasso dei pesi.

Contributi Chiave

1. Primo Attacco a Ampio Spettro per la Quantizzazione: Il paper introduce il primo attacco capace di indurre costantemente comportamenti malevoli attraverso una vasta gamma di pratici algoritmi di quantizzazione basati sull'ottimizzazione, inclusi GPTQ, AWQ, AutoRound e GGUF i-quants.
2. Sfruttamento di Proprietà Condivise: A differenza degli attacchi precedenti che si basavano sulle mappature statiche specifiche della quantizzazione zero-shot, questo metodo sfrutta la vulnerabilità strutturale condivisa della sensibilità agli outlier presente sia nei metodi indipendenti dai dati che in quelli dipendenti dai dati.
3. Alti Tassi di Successo: L'attacco raggiunge alti tassi di successo dell'attacco (ASR) in diversi scenari (Jailbreak, Over-Refusal, Content Injection) e modelli (Llama3.1, Qwen2.5, Mistral) mantenendo un'alta utilità nella versione a precisione piena.
4. Analisi delle Difese: Gli autori dimostrano che le difese basate sul rumore precedenti sono inefficaci contro questo attacco perché il meccanismo si basa su outlier grandi e deterministici piuttosto che su intervalli di pesi vincolati. Esplorano anche la rilevazione tramite test statistici delle distribuzioni dei pesi e le difese di riscalamento, notando che il riscalamento fallisce quando le magnitudo degli outlier sono sufficientemente grandi.

Risultati Sperimentali

La valutazione ha coperto tre LLM e tre scenari di attacco contro un set completo di metodi di quantizzazione:

• Zero-Shot: LLM.int8(), NF4, FP4, GGUF 0-quant.
• Ottimizzazione Indipendente dai Dati (DIOB): HQQ, SINQ, GGUF k-quant.
• Ottimizzazione Dipendente dai Dati (DDOB): GPTQ (4-bit/8-bit), AWQ, AutoRound, GGUF i-quant.

Risultati Chiave:

• Successo dell'Attacco: Nello scenario "Jailbreak", i modelli attaccati hanno raggiunto ASR superiori al 90% in quasi tutti i metodi di quantizzazione (ad esempio, 95.7% per Llama3.1 con GPTQ 4-bit, 95.0% con AWQ). Al contrario, le versioni a precisione piena mostravano tipicamente ASR inferiori al 5%, apparendo spesso più sicure del modello originale.
• Preservazione dell'Utilità: I modelli attaccati a precisione piena hanno mantenuto un'alta utilità, con punteggi medi nei benchmark (MMLU, HumanEval, ecc.) che rimanevano sopra il 90% per Llama3.1 e Qwen2.5, e sopra l'80% per Mistral.
• Robustezza: L'attacco è rimasto efficace anche quando gli utenti variavano le dimensioni dei gruppi, a condizione che la dimensione del gruppo dell'attaccante fosse minore o uguale alla scelta dell'utente.
• Fallimento delle Difese: L'aggiunta di rumore Gaussiano non ha impedito l'attacco senza causare un collasso completo dell'utilità del modello. Il riscalamento degli outlier ha funzionato solo per piccoli fattori di scala; per fattori più grandi ($c=4096$), la difesa è fallita.

Significato e Rivendicazioni

Il paper sostiene di cambiare fondamentalmente la comprensione della sicurezza della quantizzazione. In precedenza, si credeva che i metodi di quantizzazione complessi basati sull'ottimizzazione (come GPTQ e AWQ) fossero robusti contro gli attacchi condizionati dalla quantizzazione grazie alla loro attiva minimizzazione dell'errore. Questo lavoro dimostra che questa apparente robustezza non è valida.

Gli autori sottolineano che le loro scoperte rivelano un rischio di sicurezza critico e sott esplorato: un avversario può colpire essenzialmente tutti i tipi comuni di quantizzazione simultaneamente. Ciò amplia il panorama delle minacce, poiché gli utenti finali potrebbero erroneamente assumere che la scelta di un metodo di quantizzazione "più forte" o più moderno li protegga da tali attacchi. Il paper conclude che la comunità deve sviluppare tecniche di rilevamento e difesa robuste progettate specificamente per gestire l'iniezione basata su outlier, poiché le difese esistenti sono insufficienti.