Riepilogo Tecnico: Fingerprinting dei Sistemi di Inferenza dei Modelli Linguistici di Grande Dimensione

Enunciato del Problema

Il comportamento dei Modelli Linguistici di Grande Dimensione (LLM) non è determinato esclusivamente dai pesi del modello. Il sistema di inferenza, comprendente il motore di inferenza, il backend di attenzione e la piattaforma hardware, introduce deviazioni numeriche sottili a causa della natura non associativa dell'aritmetica in virgola mobile. Sebbene tali deviazioni siano tipicamente considerate artefatti innocui che ostacolano la riproducibilità, questo documento sostiene che esse rivelano informazioni critiche sull'infrastruttura sottostante.

Nello specifico, un avversario che può osservare il comportamento prompt-risposta di un LLM (senza accesso agli stati interni o alle log-probabilità) può inferire i componenti specifici dello stack di inferenza. Questa fuoriuscita di informazioni ha implicazioni dirette per la sicurezza: conoscere il motore specifico (ad esempio, vLLM, SGLang) consente a un attaccante di prendere di mira vulnerabilità critiche note in tali implementazioni, mentre l'identificazione della piattaforma hardware (ad esempio, A100 vs H100) permette la verifica delle affermazioni sul servizio o attacchi specifici mirati all'hardware.

Metodologia

Gli autori propongono un metodo di fingerprinting che tratta il sistema di inferenza come una scatola nera, analizzando esclusivamente l'input e l'output testuali. L'approccio consta di due fasi principali:

1. Modello di Minaccia

Si assume che l'attaccante disponga di:

• Accesso alla chat: La capacità di inviare prompt arbitrari e osservare le risposte testuali.
• Conoscenza del modello: L'LLM specifico e il prompt di sistema sono noti (recuperabili tramite fingerprinting esistente del modello o attacchi di estrazione del prompt).
• Accesso offline ai riferimenti: La capacità di istanziare e interrogare un insieme di sistemi di riferimento che coprono i componenti candidati per raccogliere dati di addestramento.
• Nessun accesso ai logit: Le distribuzioni di probabilità interne o gli stati nascosti sono inaccessibili.

2. Costruzione dell'Insieme di Prompt

Per isolare le deviazioni numeriche in diverse fasi computazionali, gli autori costruiscono quattro insiemi di prompt distinti ($P_1$ da $P_4$):

• $P_1$ (Prompt con Token Rari): Contiene token rari (ad esempio, Unicode non standard) incorporati nel testo. Questi testano il decodifica autoregressiva, dove piccole deviazioni nella selezione di token a bassa probabilità possono spostare la previsione finale.
• $P_2$ (Prompt per Decisione Binaria): Progettati per elicitarre un singolo token "Sì" o "No". Questo isola la fase di prefill, poiché non vi è generazione autoregressiva che possa mascherare le differenze di elaborazione iniziale.
• $P_3$ (Prompt per Contesto Lungo): Testi lunghi che richiedono al modello di estrarre un numero specifico. Questi attivano il prefill a blocchi, rivelando deviazioni introdotte dalla divisione di contesti lunghi su più passaggi.
• $P_4$ (Prompt di Ripetizione): Richieste di ripetere una frase più volte. Questo attiva il riutilizzo del prefisso della cache KV, esponendo come gli stati memorizzati nella cache sono gestiti e caricati.

3. Estrazione delle Caratteristiche e Classificazione

• Embedding: Le risposte sono convertite in vettori di caratteristiche utilizzando funzioni di punteggio. Ad esempio, $P_1$ e $P_3$ utilizzano funzioni indicatrici (1 se il token/numero atteso è presente, 0 altrimenti), mentre $P_4$ normalizza il conteggio delle ripetizioni.
• Classificazione: I vettori di caratteristiche risultanti sono concatenati e immessi in classificatori Random Forest addestrati a identificare tre etichette target: il Motore di Inferenza, il Backend di Attenzione e la Piattaforma Hardware (GPU).
• Gestione Stocastica: Per impostazioni di temperatura non zero, il metodo aggrega le previsioni da più campioni ($k$) per prompt utilizzando il voto di maggioranza per mitigare il rumore di campionamento.

Risultati Chiave

Gli autori hanno valutato il loro approccio su 30 configurazioni di sistema distinte che combinano 4 motori di inferenza, 6 backend di attenzione e 3 dispositivi hardware (Nvidia A100, H100, L4) su tre modelli (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B).

Decodifica Deterministica (Temperatura = 0)

• Accuratezza Perfetta: Il metodo ha raggiunto un'accuratezza del 100% nell'identificare tutti e tre i componenti (motore, backend, GPU) su tutti i modelli.
• Efficienza dei Prompt: L'identificazione perfetta è stata possibile con un minimo di 113 prompt totali, sebbene la composizione ottimale dei prompt variasse in base al modello. I motori di inferenza sono stati identificati più rapidamente (affidabili con 10 prompt), mentre backend e GPU hanno richiesto più dati (100 prompt).

Decodifica Stocastica (Temperatura > 0)

• Robustezza: L'accuratezza è diminuita all'aumentare della temperatura a causa del rumore di campionamento, ma è rimasta significativa.
  • Motore di Inferenza: Accuratezza media di ~80% attraverso le temperature ($T \in \{0.3, 0.6, 0.9\}$).
  • Backend di Attenzione e GPU: L'accuratezza è variata dal 46% al 78% a seconda del modello e della temperatura.
• Aggregazione: Le prestazioni si sono sature dopo l'aggregazione di 10–20 campioni per prompt, confermando che il voto di maggioranza recupera efficacemente il segnale.

Analisi della Robustezza

Il fingerprinting è rimasto efficace sotto variazioni realistiche di distribuzione:

• Prompt di Sistema: L'accuratezza è rimasta alta (~99,7%) anche utilizzando prompt di sistema specifici per l'applicazione invece di quelli predefiniti.
• Dimensione del Batch: Il segnale si è generalizzato bene attraverso diverse dimensioni del batch (addestramento su 32/64/128, test su 256), con cali di accuratezza solo marginali.
• Componenti Proprietari: Quando un componente (ad esempio, una GPU specifica) non era stato visto durante l'addestramento, l'identificazione degli altri componenti (motore, backend) è rimasta robusta, sebbene l'identificazione del componente stesso non visto sia scesa al caso casuale.
• Disallineamento della Temperatura: Se le temperature di addestramento e distribuzione differivano significativamente, l'accuratezza è diminuita sostanzialmente, suggerendo che gli attaccanti dovrebbero allineare la loro temperatura di addestramento con quella dell'obiettivo.

Significato e Affermazioni

Il documento afferma di essere il primo metodo per il fingerprinting dei componenti del sistema di inferenza degli LLM (motore, backend, hardware) utilizzando esclusivamente coppie prompt-risposta senza accesso ai logit.

Gli autori sottolineano che:

1. Implicazioni per la Sicurezza: Questa fuoriuscita di informazioni non è una semplice curiosità; fornisce agli avversari la conoscenza precisa necessaria per sfruttare le vulnerabilità note in motori di inferenza ampiamente utilizzati come vLLM e SGLang.
2. Difficoltà Fondamentale della Difesa: Prevenire questo fingerprinting è "fondamentalmente difficile" perché richiederebbe l'eliminazione delle differenze numeriche tra stack hardware e software diversi. Unificare lo stack è irrealistico per la produzione, e l'aggiunta di rumore per mascherare il segnale degrada l'utilità (ad esempio, rompendo la decodifica deterministica richiesta per la generazione di codice).
3. Mitigazioni Parziali: Il documento suggerisce che il limitazione della velocità (rate limiting) è la difesa più pratica, sebbene possa essere elusa tramite attacchi Sybil. L'aggiunta di rumore è possibile ma comporta un alto costo per l'utilità dell'applicazione.

Il lavoro conclude che gli output del machine learning sono inestricabilmente legati al loro ambiente di esecuzione, e ignorare questo collegamento porta a una fuoriuscita di informazioni che compromette l'integrità e la sicurezza del sistema.