Your "Pro" LLM Subscription May Actually Be "Free": Exposing Fingerprint Spoofing Risks in LLM Inference Services

Riepilogo Tecnico: "Il tuo abbonamento 'Pro' a un LLM potrebbe essere in realtà 'Gratis': Esporre i rischi di Fingerprint Spoofing nei servizi di inferenza LLM"

Definizione del Problema
Man mano che le API dei Large Language Models (LLM) diventano onnipresenti, gli utenti si affidano sempre più al fingerprinting black-box per verificare che i fornitori stiano erogando i modelli premium pubblicizzati. Tuttavia, questi metodi di verifica spesso assumono che i modelli rimangano statici e non siano manipolati in modo avversariale. Questo articolo introduce una nuova minaccia denominata fingerprint spoofing, in cui un fornitore di API malevolo serve furtivamente un modello più debole e meno costoso, che è stato sottoposto a un fine-tuning efficiente nei parametri per mimare il fingerprint comportamentale di un modello più forte e pubblicizzato.

La sfida centrale risiede in un severo compromesso di ottimizzazione: i modelli piccoli sono intrinsecamente privi della capacità rappresentativa per mimare perfettamente i modelli più grandi a causa delle leggi di scala (scaling laws). Un fine-tuning aggressivo di un modello debole per mimare uno forte rischia il "catastrophic forgetting" (oblio catastrofico), distruggendo la sua utilità su compiti normali. Inoltre, il retraining dei parametri completi è spesso finanziariamente impraticabile per un attaccante. Il documento formalizza il Problema del Fingerprint Spoofing, in cui un avversario mira a raggiungere simultaneamente tre obiettivi contrastanti:

1. Fingerprint Spoofing: Il modello debole adattato deve essere indistinguibile dal modello forte target sotto il meccanismo di auditing dell'utente.
2. Preservazione dell'Utilità: Il modello adattato deve mantenere prestazioni accettabili su compiti generali a valle.
3. Guadagno Economico: L'adattamento deve essere ottenuto tramite un Parameter-Efficient Fine-Tuning (PEFT) conveniente.

Analisi Teorica
Gli autori stabiliscono innanzitutto i limiti teorici sulla fattibilità dello spoofing.

• Impossibilità di uno Spoofing Universale: Dimostrano (Proposizione 5.1) che, in presenza di risorse sufficienti (query infinite, classificatori forti), lo spoofing universale è matematicamente impossibile perché un adattamento a basso rango non può replicare perfettamente le trasformazioni ad alto rango di un modello più grande.
• Vulnerabilità sotto Vincoli: Tuttavia, l'articolo dimostra che l'auditing nel mondo reale è limitato da budget di query finiti e classificatori di verifica deboli.
  • Il Teorema 5.2 mostra che se la distribuzione delle query dell'auditor ha un rango effettivo basso (query semplici e strutturate), l'errore di spoofing atteso può essere sostanzialmente minimizzato.
  • Il Teorema 5.3 prova che se il modello di verifica lato utente è sufficientemente debole (ad esempio, un classificatore piccolo), l'avversario può teoricamente ottenere uno spoofing a errore zero utilizzando il PEFT.
    Queste scoperte suggeriscono che, sebbene lo spoofing globale perfetto sia impossibile, lo spoofing localizzato è banale sotto i vincoli di auditing realistici.

Metodologia: GhostPrint
Guidati dall'analisi teorica, gli autori propongono GhostPrint, un framework di attacco conveniente progettato per sfruttare le vulnerabilità identificate. Il framework si compone di tre componenti principali:

1. Modellazione del Surrogato e Reward-Ranked Fine-Tuning (RAFT):

   • L'attaccante addestra un modello surrogato del fingerprint ($g$) per mimare il meccanismo di verifica dell'utente.
   • Invece di utilizzare il Reinforcement Learning (che è instabile e costoso), GhostPrint impiega il RAFT. Per ogni query, il modello debole genera molteplici risposte candidate. Il modello surrogato classifica queste risposte, e viene selezionata quella più ingannevole (con il punteggio più alto per la mimesi del target).
   • Questo processo filtra lo spazio di generazione per isolare le risposte che superano naturalmente i confini decisionali del surrogato.

2. Parameter-Efficient Fine-Tuning (PEFT) con SFT e Knowledge Distillation (KD):

   • Le risposte ingannevoli selezionate vengono utilizzate per addestrare il modello debole tramite Supervised Fine-Tuning (SFT) per minimizzare la log-likelihood negativa rispetto all'output del target.
   • Simultaneamente, viene applicata la Knowledge Distillation (KD) utilizzando il modello target come insegnante per preservare l'utilità generale del modello debole.
   • L'obiettivo totale combina le perdite (loss) di SFT e KD, bilanciate da un iperparametro $\alpha$.
   • Tutte le ottimizzazioni sono limitate a LoRA (Low-Rank Adaptation) per garantire la sostenibilità economica, congelando i pesi base e addestrando solo le matrici a basso rango.

3. Apprendimento Continuo tramite Mixture-of-LoRA-Experts (MoLA):

   • Per affrontare lo scenario in cui gli auditor evolvono i loro metodi nel tempo, GhostPrint si estende a un contesto di apprendimento continuo.
   • Addestra adapter LoRA specifici per diversi metodi di fingerprinting e li integra utilizzando un'architettura Mixture-of-LoRA-Experts. Un router addestrabile assegna dinamicamente le query agli adapter rilevanti, permettendo al modello di adattarsi a nuovi fingerprint senza dimenticanza catastrofica.

Risultati Sperimentali
Gli autori hanno valutato GhostPrint su tre famiglie di LLM (Gemma, Qwen2, Phi-3) e contro tre rappresentativi metodi di fingerprinting black-box: LLMmap, LLM-idio e Model Equality Testing (MET).

• Single-Fingerprint Spoofing: GhostPrint ha ottenuto alti tassi di successo dell'attacco (ASR) in tutte le configurazioni. Ad esempio, quando spoofava Gemma-2B come Gemma-7B contro LLMmap, ha raggiunto un ASA del 95,0%, superando il tasso di classificazione naturale del modello target originale (92,0%).
• Preservazione dell'Utilità: Nonostante l'intenso fine-tuning per lo spoofing, i modelli adattati hanno mantenuto punteggi di utilità sui benchmark standard (MMLU, GSM8K, ARC-C) quasi identici ai modelli deboli originali. In alcuni casi, l'utilità è leggermente migliorata, confermando che l'attacco non degrada le capacità generali.
• Cross-Family Spoofing: Anche quando adattava un modello debole di una famiglia di architetture per mimare un modello forte di una famiglia completamente diversa (ad esempio, da Gemma-2B a Qwen2-7B), GhostPrint ha ottenuto un successo significativo, superando notevolmente LLM-idio con un ASR del 95,2%.
• Continual Spoofing: Nel setting di apprendimento continuo, il framework MoLA ha integrato con successo molteplici adapter LoRA. Il sistema ha mantenuto un alto ASR attraverso molteplici metodi di fingerprinting in evoluzione simultaneamente, con una degradazione delle prestazioni minima rispetto alle configurazioni a compito singolo.

Significatività e Rivendicazioni
Il documento sostiene di esporre una vulnerabilità critica negli attuali pipeline di fingerprinting degli LLM. Gli autori sostengono che:

1. L'Auditing Attuale è Fondamentalmente Violabile: I vincoli di risorse lato utente (query finite, classificatori deboli) rendono i metodi esistenti di black-box fingerprinting teoricamente vulnerabili ad attacchi efficienti nei parametri.
2. Sostenibilità Economica dei Fornitori Malevoli: Lo studio dimosta che un fornitore malevolo può sostituire profittevolmente un modello forte con un modello debole sottoposto a fine-tuning, ingannando gli utenti che pagano troppo per risposte di qualità inferiore senza essere rilevati.
3. Limiti della Verifica Statica: I risultati evidenziano che il fingerprinting statico è insufficiente; come dimostrato dagli esperimenti di apprendimento continuo, gli attaccanti possono adattarsi dinamicamente ai metodi di verifica in evoluzione.

Gli autori presentano questo lavoro come un prototipo di ricerca destinato a motivare lo sviluppo di meccanismi di fingerprinting più robusti, piuttosto che come uno strumento per un deployment immediato. Riconoscono i limiti, come la mancanza di valutazione su modelli di scala frontier (es. 32B+ parametri) a causa dei vincoli computazionali, e suggeriscono che lavori futuri potrebbero esplorare il reinforcement learning con classificatori surrogati.