CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs

1. Il Problema

I Large Language Models (LLM) vengono sempre più spesso fine-tuned (addestrati su compiti specifici) su dati di dominio specializzati, come l'Intelligence sulle Minacce Informatiche (CTI - Cyber Threat Intelligence). Sebbene questo migliori le prestazioni del modello, introduce un grave rischio di perdita di privacy:

• Memorizzazione dei dati: I modelli LLM tendono a memorizzare e "rigurgitare" informazioni sensibili rare presenti nei dati di addestramento (es. indirizzi IP interni, email di dipendenti, versioni di software non patchate, hash di file).
• Attacchi di estrazione dati: Gli avversari, anche con accesso solo "black-box" (senza vedere i pesi del modello), possono utilizzare prompt ingegnerizzati (spesso basati su prefissi) per indurre il modello a completare sequenze e rivelare dati sensibili memorizzati.
• Limiti delle difese attuali:
  • La sanitizzazione pre-addestramento (es. rimozione di entità tramite NER o Differential Privacy) è spesso inefficace contro l'oscuramento dei dati o riduce drasticamente l'utilità del modello.
  • L'unlearning (dimenticare dati specifici) è computazionalmente costoso, richiede accesso agli interni del modello e non è praticabile in scenari collaborativi o con modelli proprietari.

2. Metodologia: CTIGuardian

Gli autori propongono CTIGuardian, un framework di difesa che non richiede il ri-addestramento del modello base. L'approccio è ispirato all'idea di "allineamento alla sicurezza" (safety alignment), ma applicato alla privacy alignment.

Il sistema opera tramite un meccanismo di few-shot supervision (pochi esempi) e si compone di due moduli gestiti dallo stesso LLM sottostante (es. GPT-4o mini o Mistral-7B):

1. Privacy Classifier (Classificatore della Privacy):

   • Analizza l'input (prompt) prima che venga inviato al modello fine-tuned.
   • Classifica la richiesta come "dannosa" (harmful) o "innocua" (harmless).
   • Riconosce non solo le richieste dirette di dati sensibili, ma anche quelle indirette, camuffate o che tentano di completare stringhe parziali (es. "L'attacco ha usato l'IP 192.168...").
   • Se la richiesta è dannosa, il sistema rifiuta la risposta.

2. Privacy Redactor (Redattore della Privacy):

   • Opera a livello di output, post-processando la risposta generata dal modello fine-tuned.
   • Utilizza l'apprendimento few-shot per identificare e rimuovere entità sensibili (IP, email, porte, domini, versioni software) anche se oscurate o in formati non standard.
   • Innovazione chiave: A differenza dei semplici sostituti con placeholder (es. <IP_Address>), il redattore riscrive il testo per mantenere la coerenza semantica e la fluidità, nascondendo sia il contenuto sensibile che la natura della rimozione.

3. Contributi Chiave

• Dataset APTQA: Creazione di un nuovo dataset di domande e risposte (QA) basato su report di Advanced Persistent Threat (APT), contenente informazioni sensibili realistiche (IP, email, CVE, CWE) per valutare la perdita di privacy. Questo dataset è stato generato mappando le caratteristiche delle vulnerabilità dai report APT a CVE e CWE.
• Dimostrazione della Vulnerabilità: Dimostrazione empirica che i modelli fine-tuned su dati CTI sono vulnerabili ad attacchi di estrazione dati, con tassi di perdita significativi per porte e versioni software (fino al ~20%).
• Framework CTIGuardian: Introduzione di un approccio di difesa "a due livelli" (classificazione input + redazione output) basato su few-shot learning, che evita costi di ri-addestramento.
• Valutazione Olistica: Valutazione del compromesso tra privacy e utilità, mostrando che CTIGuardian supera i metodi basati su NER tradizionali (come Microsoft Presidio).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Llama-2-7B (fine-tuned), GPT-4o mini e Mistral-7B-Instruct.

• Efficacia nella Riduzione delle Perdite:
  • Prima della difesa, la perdita di dati (matching esatto) era significativa (es. ~19% per porte e versioni software).
  • Dopo l'applicazione di CTIGuardian (con GPT-4o mini come redattore), la perdita è scesa drasticamente:
    • IP, Email, Domini: Ridotti a 0% (o quasi) nei dataset testati.
    • Porte e Versioni Software: Ridotti a livelli trascurabili (es. 1.92% e 6.67% rispettivamente su APTQA).
• Confronto con Presidio (Baseline NER):
  • Privacy: CTIGuardian supera Presidio, specialmente nel gestire dati oscurati (es. john[at]gmail.com o IP frammentati) che i pattern regex di Presidio non riescono a catturare.
  • Utilità: Mentre Presidio lascia placeholder evidenti che rivelano la presenza di dati sensibili, CTIGuardian riscrive il testo mantenendo la coerenza semantica. Le metriche di similarità (Cosine Similarity, BLEU, ROUGE-L) mostrano che GPT-4o mini preserva meglio il significato rispetto a Mistral e Presidio.
• Efficienza: L'approccio introduce un overhead di latenza minimo (circa 2-3 secondi per inferenza) e costi operativi molto bassi, rendendolo pratico per il deployment.

5. Significato e Implicazioni

Il lavoro di CTIGuardian è significativo perché:

1. Offre una soluzione pratica: Risolve il problema della privacy nei modelli fine-tuned senza i costi proibitivi del ri-addestramento o dell'unlearning.
2. Generalizzabilità: Sebbene testato su CTI, il framework è generico e applicabile ad altri domini sensibili come sanità, finanza e diritto.
3. Paradigma Shift: Sposta l'attenzione dalla rimozione dei dati prima dell'addestramento (spesso imperfetta) alla protezione dinamica durante l'inferenza tramite allineamento comportamentale.
4. Sicurezza Proattiva: Dimostra che l'uso di pochi esempi (few-shot) può insegnare efficacemente a un LLM a riconoscere e gestire contesti sensibili complessi, superando le limitazioni delle regole statiche.

In sintesi, CTIGuardian rappresenta un passo avanti fondamentale per rendere l'uso di LLM specializzati in settori critici come la cybersecurity sicuro e conforme alla privacy, bilanciando la necessità di utilità operativa con la protezione dei dati sensibili.