RECAP: A Resource-Efficient Method for Adversarial Prompting in Large Language Models

Sintesi Tecnica di RECAP: Un Metodo Efficiente dal Punto di Vista delle Risorse per il Prompting Avversario nei Large Language Models

Problematica

La crescente implementazione dei Large Language Models (LLM) ha esposto significative vulnerabilità di sicurezza, specificamente la suscettibilità dei modelli allineati al "jailbreaking" tramite il prompting avversario. Sebbene metodi automatizzati come Greedy Coordinate Gradient (GCG), Progressive Ensemble Zip (PEZ) e Gradient-Based Distributional Attacks (GBDA) abbiano dimostrato la capacità di generare suffissi avversari che aggirano i guardrail di sicurezza, essi affrontano critiche limitazioni:

1. Intensità di Risorse: Metodi come GCG offrono elevati tassi di successo ma richiedono risorse computazionali e tempi di addestramento sostanziali, rendendoli impraticabili per organizzazioni con budget limitati.
2. Inconsistenza: I tassi di successo variano significativamente a seconda della categoria del prompt (ad esempio, incitamento all'odio rispetto a stupefacenti), suggerendo che non esista un singolo algoritmo universalmente ottimale.
3. Inaccessibilità Black-Box: Gli esistenti metodi di test avversario richiedono spesso l'accesso agli stati interni del modello (logits e output grezzi) per calcolare i gradienti. Ciò li rende inefficaci per valutare modelli ospitati, privati o a codice chiuso (ad esempio, Gemini, API proprietarie) dove tale accesso è ristretto.

Metodologia

Il documento introduce RECAP, un framework efficiente dal punto di stato delle risorse che sfrutta i principi della Retrieval-Augmented Generation (RAG) per bypassare la necessità di un addestramento avversario in tempo reale. Invece di generare nuovi token avversari tramite discesa del gradiente per ogni query, RECAP recupera esempi avversari pre-calcolati e di successo da un database strutturato.

La metodologia procede in tre fasi:

1. Curatela e Classificazione del Dataset:

   • È stato curato un dataset di 1.000 prompt dannosi e classificato in sette categorie di intento: Hate (Odio), Sexual Content (Contenuti Sessuali), Violence and Crime (Violenza e Crimine), Socio-Political (Socio-Politico), Regulated Substances (Sostanze Regolate), Suicide/Self-Harm (Suicidio/Autolesionismo) e Others (Altro).
   • La classificazione è stata eseguita utilizzando un modello Vicuna-7B con prompt engineering.
   • Ogni prompt è stato elaborato attraverso tre algoritmi avversari (PEZ, GBDA e GCG) utilizzando un modello Llama 3 8B.
   • Gli output sono stati valutati utilizzando il HarmBench Classifier per determinare se il prompt avversario avesse elicitato con successo una risposta dannosa.

2. Costruzione del Database di Recupero Gerarchico:

   • È stato compilato un database strutturato contenente i prompt originali, i corrispondenti suffissi avversari (generati da PEZ, GBDA e GCG) e le etichette di successo.
   • Filtraggio: Solo le righe con almeno un attacco riuscito sono state mantenute, riducendo il dataset da 780 a 226 esempi effettivi.
   • Gerarchia: Per GCG, che genera 13 variazioni di token per ogni prompt, è stata conservata la prima variazione di successo.
   • Classifica: Il database organizza gli esempi avversari gerarchicamente. Per ogni categoria di intento, il sistema dà priorità all'algoritmo con il tasso di successo storicamente più alto per quella specifica categoria (ad esempio, i token di GCG sono prioritari per i prompt di violenza sessuale).

3. Pipeline di Inferenza:

   • Codifica: I nuovi prompt dell'utente vengono codificati in rappresentazioni vettoriali dense utilizzando il modello SentenceTransformer all-MiniLM-L6-v2.
   • Ricerca di Similarità: La query codificata viene passata a un indice FAISS (Facebook AI Similarity Search) per recuperare i prompt semanticamente più simili dal database.
   • Selezione: Il sistema recupera il prompt corrispondente migliore e seleziona il relativo suffisso avversario basandosi sulla gerarchia prestabilita (dando priorità all'algoritmo più efficace per quell'intento).
   • Esecuzione: Il suffisso avversario selezionato viene apposto alla query originale dell'utente e inviato al target LLM. Questo processo non richiede calcolo del gradiente o addestramento del modello durante l'inferenza.

Contributi Chiave

• Efficienza delle Risorse: Il metodo elimina la necessità di addestramento dispendioso e calcoli del gradiente al momento dell'inferenza, riducendo significativamente l'overhead computazionale.
• Compatibilità Black-Box: Affidandosi al recupero piuttosto che agli stati interni del modello (logits), RECAP consente il testing di sicurezza su modelli a codice chiuso e ospitati dove gli attacchi tradizionali basati sul gradiente sono impossibili.
• Ottimizzazione Consapevole della Categoria: L'approccio sfrutta la correlazione tra l'intento del prompt e l'algoritmo di attacco più efficace, utilizzando una strategia di recupero gerarchico per massimizzare la probabilità di successo senza riaddestramento.
• Trasferibilità: I token avversari generati e memorizzati sono risultati efficaci su diverse architetture di modelli (ad esempio, Vicuna, Phi) nonostante siano derivati da un set di addestramento Llama 3 8B.

Risultati Sperimentali

Il metodo è stato valutato su 145 prompt distinti utilizzando un modello Llama 3 8B e confrontato con PEZ, GBDA e GCG.

• Tassi di Successo (Average Success Rate - ASR):

  • GCG: 59%
  • PEZ: 39%
  • GBDA: 35%
  • RECAP: 33%
  • Nota: L'autore attribuisce il leggermente inferiore ASR alle attuali dimensioni limitate del database di recupero, prevedendo un miglioramento con l'espansione del database.

• Efficienza (Tempo per elaborare 20 Prompt):

  • GCG (Brute-Force Transfer): ~6,3 minuti
  • PEZ: 7,3 minuti
  • GBDA: 7,1 minuti
  • RECAP: 4 minuti
  • Nota: L'addestramento standard di GCG ha richiesto circa 8 ore per lo stesso batch, mentre RECAP ha richiesto solo 4 minuti.

• Testing Black-Box:

  • RECAP è stato testato sull'API di Gemini (con filtri di danno disabilitati). Sebbene i tassi di successo siano inferiori (4–10%) a causa della superiore fine-tuning e della scala dei parametri del modello, l'esperimento ha dimostrato che il metodo è applicabile laddove altri algoritmi falliscono completamente a causa della mancanza di accesso ai logit.

Significatività e Rivendicazioni

Il documento posiziona RECAP come un framework pratico per il "penetration testing" della sicurezza dell'IA, particolarmente utile per organizzazioni con limitate risorse computazionali. La sua principale significatività risiede in:

1. Democratizzazione del Testing di Sicurezza: Rendere l'valutazione avversaria accessibile a entità più piccole che non possono permettersi i costi GPU associati agli attacchi basati sull'addestramento come GCG.
2. Colmare il Gap Black-Box: Fornire un meccanismo vitale per valutare la robustezza di LLM proprietari e a codice chiuso senza richiedere l'accesso interno al modello.
3. Scalabilità: Gli autori affermano che, man mano che il database di recupero cresce, il tasso di successo seguirà un pattern di crescita logistica, permettendo potenzialmente al metodo di superare gli approcci tradizionali basati sull'addestramento pur mantenendo un uso minimo delle risorse.

Il documento conclude riconoscendo la natura a doppio uso dello strumento, sottolineando il suo uso previsto per identificare le vulnerabilità al fine di rafforzare i guardrail del modello piuttosto che per generare contenuti malevoli. Il lavoro futuro si concentra sull'espansione del database RAG e sul perfezionamento dell'integrazione dei token recuperati per ottimizzare ulteriormente l'inizializzazione dell'addestramento per altri algoritmi.