OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions

Sintesi Tecnica: OD-Stega

Problema
Il documento affronta la sfida della steganografia coverless (senza copertura) utilizzando i Large Language Models (LLM). In questo scenario, un mittente (Alice) genera un testo contenente un messaggio segreto nascosto, che viene trasmesso a un ricevente (Bob) attraverso un canale pubblico monitorato da un osservatore (Eve). L'obiettivo primario è massimizzare l'utilizzazione dell'embedding (il numero di bit segreti nascosti per token) mantenendo al contempo la naturalezza del testo generato (impercettibilità).

La steganografia tradizionale basata su LLM si affida alla Codifica Aritmetica (AC), dove il messaggio segreto guida il campionamento dei token basandosi sulla distribuzione di probabilità nativa dell'LLM. Tuttavia, gli LLM spesso producono output altamente deterministici (bassa entropia), limitando la quantità di informazioni che possono essere incorporate. Inoltre, i metodi esistenti spesso assumono un regime di "sicurezza perfetta" in cui il testo stego deve essere indistinguibile dal testo naturale sotto qualsiasi capacità di rilevamento. Gli autori sostengono che in molti scenari pratici, Eve è un "rilevatore debole" (ad esempio, computazionalmente limitato o con vincoli di ritardo), il che consente di rilassare i vincoli di sicurezza per ottenere una maggiore capacità di embedding. Ciò porta al concetto di steganografia relativamente sicura.

Metodologia
Il nucleo del metodo proposto, OD-Stega (Optimized Distribution Steganography), consiste nel sostituire la distribuzione di probabilità nativa del prossimo token $P$ dell'LLM con una distribuzione ottimizzata $Q$ che possiede un'entropia più elevata, soggetta a un vincolo sulla divergenza tra le due.

1. Formulazione dell'Ottimizzazione:
   Il problema è formulato come la massimizzazione dell'entropia di Shannon $H(Q)$ della distribuzione di sostituzione $Q$, soggetta a un vincolo di divergenza $D(Q || P) \leq \delta$, dove $\delta$ rappresenta la deviazione consentita (budget di sicurezza) basata sulle capacità di rilevamento di Eve. Gli autori considerano due misure di divergenza:

   • Divergenza di Kullback-Leibler (KL): Viene derivata una soluzione in forma chiusa in cui la $Q$ ottimale si ottiene applicando la scala di temperatura (temperature scaling) ai logit della distribuzione originale $P$. Nello specifico, $Q$ corrisponde a $P$ scalata da un parametro di temperatura $T \geq 1$.
   • Distanza di Variazione Totale (TV): La soluzione ottimale segue una procedura di "water-filling" (riempimento di bacini), in cui la massa di probabilità viene ridistribuita dai token ad alta probabilità ai token a bassa probabilità per equalizzare le probabilità fino a una certa soglia, appiattendo efficacementmente la distribuzione.

2. Selezione Adattiva dei Parametri:
   Per evitare la generazione di testo innaturale (specialmente in contesti a bassa entropia dove la scelta dei token è quasi deterministica), il budget di divergenza $\delta$ non è impostato globalmente in modo fisso. Inveve, viene impostato adattivamente come funzione dell'entropia del token corrente: $\delta_i = C \cdot H(P_i)$, dove $C$ è una costante regolabile.

3. Soluzioni di Ingegneria Pratica:
   Il documento affronta tre criticità pratiche:

   • Discrepanza di Tokenizzazione: I tokenizer standard non garantiscono una sequenza di token univoca per un dato testo (ad esempio, "mountain" rispetto a "mount" + "ain"). Gli autori propongono una strategia di selezione del prompt in cui Alice preppone una breve sequenza di "bit dummy" ($B$) al messaggio segreto. Ella itera attraverso le combinazioni di $B$ finché il testo stego risultante può essere correttamente tokenizzato e decodificato da Bob, che poi scarta $B$.
   • Troncamento del Vocabolario: Per ridurre la complessità computazionale, il vocabolario viene troncato ai primi $N_\epsilon$ token (dove la probabilità cumulativa è $1-\epsilon$). Gli autori dimostrano che la divergenza KL totale è additiva attraverso le fasi di troncamento e ottimizzazione, permettendo un controllo preciso del budget di sicurezza complessivo.
   • Integrazione con Metodi Non-AC: Si dimostra che l'approccio è compatibile con le tecniche esistenti che non si affidano strettamente alla codifica aritmetica, come Discop (che utilizza copie di distribuzione). La distribuzione ottimizzata viene applicata prima della fase di encoding in questi framework.

Contributi Chiave

• Formulazione Teorica: Il documento stabilisce che massimizzare la capacità di embedding sotto un vincolo di sicurezza equivale a massimare l'entropia della distribuzione dei token soggetta a un vincolo di divergenza. Fornisce soluzioni in forma chiusa sia per i vincoli KL che per quelli TV.
• Framework OD-Stega: Un sistema pratico che integra distribuzioni ottimizzate con la codifica aritmetica, affrontando gli errori di tokenizzazione tramite un ciclo di verifica e gestendo i costi computazionali tramite il troncamento del vocabolario.
• OD-Discop: Una dimostrazione del fatto che la tecnica di ottimizzazione può essere applicata universalmente per migliorare l'utilità di embedding di altri metodi steganografici, specificamente la tecnica Discop.
• Validazione Empirica: Esperimenti estesi utilizzando i modelli LLaMA2-7B e GPT2-XL, valutando l'utilizzazione dell'embedding, i tassi di rilevamento contro strumenti di steganalisi allo stato dell'arte (FCN, SESY, GS-Llama) e la percezione umana tramite GPT-4.

Risultati Sperimentali

• Utilizzazione dell'Embedding: Gli esperimenti dimostrano un significativo trade-off tra sicurezza e capacità. Aumentando il parametro $C$ (che aumenta la divergenza $\delta$), il numero di bit incorporati per 25 token aumenta sostanzialmente.
  • Con un vincolo stretto ($C=0.01$, simulando un rilevatore forte), l'utilizzazione dell'embedding è aumentata di circa il 20% rispetto ai metodi di base di troncamento.
  • Con un vincolo rilassato ($C=0.05$, simulando un rilevatore debole), l'utilizzazione è aumentata fino al 55%.
• Performance di Steganalisi: Testati contro i rilevatori FCN, SESY e GS-Llama:
  • Per valori di $C$ bassi, i testi stego erano ampiamente indistinguibili dal testo naturale degli LLM (tassi di rilevamento vicini al caso casuale).
  • All'aumentare di $C$, i tassi di rilevamento sono saliti, confermando la natura controllabile della degradazione della sicurezza.
• Valutazione della Percezione: Le valutazioni di GPT-4 hanno mostrato una correlazione tra il parametro di divergenza e la probabilità che il testo venga segnalato come non umano, in linea con i risultati della steganalisi.
• Robustezza della Tokenizzazione: Il metodo di verifica tramite padding dei bit proposto ha risolto con successo le discrepanze di tokenizzazione senza richiedere un'enumerazione esaustiva.

Significatività e Rivendicazioni
Il documento afferma che OD-Stega fornisce un approccio fondato alla steganografia relativamente sicura, offrendo una libertà di progettazione che bilancia capacità di embedding e rilevabilità. A differenza dei metodi "perfettamente sicuri" che possono essere limitati dalla bassa entropia della generazione del linguaggio naturale, OD-Stega sfrutta esplicitamente i limiti dell'osservatore (Eve) per massimizzare l'occultamento delle informazioni.

Gli autori sottolineano che il loro metodo è universale, capace di potenziare gli schemi esistenti basati su AC e non-AC (come Discop). Posizionano la divergenza KL (o la distanza TV) non solo come una metrica teorica, ma come una leva di controllo pratica (iperparametro) che permette agli ingegneri di calibrare il sistema in base al modello di minaccia e ai requisiti dell'applicazione. Il lavoro riconosce i limiti, notando che l'ottimizzazione viene eseguita token per token senza una visione a lungo termine (a causa dei costi computazionali) e che la "soglia di impercettibilità" è trattata come un parametro regolabile piuttosto che come un modello percettivo appreso.