Anchored Sliding Window: Toward Robust and Imperceptible Linguistic Steganography

Il paper propone il framework "Anchored Sliding Window" (ASW), che migliora la robustezza e l'impercettibilità della steganografia linguistica ancorando prompt e contesto ponte alla finestra di generazione, superando così i compromessi tra qualità del testo e resistenza alle modifiche tipici dei metodi precedenti.

L'essenziale

🕵️‍♂️ Il Problema: Il Messaggio Segreto Fragile

Immagina di voler inviare un messaggio segreto a un amico (Bob) passando attraverso un controllore di sicurezza (Eve) che legge tutto.

• La Steganografia Linguistica: Invece di inviare un messaggio criptato (che Eve bloccherebbe subito perché sembra sospetto), nascondi il messaggio segreto dentro una storia normale, come una lista dei migliori giochi per cellulari. Per Eve, sembra solo una conversazione innocua.
• Il Problema della "Fragilità": Finora, questi messaggi segreti erano come un castello di carte. Se Eve (o un errore di trasmissione) modificava anche solo una sola parola nel testo ("Here's" diventa "The"), tutto il meccanismo di decodifica si rompeva. È come se cambiassi una lettera in un codice a barre: il lettore non riesce più a leggere il resto.

🛠️ La Soluzione: La Finestra Scivolante Ancorata (ASW)

Gli autori propongono un nuovo metodo chiamato ASW (Anchored Sliding Window). Per capire come funziona, usiamo un'analogia con la lettura di un libro.

1. Il Vecchio Metodo (WinStega)

Immagina di dover leggere un libro per capire una storia, ma ti viene detto di guardare solo le ultime 10 pagine e di ignorare tutto il resto.

• Pro: Se qualcuno strappa una pagina a metà libro, non ti importa, perché la guardavi solo le ultime 10. È robusto!
• Contro: Se non hai letto le prime pagine (il contesto), non capisci chi sono i personaggi o di cosa parla la storia. Il testo che generi sembra confuso, ripetitivo e di bassa qualità.

2. Il Nuovo Metodo (ASW)

Gli autori dicono: "Facciamo una finestra che scivola, ma teniamo ancorati due elementi fondamentali".
Immagina di leggere un libro con una lente d'ingrandimento che si muove, ma che ha due "punti di aggancio" fissi:

1. L'Inizio (Prompt): La prima pagina del libro (la domanda o l'istruzione) è sempre visibile. Non la togliamo mai.
2. Il "Ponte" (Bridge Context): Qui sta la magia. Tra l'inizio e le ultime pagine, inseriamo un ponte invisibile.

Cos'è il Ponte?
È come se il libro avesse una nota a margine che dice: "Attenzione: alcune pagine sono state strappate via, ma il senso è questo...".

• Ponte "Duro" (Hard Bridge): È una frase scritta esplicita, tipo "[Testo mancante qui]". Dice al modello: "Ehi, so che mancano delle parole, ma immagina che ci siano e continua come se nulla fosse".
• Ponte "Morbido" (Soft Bridge): È ancora più intelligente. È come un "fantasma" di parole che il computer impara a creare da solo. Il computer si allena (usando una tecnica chiamata distillazione) per imparare a "immaginare" perfettamente cosa c'era nelle pagine strappate, così da non perdere il filo del discorso.

🧪 Perché è Geniale?

1. Robustezza (Resistenza): Se Eve modifica una parola nel testo, il modello non va in tilt. Perché? Perché il modello guarda le ultime parole (che sono fresche) + l'inizio (che è fisso) + il Ponte (che compensa le parti perse). È come avere una bussola che funziona anche se perdi una mappa.
2. Qualità (Impercettibilità): Poiché il modello non deve ignorare tutto il contesto passato, il testo che genera è fluido, naturale e di alta qualità. Non sembra più un robot che parla a singhiozzo.
3. Invisibilità: Il messaggio segreto è così ben nascosto che un analista non riesce a distinguerlo da un testo normale.

📊 I Risultati in Pillole

Gli autori hanno fatto degli esperimenti e hanno scoperto che:

• Il loro metodo è molto migliore dei precedenti (come WinStega).
• Il testo generato è più bello (migliore grammatica e senso).
• È più difficile da scoprire per chi controlla.
• Funziona anche se il testo viene modificato o tagliato durante il viaggio.

🎓 In Sintesi

Immagina di dover inviare un messaggio segreto in una lettera che potrebbe essere strappata o macchiata.

• Prima: Scrivevi il messaggio solo nell'ultima riga, sperando che la lettera arrivasse intatta. Se si rompeva, il messaggio era perso.
• Ora (ASW): Scrivi il messaggio nell'ultima riga, ma tieni sempre visibile il titolo della lettera e aggiungi una nota mentale che dice "Se mancano le righe centrali, immagina che continuino così".
  Il risultato? Il messaggio arriva sicuro, il testo è perfetto e nessuno sospetta che ci sia un segreto nascosto.

È un passo avanti enorme per rendere la comunicazione privata non solo sicura, ma anche resiliente e naturale.

Sommario tecnico

1. Il Problema

La steganografia linguistica basata su grandi modelli linguistici (LLM) mira a nascondere messaggi segreti all'interno di testi generati in modo naturale. Tuttavia, le tecniche esistenti affrontano un compromesso critico tra impercettibilità (la qualità del testo deve sembrare naturale) e robustezza (la capacità di estrarre il messaggio anche se il testo viene modificato durante la trasmissione).

• Fragilità: I metodi tradizionali assumono che il testo steganografico (stegotext) venga trasmesso senza alterazioni. Poiché gli LLM generano testo in modo autoregressivo, la modifica di anche un singolo token può distorcere tutte le inferenze successive, rendendo impossibile l'estrazione del messaggio (attacco attivo).
• Limiti delle soluzioni precedenti: Per mitigare questo problema, lavori precedenti (es. WinStega) hanno proposto di limitare la finestra di contesto ai soli token più recenti, ignorando il prompt e i token iniziali. Sebbene questo garantisca la robustezza (le modifiche ai token esclusi non influenzano l'estrazione), degrada drasticamente la qualità del testo perché il modello perde il contesto semantico iniziale (il prompt), portando a testi incoerenti e di bassa qualità.

2. Metodologia: Il Framework ASW (Anchored Sliding Window)

Gli autori propongono il framework ASW, che risolve il compromesso tra robustezza e qualità strutturando la finestra di contesto in tre segmenti specifici:

1. Prompt (Ancorato): Il prompt originale viene mantenuto fisso all'inizio della finestra. Questo preserva le istruzioni semantiche necessarie per la coerenza del testo.
2. Contesto Ponte (Bridge Context): Un segmento intermedio progettato per "compensare" i token esclusi (quelli che si trovano tra il prompt e i token recenti).
   • Hard Bridge Context: Token discreti inseriti manualmente (es. [CONTEXT TRUNCATED]\n) che fungono da segnaposto per indicare al modello che parte del contesto è mancante, aiutandolo a "immaginare" il contenuto escluso.
   • Soft Bridge Context: Vettori di embedding continui e ottimizzabili, che sostituiscono i token discreti.
3. Token Recenti (Sliding): Gli ultimi $w$ token generati, che garantiscono la robustezza contro le modifiche esterne.

Ottimizzazione tramite Auto-Distillazione (Self-Distillation):
Per ottimizzare il Soft Bridge Context, gli autori formulano il problema come una variante della prompt distillation.

• Teacher: Il modello LLM (congelato) che esegue l'inferenza usando il contesto completo (prompt + tutti i token precedenti).
• Student: Lo stesso modello LLM che esegue l'inferenza usando la finestra ASW (Prompt + Soft Bridge + Token recenti).
• Obiettivo: Minimizzare la divergenza KL (Kullback-Leibler) tra le distribuzioni di probabilità dei logit del Teacher e dello Student. Questo processo "insegne" al modello a compensare l'assenza dei token esclusi, riducendo la discrepanza tra l'inferenza completa e quella basata sulla finestra limitata.
• Strategia: Viene esplorato l'uso della divergenza KL diretta (Forward KL) e inversa (Reverse KL).

3. Contributi Chiave

• Framework ASW: Una nuova architettura di finestra di contesto che fissa il prompt e introduce un "ponte" per mantenere la coerenza semantica pur limitando la finestra di inferenza per la robustezza.
• Contesto Ponte Ottimizzato: L'introduzione del Soft Bridge Context ottimizzato tramite auto-distillazione, che supera i limiti dei segnaposti statici (Hard Bridge) adattandosi dinamicamente alla distribuzione del modello.
• Analisi Teorica e Sperimentale: Dimostrazione che l'uso del prompt ancorato e del ponte riduce significativamente la divergenza KL rispetto ai metodi che troncano semplicemente il contesto, mantenendo al contempo la robustezza contro attacchi attivi (sostituzione, cancellazione, inserimento di token).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli (Qwen2.5-3B, 7B, 14B) e dataset (InstructionWild, Databricks-Dolly, Super-NaturalInstructions).

• Qualità del Testo e Impercettibilità: ASW supera significativamente il metodo baseline (WinStega).
  • Miglioramento del ROUGE-L del 104.08% rispetto a WinStega (con Qwen2.5-7B).
  • Riduzione della differenza di Perplexity ($\Delta PPL$) del 99.36%.
  • Miglioramento del BERTScore e del BLEU.
  • La valutazione umana sulla fluidità del testo mostra che ASW (punteggio 2.56/5) è molto più fluido di WinStega (1.88/5) e si avvicina alla fluidità del testo generato con contesto completo (3.04/5).
• Robustezza: ASW mantiene un tasso di inferenza non influenzata superiore a WinStega in scenari di attacco (modifica di $m$ token). Questo perché WinStega dipende da token esterni alla finestra per calcolare l'entropia, rendendolo vulnerabile, mentre ASW è progettato per essere indipendente dalle modifiche ai token esclusi.
• Capacità di Inserimento: La versione con Soft Bridge ottimizzata con Forward KL raggiunge una capacità di inserimento (bit per token) superiore (1.606) rispetto alle altre varianti, mantenendo un'alta qualità.
• Generalizzabilità: I risultati sono coerenti su modelli di dimensioni diverse (da 3B a 14B) e su dataset diversi, dimostrando che i benefici di ASW aumentano con la scala del modello.

5. Significato e Implicazioni

Questo lavoro è significativo perché risolve uno dei principali colli di bottiglia nella steganografia linguistica moderna: la fragilità dei messaggi nascosti.

• Praticità: Permette di utilizzare la steganografia in canali di comunicazione reali e non controllati (dove il testo potrebbe essere modificato da censori o errori di trasmissione) senza sacrificare la qualità del testo, rendendo il messaggio meno sospetto.
• Innovazione Metodologica: L'uso dell'auto-distillazione per ottimizzare un "contesto ponte" offre un nuovo paradigma per migliorare la robustezza nei sistemi basati su LLM, che può essere applicato anche ad altri compiti di generazione di testo in contesti limitati.
• Sicurezza: Dimostra che è possibile costruire sistemi di comunicazione covert che sono sia impercettibili agli umani (e ai rilevatori di steganalisi) sia resilienti agli attacchi attivi, un requisito fondamentale per la privacy in ambienti repressivi.

In sintesi, ASW rappresenta un avanzamento sostanziale verso steganografia linguistica robusta, impercettibile e di alta qualità, superando i limiti dei metodi precedenti che dovevano scegliere tra sicurezza e coerenza del testo.