Attention-Augmented LSTMs for Automatic Homophonic Ciphertext Decipherment

Sintesi Tecnica: LSTM con Augmentazione dell'Attenzione per la Decifrazione Automatica di Cifrari Omofonici

Definizione del Problema
I cifrari di sostituzione omofonica rappresentano una sfida significativa per la crittanalisi automatizzata perché mappano un singolo carattere in chiaro su molteplici possibili codici in cifrato. Questa progettazione oscura deliberatamente le distribuzioni di frequenza delle lettere, rendendo inefficaci le analisi standard basate sulla frequenza. Gli approcci automatizzati tradizionali si affidano a metodi di ricerca euristica (ad esempio, hill climbing annidato, simulated annealing, beam search) combinati con funzioni di fitness specifiche per la lingua (statistiche n-gramma). Sebbene siano efficaci su specifici cifrari storici, tali metodi spesso richiedono estese risorse linguistiche e faticano con input rumorosi o irregolari. Inoltre, i recenti modelli di sequenza neurali applicati alla decifrazione di cifrari sono stati testati in gran parte su dati puliti e moderni e su tipi di cifrari semplici (ad esempio, Cesare, Vigenère), lasciando inesplorata la loro efficacia sui cifrari omofonici di motivazione storica.

Questo articolo investiga se un modello di sequenza neurale, nello specifico un LSTM (Long Short-Term Memory) con l'aggiunta di un meccanismo di attenzione, possa fungere da strumento pratico per la decifrazione di cifrari omofonici in condizioni storicamente realistiche. Lo studio si concentra su un contesto di "spazio di chiave condiviso": uno scenario in cui tutti i testi cifrati in un dataset attingono dallo stesso pool noto di codici omofonici, sebbene i singoli chiavi utilizzino sottogruppi coerenti e differenti di tale pool. Ciò rispecchia scenari storici reali, come le lettere di Maria Stuarda, dove sottogruppi di un ampio spazio di chiavi vengono riutilizzati.

Metodologia
Gli autori formulano il compito di decifrazione come un problema di predizione sequenza-a-sequenza supervisionata. Dato una sequenza cifrata $C$, il modello predice la corrispondente sequenza in chiaro $P$ a livello di carattere.

• Dataset: Lo studio utilizza un dataset sintetico generato tramite ChronoFidelius da testi storici in inglese e svedese (1500–1899). I dati coprono sei lunghezze di testo (da 50 a 1.000 caratteri) e sono temporalmente bilanciati attraverso i secoli.
• Varianti Sperimentali: Per simulare le sfide d'archivio, sono state create quattro varianti di cifrato per ogni testo in chiaro:
  1. Testo cifrato pulito.
  2. Testo cifrato con il 5% di sostituzioni/inserimenti casuali a livello di carattere (per simulare errori di trascrizione).
  3. Testo cifrato con codici a lunghezza variabile (3 cifre per le vocali, 4 cifre per le consonanti).
  4. Testo cifrato che combina entrambi i tipi di rumore.
• Architettura del Modello: Il modello proposto è un biLSTM (bidirectional LSTM) aumentato con un meccanismo di self-attention multi-testa.
  • I simboli del testo cifrato vengono incorporati (embedded) ed elaborati da un biLSTM multi-strato per catturare le dipendenze di contesto a sinistra e a destra.
  • Un meccanismo di attenzione multi-testa opera sull'intera sequenza di stati nascosti, ripesando dinamicamente le posizioni rilevanti per risolvere l'ambiguità omofonica.
  • L'output dell'attenzione viene concatenato con lo stato nascosto dell'LSTM, normalizzato e passato a uno strato di proiezione lineare per produrre una distribuzione di probabilità sul vocabolario del testo in chiaro.
• Vincoli di Addestramento: Fondamentalmente, i modelli sono addestrati solo su coppie allineate testo cifrato–testo in chiaro. Non vengono utilizzati modelli linguistici esterni, statistiche di frequenza o euristiche di ricerca della chiave. L'obiettivo è determinare se il modello possa apprendere la mappatura di decifrazione esclusivamente dalla relazione strutturale tra il testo cifrato e il testo in chiaro all'interno dello spazio di chiave condiviso.
• Valutazione: Le prestazioni sono misurate tramite punteggi F1 a livello di carattere. Gli esperimenti includono una valutazione diacronica (test su specifici secoli non visti durante l'addestramento) e una validazione incrociata a 5 fold su cifrari brevi (50 caratteri) per valutare la robustezza e prevenire l'overfitting.

Risultati Chiave
Lo studio riporta un'accuratezza di decifrazione quasi perfetta a livello di carattere per entrambe le lingue, tutti i periodi storici e diverse lunghezze di testo.

• Dati Puliti e a Lunghezza Variabile: I modelli hanno raggiunto un punteggio F1 di circa 1,0 per i testi cifrati puliti e per quelli con codici a lunghezza variabile, indipendentemente dalla lunghezza del testo.
• Resilienza al Rumore: Quando sono stati introdotti errori di trascrizione, le prestazioni sono rimaste estremamente elevate (F1 > 0,99). La combinazione di errori di trascrizione e codici a lunghezza variabile ha prodotto una lieve diminuzione delle prestazioni (F1 > 0,986), dimostrando una forte robustezza al rumore realistico.
• Generalizzazione Diacronica: Le prestazioni sono rimaste stabili attraverso tutti i secoli testati (1500–1899), indicando che il modello si generalizza attraverso le variazioni linguistiche storiche quando addestrato su dati temporalmente bilanciati.
• Testi Brevi: La validazione incrociata a 5 fold su sequenze di 50 caratteri ha confermato che il modello mantiene un'accuratezza quasi perfetta (F1 medio $\ge$ 0,999) anche con un contesto limitato, con varianza nulla in diverse configurazioni.
• Verifica dello Spazio di Chiave: Quando testato su testi cifrati con chiavi estratte da un pool omofonico esterno a quello condiviso, le prestazioni del modello sono crollate (F1 $\le$ 0,08). Questo fallimento prevedibile conferma che il modello apprende lo specifico spazio di chiave condiviso piuttosto che schemi superficiali.

Analisi degli Errori
L'ispezione degli errori rivela che i fallimenti non sono sostituzioni casuali. Inveve, derivano prevalentemente da:

1. Identificazione errata della presenza o della posizione degli errori di trascrizione (ad esempio, fallire nel segnalare un token <ERR>).
2. Misidentificazione sistematica di specifici codici omofonici (ad esempio, decodificare costantemente un codice specifico come 'I' invece di 'C').
   La struttura di sostituzione sottostante è ampiamente preservata anche nei casi di errore, suggerendo che il modello apprenda la logica di mappatura piuttosto che procedere per tentativi.

Significatività e Rivendicazioni
Il documento sostiene che gli LSTM con l'aggiunta dell'attenzione possono fungere da strumento robusto e pratico per la crittanalisi storica in un contesto di spazio di chiave condiviso. I contributi chiave includono:

• Indipendenza dalle Risorse Linguistiche: Il modello raggiunge alte prestazioni senza fare affidamento su modelli linguistici esterni o statistiche n-gramma, apprendendo il comportamento di decifrazione direttamente dall'allineamento tra testo cifrato e testo in chiaro.
• Robustezza alle Realtà Storiche: L'approccio gestisce efficacementamente la variazione linguistica diacronica, i codici a lunghezza variabile e i simulati errori di trascrizione, affrontando le lacune del lavoro neurale precedente che spesso si basava su dati moderni e puliti.
• Strumento di Verifica dello Spazio di Chiave: Il fallimento prevedibile del modello su testi cifrati al di fuori del noto spazio di chiave gli permette di servire come strumento di verifica. I ricercatori possono utilizzare il modello per scansionare testi cifrati sconosciuti per determinare se condividono uno spazio di chiave noto, anche se la decifrazione completa non è immediatamente possibile.
• Ruolo Complementare: Gli autori pongono questo metodo non come un sostituto dell'esperienza crittanalitica stabilita, ma come uno strumento di supporto che integra i metodi di ricerca euristica tradizionali, particolarmente per collezioni d'archivio su larga scala o eterogenee.

Lo studio conclude che, sebbene l'attuale approccio sia limitato agli spazi di chiave condivisi, esso stabilisce una solida base per l'uso di modelli di sequenza neurali nella crittanalisi storica, con lavori futuri mirati alla decifrazione di spazi di chiave indipendenti e a pipeline end-to-end che integrino trascrizione e decifrazione.