Attention-Augmented LSTMs for Automatic Homophonic Ciphertext Decipherment

Resumo Técnico: LSTMs Aumentados por Atenção para a Decifração Automática de Cifras Homofônicas

Definição do Problema
As cifras de substituição homofônica apresentam um desafio significativo para a criptoanálise automatizada porque mapeiam um único caractere de texto simples para múltiplos códigos de texto cifrado possíveis. Este design obscurece deliberadamente as distribuições de frequência de letras, tornando ineficazes as análises padrão baseadas em frequência. As abordagens automatizadas tradicionais dependem de métodos de busca heurística (por exemplo, hill climbing aninhado, simulated annealing, beam search) combinados com funções de aptidão (fitness functions) específicas da linguagem (estatísticas de n-gramas). Embora sejam bem-sucedidas em cifras históricas específicas, esses métodos frequentemente exigem recursos linguísticos extensos e têm dificuldade com entradas ruidosas ou irregulares. Além disso, modelos de sequência neural recentes aplicados à decifração de cifras foram testados majoritariamente em dados modernos limpos e tipos de cifras simples (por exemplo, César, Vigenère), deixando sua eficácia em cifras homofônicas de motivação histórica pouco explorada.

Este artigo investiga se um modelo de sequência neural, especificamente um LSTM (Long Short-Term Memory) aumentado por atenção, pode servir como uma ferramenta prática para decifrar cifras homofônicas sob condições historicamente realistas. O estudo foca em um cenário de "espaço de chave compartilhada": um cenário onde todos os textos cifrados em um conjunto de dados derivam de um mesmo conjunto conhecido de códigos homofônicos, embora chaves individuais utilizem subconjuntos consistentes e diferentes desse conjunto. Isso reflete cenários históricos do mundo real, como as cartas de Mary Stuart, onde subconjuntos de um maior espaço de chave são reutilizados.

Metodologia
Os autores formulam a tarefa de decifração como um problema de previsão de sequência para sequência supervisionada. Dado uma sequência de texto cifrado $C$, o modelo prevê a sequência de texto simples correspondente $P$ ao nível de caractere.

• Conjunto de Dados: O estudo utiliza um conjunto de dados sintético gerado via ChronoFidelius a partir de textos históricos em inglês e sueco (1500–1899). Os dados abrangem seis comprimentos de texto (50 a 1.000 caracteres) e são temporalmente equilibrados ao longo dos séculos.
• Variantes Experimentais: Para simular desafios arquivísticos, quatro variantes de texto cifrado foram criadas para cada texto simples:
  1. Texto cifrado limpo.
  2. Texto cifrado com 5% de substituições/inserções aleatórias ao nível de caractere (simulando erros de transcrição).
  3. Texto cifrado com códigos de comprimento variável (3 dígitos para vogais, 4 dígitos para consoantes).
  4. Texto cifrado combinando ambos os tipos de ruído.
• Arquitetura do Modelo: O modelo proposto é um biLSTM (bidirectional LSTM) aumentado com um mecanismo de autoatenção de múltiplas cabeças (multi-head self-attention).
  • Os símbolos do texto cifrado são incorporados (embedded) e processados por um biLSTM de múltiplas camadas para capturar dependências de contexto à esquerda e à direita.
  • Um mecanismo de atenção de múltiplas cabeças opera sobre a sequência completa de estados ocultos, reponderando dinamicamente posições relevantes para resolver a ambiguidade homofônica.
  • A saída da atenção é concatenada com o estado oculto do LSTM, normalizada e passada para uma camada de projeção linear para produzir uma distribuição de probabilidade sobre o vocabulário do texto simples.
• Restrições de Treinamento: Crucialmente, os modelos são treinados apenas em pares alinhados de texto cifrado–texto simples. Nenhum modelo de linguagem externo, estatística de frequência ou heurística de busca de chave é utilizado. O objetivo é determinar se o modelo consegue aprender o mapeamento de decifração puramente a partir da relação estrutural entre o texto cifrado e o texto simples dentro do espaço de chave compartilhado.
• Avaliação: O desempenho é medido através de pontuações F1 ao nível de caractere. Os experimentos incluem avaliação diacrônica (testando em séculos específicos não vistos no treinamento) e validação cruzada de 5 dobras em textos curtos (50 caracteres) para avaliar a robustez e evitar o overfitting.

Principais Resultados
O estudo relata uma precisão de decifração quase perfeita ao nível de caractere em ambos os idiomas, todos os períodos históricos e variando os comprimentos de texto cifrado.

• Dados Limpos e de Comprimento Variável: Os modelos alcançaram uma pontuação F1 de aproximadamente 1,0 para textos limpos e aqueles com códigos de comprimento variável, independentemente do comprimento do texto.
• Resiliência ao Ruído: Quando erros de transcrição foram introduzidos, o desempenho permaneceu extremamente alto (F1 > 0,99). A combinação de erros de transcrição e códigos de comprimento variável resultou em uma diminuição menor no desempenho (F1 > 0,986), demonstrando forte robustez ao ruído realista.
• Generalização Diacrônica: O desempenho permaneceu estável em todos os séculos testados (1500–1899), indicando que o modelo generaliza através de variações linguísticas históricas quando treinado com dados temporalmente equilibrados.
• Textos Curtos: A validação cruzada de 5 dobras em sequências de 50 caracteres confirmou que o modelo mantém uma precisão quase perfeita (F1 médio $\ge$ 0,999), mesmo com contexto limitado, com zero variância em várias configurações.
• Verificação do Espaço de Chave: Quando testado em textos cifrados com chaves extraídas de fora do pool homofônico compartilhado, o desempenho do modelo colapsou (F1 $\le$ 0,08). Essa falha previsível confirma que o modelo aprende o espaço de chave específico em vez de padrões superficiais.

Análise de Erros
A inspeção dos erros revela que as falhas não são substituições aleatórias. Em vez disso, elas surgem predominantemente de:

1. Identificação incorreta da presença ou posição de erros de transcrição (por exemplo, falha em sinalizar um token <ERR>).
2. Identificação sistemática de códigos homofônicos específicos (por exemplo, decodificar consistentemente um código específico como 'I' em vez de 'C').
   A estrutura de substituição subjacente é amplamente preservada mesmo nos casos de erro, sugerindo que o modelo aprende a lógica de mapeamento em vez de apenas adivinhar.

Significância e Alegações
O artigo afirma que LSTMs aumentados por atenção podem funcionar como uma ferramenta robusta e prática para a criptoanálise histórica dentro de um cenário de espaço de chave compartilhada. As principais contribuições incluem:

• Independência de Recursos Linguísticos: O modelo alcança alto desempenho sem depender de modelos de linguagem externos ou estatísticas de n-gramas, aprendendo o comportamento de decifração diretamente do alinhamento entre o texto cifrado e o texto simples.
• Robustez às Realidades Históricas: A abordagem lida efetivamente com a variação linguística diacrônica, códigos de comprimento variável e erros de transcrição simulados, abordando lacunas no trabalho neural anterior, que frequentemente dependia de dados modernos limpos.
• Ferramenta de Verificação de Espaço de Chave: A falha previsível do modelo em textos fora do espaço de chave conhecido permite que ele sirva como uma ferramenta de verificação. Pesquisadores podem usar o modelo para escanear textos cifrados desconhecidos para determinar se eles compartilham um espaço de chave conhecido, mesmo que a decifração completa não seja imediatamente possível.
• Papel Complementar: Os autores posicionam este método não como um substituto para a perícia criptanalítica estabelecida, mas como uma ferramenta assistiva que complementa os métodos de busca heurística tradicionais, particularmente para coleções arquivísticas de grande escala ou heterogêneas.

O estudo conclui que, embora a abordagem atual seja limitada a espaços de chaves compartilhadas, ela estabelece uma base sólida para o uso de modelos de sequência neural na criptoanálise histórica, com trabalhos futuros visando a decifração de espaços de chaves independentes e pipelines de ponta a ponta que integrem transcrição e decifração.