Attention-Augmented LSTMs for Automatic Homophonic Ciphertext Decipherment

Resumen Técnico: LSTMs con Aumento de Atención para el Descifrado Automático de Cifrados Homofónicos

Planteamiento del Problema
Los cifrados de sustitución homofónica presentan un desafío significativo para la criptoanálisis automatizado porque mapean un único carácter de texto plano a múltiples códigos de texto cifrado posibles. Este diseño oscurece deliberadamente las distribuciones de frecuencia de las letras, lo que hace que los análisis estándar basados en frecuencias resulten ineficaces. Los enfoques automatizados tradicionales dependen de métodos de búsqueda heurística (por ejemplo, hill climbing anidado, simulated annealing, beam search) combinados con funciones de aptitud específicas del lenguaje (estadísticas de n-gramas). Aunque han tenido éxito en cifrados históricos específicos, estos métodos suelen requerir recursos lingüísticos extensos y tienen dificultades con entradas ruidosas o irregulares. Además, los modelos de secuencias neuronales recientes aplicados al descifrado de cifras se han probado mayoritariamente en datos limpios y modernos y en tipos de cifrado simples (por ejemplo, César, Vigenère), dejando poco explorada su eficacia en cifrados homofónicos de motivación histórica.

Este artículo investiga si un modelo de secuencia neuronal, específicamente una red LSTM (Long Short-Term Memory) con aumento de atención, puede servir como una herramienta práctica para descifrar cifrados homofónicos bajo condiciones históricamente realistas. El estudio se centra en un escenario de "espacio de clave compartido": un escenario donde todos los textos cifrados en un conjunto de datos extraen de un mismo grupo conocido de códigos homofónicos, aunque las claves individuales utilicen subconjuntos consistentes y diferentes de dicho grupo. Esto refleja escenarios históricos del mundo real, como las cartas de María Estuardo, donde se reutilizan subconjsets de un espacio de clave más amplio.

Metodología
Los autores formulan la tarea de descifrado como un problema de predicción de secuencia a secuencia supervisada. Dado una secuencia de texto cifrado $C$, el modelo predice la secuencia de texto plano $P$ correspondiente a nivel de carácter.

• Conjunto de Datos: El estudio utiliza un conjunto de datos sintético generado mediante ChronoFidelius a partir de textos históricos en inglés y sueco (1500–1899). Los datos abarcan seis longitudes de texto (50 a 1,000 caracteres) y están distribuidos temporalmente a través de los siglos.
• Variantes Experimentales: Para simular desafíos de archivo, se crearon cuatro variantes de texto cifrado para cada texto plano:
  1. Texto cifrado limpio.
  2. Texto cifrado con sustituciones/inserciones aleatorias de caracteres al 5% (simulando errores de transcripción).
  3. Texto cifrado con códigos de longitud variable (3 dígitos para vocales, 4 dígitos para consonantes).
  4. Texto cifrado que combina ambos tipos de ruido.
• Arquitectura del Modelo: El modelo propuesto es una LSTM bidireccional (biLSTM) aumentada con un mecanismo de autoatención de múltiples cabezales (multi-head self-attention).
  • Los símbolos del texto cifrado son embebidos y procesados por una biLSTM multicapa para capturar las dependencias de contexto izquierda y derecha.
  • Un mecanismo de atención de múltiples cabezales opera sobre la secuencia completa de estados ocultos, reponderando dinámicamente las posiciones relevantes para resolver la ambigüedad homofónica.
  • La salida de la atención se concatena con el estado oculto de la LSTM, se normaliza y se pasa a una capa de proyección lineal para producir una distribución de probabilidad sobre el vocabulario de texto plano.
• Restricciones de Entrenamiento: Crucialmente, los modelos se entrenan únicamente con pares alineados de texto cifrado–texto plano. No se utilizan modelos de lenguaje externos, estadísticas de frecuencia ni heurísticas de búsqueda de claves. El objetivo es determinar si el modelo puede aprender el mapeo de descifrado únicamente a partir de la relación estructural entre el texto cifrado y el texto plano dentro del espacio de clave compartido.
• Evaluación: El rendimiento se mide mediante puntuaciones F1 a nivel de carácter. Los experimentos incluyen evaluación diacrónica (probar en siglos específicos no vistos en el entrenamiento) y validación cruzada de 5 pliegues en secuencias cortas (50 caracteres) para evaluar la robustez y prevenir el sobreajuste.

Resultos Clave
El estudio reporta una precisión de descifrado casi perfecta a nivel de carácter en ambos idiomas, todos los periodos históricos y diversas longitudes de texto.

• Datos Limpios y de Longitud Variable: Los modelos alcanzaron una puntuación F1 de aproximadamente 1.0 para textos limpios y aquellos con códigos de longitud variable, independientemente de la longitud del texto.
• Resiliencia al Ruido: Cuando se introdujeron errores de transcripción, el rendimiento se mantuvo extremadamente alto (F1 > 0.99). La combinación de errores de transcripción y códigos de longitud variable resultó en una disminución menor del rendimiento (F1 > 0.986), demostrando una fuerte robustez al ruido realista.
• Generalización Diacrónica: El rendimiento se mantuvo estable a través de todos los siglos probados (1500–1899), indicando que el modelo se generaliza a través de las variaciones lingüísticas históricas cuando se entrena con datos temporalmente equilibrados.
• Textos Cortos: La validación cruzada de 5 pliegues en secuencias de 50 caracteres confirmó que el modelo mantiene una precisión casi perfecta (media F1 $\ge$ 0.999), incluso con un contexto limitado, con cero varianza en varias configuraciones.
• Verificación del Espacio de Clave: Cuando se probó con textos cifrados con claves extraídas de fuera del grupo homofónico compartido, el rendimiento del modelo colapsó (F1 $\le$ 0.08). Este fallo predecible confirma que el modelo aprende el espacio de clave específico en lugar de patrones superficiales.

Análisis de Errores
La inspección de los errores revela que los fallos no son sustituciones aleatorias. En su lugar, surgen predominantemente de:

1. Identificación errónea de la presencia o posición de errores de transcripción (por ejemplo, no marcar correctamente un token <ERR>).
2. Identificación sistemática errónea de códigos homofónicos específicos (por ejemplo, decodificar consistentemente un código específico como 'I' en lugar de 'C').
   La estructura de sustitución subyacente se preserva en gran medida incluso en los casos de error, lo que sugiere que el modelo aprende la lógica del mapeo en lugar de simplemente adivinar.

Significancia y Reivindicaciones
El artículo afirma que las LSTMs con aumento de atención pueden funcionar como una herramienta robusta y práctica para la criptoanálisis histórica dentro de un escenario de espacio de clave compartido. Las contribuciones clave incluyen:

• Independencia de Recursos Lingüísticos: El modelo logra un alto rendimiento sin depender de modelos de lenguaje externos o estadísticas de n-gramas, aprendiendo el comportamiento de descifrado directamente de la alineación entre el texto cifrado y el texto plano.
• Robustez ante Realidades Históricas: El enfoque maneja eficazmente la variación lingüística diacrónica, los códigos de longitud variable y los errores de transcripción simulados, abordando las brechas en trabajos neuronales previos que a menudo dependían de datos modernos y limpios.
• Herramienta de Verificación de Espacio de Clave: El fallo predecible del modelo en textos cifrados fuera del espacio de clave conocido le permite servir como una herramienta de verificación. Los investigadores pueden usarlo para escanear textos cifrados desconocidos para determinar si comparten un espacio de clave conocido, incluso si el descifrado completo no es inmediatamente posible.
• Rol Complementario: Los autores posicionan este método no como un reemplazo para la pericia criptanalítica establecida, sino como una herramienta de asistencia que complementa los métodos de búsqueda heurística tradicionales, particularmente para colecciones de archivos a gran escala o heterogéneas.

El estudio concluye que, si bien el enfoque actual está limitado a espacios de clave compartidos, establece una base sólida para el uso de modelos de secuencia neuronales en la criptoanálisis histórica, con trabajos futuros dirigidos al descifrado de espacios de clave independientes y pipelines de extremo a extremo que integren la transcripción y el descifrado.