Attention-Augmented LSTMs for Automatic Homophonic Ciphertext Decipherment

기술 요약: 자동 호모포닉 암호 해독을 위한 어텐션 증강 LSTM

문제 정의
호모포닉 치환 암호(Homophonic substitution ciphers)는 단일 평문 문자를 여러 가능한 암호 코드로 매핑하기 때문에 자동 암호 해독에 있어 상당한 어려움을 준다. 이러한 설계는 의도적으로 글자 빈도 분포를 모호하게 만들어, 표준적인 빈도 기반 분석을 무력화한다. 전통적인 자동화 접근 방식은 언어 특화적 적합도 함수(n-gram 통계 등)와 결합된 휴리스틱 탐색 방법(예: 중첩 힐 클라이밍, 시뮬레이티드 어닐링, 빔 서치)에 의존한다. 이러한 방식은 특정 역사적 암호에는 성공적이었으나, 광범위한 언어 자원을 필요로 하며 노이즈가 있거나 불규칙한 입력값에 취약하다. 또한, 최근 암호 해독에 적용된 신경망 시퀀스 모델들은 주로 깨끗하고 현대적인 데이터와 단순한 암호 유형(예: 카이사르, 비즈네르 암호)에 대해서만 테스트되었으며, 역사적 동기를 가진 호모포닉 암호에 대한 효용성은 충분히 탐구되지 않았다.

본 논문은 어텐션 증강 LSTM(Attention-augmented LSTM)과 같은 신경망 시퀀스 모델이 역사적으로 현실적인 조건 하에서 호모포닉 암호를 해독하는 실용적인 도구로 기능할 수 있는지 조사한다. 본 연구는 "공유 키 공간(shared-key space)" 설정에 초점을 맞춘다. 즉, 데이터셋 내의 모든 암호문이 동일한 알려진 호모포닉 코드 풀(pool)에서 추출되지만, 개별 키는 해당 풀의 서로 다른 일관된 부분 집합을 사용하는 시나리오이다. 이는 메리 스튜어트의 편지에서 나타나는 것처럼, 더 큰 키 공간의 부분 집합이 재사용되는 실제 역사적 사례를 반영한다.

연구 방법론
저자들은 해독 작업을 지도 학습 기반의 시퀀스 투 시퀀스(sequence-to-sequence) 예측 문제로 정식화한다. 암호문 시퀀스 $C$가 주어지면, 모델은 그에 대응하는 평문 시퀀스 $P$를 문자 단위로 예측한다.

• 데이터셋: 본 연구는 1500~1899년 사이의 역사적 영어 및 스웨덴어 텍스트로부터 ChronoFidelius를 통해 생성된 합성 데이터셋을 활용한다. 데이터는 6가지 텍스트 길이(50자에서 1,000자)를 포함하며, 수 세기에 걸쳐 시간적으로 균형 있게 구성되었다.
• 실험 변형: 기록상의 문제를 시뮬레이션하기 위해 각 평문에 대해 네 가지 암호문 변형을 생성하였다:
  1. 깨끗한 암호문(Clean ciphertext).
  2. 전사 오류를 시뮬레이션하기 위해 5%의 무작위 문자 단위 치환/삽입이 포함된 암호문.
  3. 가변 길이 코드가 포함된 암호문(모음은 3자리, 자음은 4자리).
  4. 두 가지 노이즈 유형이 결합된 암호문.
• 모델 아키텍처: 제안된 모델은 멀티 헤드 셀프 어텐션(multi-head self-attention) 메커니즘이 증강된 양방향 LSTM(biLSTM)이다.
  • 암호 기호는 임베딩되어 다층 biLSTM에 의해 처리되며, 이를 통해 좌우 문맥 의존성을 포착한다.
  • 멀티 헤드 어텐션 메커니즘은 전체 시퀀스의 은닉 상태(hidden states) 상에서 작동하며, 호모포닉 모호성을 해결하기 위해 관련 위치의 가중치를 동적으로 재조정한다.
  • 어텐션 출력은 LSTM 은닉 상태와 결합되고 정규화된 후, 평문 어휘에 대한 확률 분포를 출력하기 위한 선형 투영 레이어로 전달된다.
• 학습 제약 조건: 결정적으로, 모델은 오직 정렬된 암호문-평문 쌍에 대해서만 학습된다. 외부 언어 모델, 빈도 통계 또는 키 탐색 휴리스틱은 사용되지 않는다. 목표는 모델이 공유 키 공간 내에서의 암호문과 평문 사이의 구조적 관계만을 통해 해독 매핑을 학습할 수 있는지 결정하는 것이다.
• 평가: 성능은 문자 단위 F1 점수를 사용하여 측정된다. 실험에는 특정 세기(학습 시 보지 못한 세기)에 대한 통시적 평가(diachronic evaluation)와 짧은 암호문(50자)에 대한 5-겹 교차 검증(5-fold cross-validation)이 포함되어, 견고성을 평가하고 과적합을 방지한다.

주요 결과
연구 결과, 두 언어 및 모든 역사적 기간, 다양한 암호문 길이에 대해 거의 완벽한 문자 단위 해독 정확도를 보고하였다.

• 깨끗한 데이터 및 가변 길이 데이터: 모델은 깨든 암호문과 가변 길이 코드가 있는 암호문에 대해 텍스트 길이에 관계없이 약 1.0의 F1 점수를 달ach했다.
• 노이즈 탄력성: 전사 오류가 도입되었을 때도 성능은 매우 높게 유지되었다(F1 > 0.99). 전사 오류와 가변 길이 코드가 결합된 경우에도 성능은 미미하게 감소하였으나 여전히 매우 높았다(F1 > 0.986), 이는 현실적인 노이즈에 대한 강력한 견고성을 입증한다.
• 통시적 일반화: 성능은 테스트된 모든 세기(1500~1899)에 걸쳐 안정적으로 유지되었으며, 이는 모델이 시간적으로 균형 잡힌 데이터로 학습되었을 때 역사적 언어 변화에 대해 일반화될 수 있음을 나타낸다.
• 짧은 암호문: 50자 시퀀스에 대한 5-겹 교차 검증 결과, 모델은 제한된 문맥에서도 거의 완벽한 정확도(평균 F1 $\ge$ 0.999)를 유지하며, 일부 구성에서는 분산이 0으로 나타났다.
• 키 공간 검증: 공유 호모포닉 풀 외부의 키로 암호화된 암호문에 대해 테스트했을 때, 모델의 성능은 붕괴되었다(F1 $\le$ 0.08). 이러한 예측 가능한 실패는 모델이 표면적인 패턴이 아닌 특정 공유 키 공간을 학습했음을 확인시켜 준다.

오류 분석
오류 검사 결과, 실패는 무작위적인 치환이 아님이 드러났다. 대신, 실패는 주로 다음으로부터 발생한다:

1. 전사 오류의 존재나 위치를 오인함(예: <ERR> 토큰을 표시하지 못함).
2. 특정 호모포닉 코드의 체계적 오인(예: 특정 코드를 'C' 대신 'I'로 지속적으로 해독함).
   기저의 치환 구조는 오류 발생 시에도 대체로 유지되는데, 이는 모델이 단순히 추측하는 것이 아니라 매핑 로직을 학습하고 있음을 시사한다.

의의 및 주장
본 논문은 어텐션 증강 LSTM이 공유 키 공간 설정 내에서 역사적 암호 해독을 위한 강력하고 실용적인 도구로 기능할 수 있다고 주장한다. 주요 기여는 다음과 같다:

• 언어 자원으로부터의 독립성: 모델은 외부 언어 모델이나 n-gram 통계에 의존하지 않고, 암호문-평문 정렬로부터 직접 해독 동작을 학습하여 높은 성능을 달성한다.
• 역사적 현실에 대한 탄력성: 이 접근 방식은 통시적 언어 변화, 가변 길이 코드, 시뮬레이션된 전사 오류를 효과적으로 처리하며, 이는 깨끗하고 현대적인 데이터에 의존했던 기존 신경망 연구의 공백을 메운다.
• 키 공간 검증 도구: 알려진 키 공간 외부의 암호문을 스캔하여, 완전한 해독은 즉시 불가능하더라도 해당 암호문이 알려진 키 공간을 공유하는지 확인할 수 있는 검증 도구로서의 역할을 수행한다.
• 보완적 역할: 저자들은 이 방법을 기존의 휴리스틱 탐색 방법을 대체하는 것이 아니라, 대규모 또는 이질적인 아카이브 컬렉션에 특히 유용한 보조 도구로서 위치시킨다.

본 연구는 현재의 접근 방식이 공유 키 공간에 국한되어 있다는 한계가 있지만, 이는 독립적인 키 공간 해독 및 전사와 해독을 통합하는 엔드 투 엔드 파이프라인을 목표로 하는 향후 연구를 위한 견고한 토대를 마련했다는 결론을 내린다.