기술 요약: 암호 해독 및 부채널 취약성에 대한 대규모 언어 모델(LLM) 벤치마킹

문제 정의

대규모 언어 모델(LLM)은 자연어 이해 및 생성 분야에서 상당한 발전을 보여주었으나, 암호 해독(cryptanalysis) 영역에서의 능력과 취약성은 아직 충분히 탐구되지 않았습니다. 암호 해독은 암호화된 정보(암호문)를 분석하여 직접적인 암호화 과정에 대한 지식 없이 원래의 메시지(평문)를 복구하는 것을 의미합니다. 저자들은 중요한 격차를 식별했습니다: LLM은 서로 다른 텍스트 인코딩 간에 일반화하는 데 어려움을 겪을 수 있으며, 이는 "불일치하는 일반화 공격(mismatched generalization attacks)"의 기회를 창출할 수 있습니다.

공격자는 유해한 지침을 암호(예: 카이사르, 모스 부호, 베이컨 부호)로 변환하거나, 다른 언어 및 형식(ASCII 아트나 비전사 인코딩 등)을 사용하여 안전 프로토콜을 우회함으로써 이러한 일반화 실패를 악용할 수 있습니다. 이 "탈옥(jailbreaking)" 기술은 모델이 난독화된 입력이 유해한 의도를 포함하고 있다는 것을 인식하지 못하거나, 메시지를 정확하게 복호화하는 데 실패하면서도 그 구조를 "이해"하는 능력을 이용하는 데 기반합니다. 또한, 암호화 체계(주로 문자 또는 블록 단위로 작동)와 LLM 학습(주로 단어 또는 서브워드 토큰 기반) 사이에는 표현상의 불일치가 존재하며, 이는 암호학적 작업에서 모델의 효과를 제한할 수 있습니다.

방법론

이 격차를 해결하기 위해, 저자들은 최첨단 LLM의 암호 해독 잠재력을 평가하기 위해 설계된 포괄적인 벤치마크 데이터셋과 평가 프레임워크를 도입했습니다.

데이터셋 구축

저자들은 4,509개의 항목으로 구성된 새로운 데이터셋을 큐레이션했습니다. 이 데이터셋의 특징은 다음과 같습니다:

• 다양한 평문: 콘텐츠는 다양한 도메인(과학, 의료, 뉴스, 법률, 비즈니스, 문학, 인용구, 소셜 미디어), 문체(셰익스피어 및 방언 포함), 그리고 길이(단문: ≤100자; 장문: ~300자)를 아우릅니다.
• 암호화 알고리즘: 각 평문은 난이도별로 분류된 9가지의 서로 다른 알고리즘을 사용하여 암호화되었습니다:
  • 쉬움(Easy): 카이사르(Caesar), 아트바시(Atbash), 모스 부호(Morse Code), 베이컨(Bacon).
  • 중간(Medium): 레일 펜스(Rail Fence), 플레이페어(Playfair), 비제네르(Vigenère).
  • 어려움(Hard): RSA, AES.
• 구현: 데이터셋은 균형 잡힌 표현을 보장하기 위해 인간이 생성한 콘텐츠와 LLM이 생성한 콘텐츠를 모두 포함합니다.

실험 설정

본 연구는 7개의 최첨단 LLM(Claude 3.5 Sonnet, GPT-4o, GPT-4o-mini, GPT-o4-mini, Mistral, Mistral Large, Gemini 1.5 Pro 포함)을 두 가지 주요 설정 하에 평가했습니다:

1. 제로샷(Zero-Shot): 모델에게 사전 예시 없이 암호문을 복호화하도록 과제를 부여했습니다.
2. 퓨샷(Few-Shot): 모델에게 복호화 과정을 안내하기 위해 9개의 예시(각 암호화 방식당 하나씩)를 제공했습니다.
3. 생각의 사슬(Chain-of-Thought, CoT): 프롬프트에 모델이 추론 과정을 설명하도록 하는 지침을 포함했습니다.

평가는 다음 세 가지 목표에 집중했습니다:

1. 복호화 정확도: 정확한 평문을 재구성하는 능력.
2. 이해력(Comprehension): 정확한 복호화에 실패하더라도 숨겨진 메시지나 부분적인 구조를 식별할 수 있는 모델의 능력.
3. 알고리즘 식별: 모델이 사용된 암호화 방법을 올바르게 식별할 수 있는지 여부.

평가 지표

성능은 다음을 사용하여 측정되었습니다:

• 완전 일치(Exact Match, EM): 엄격한 문자 수준의 정확도.
• BLEU 점수: N-gram 중첩 기반 지표.
• 정규화된 레벤슈타인 유사도(Normalized Levenshtein Similarity, NL): 의미적 유사도 지표.
• 정밀도(Precision), 재현율(Recall), F1 스코어: 암호화 알고리즘 분류를 위해 사용됨.

주요 결과

복호화 성능

• 난이도 구배(Difficulty Gradient): 모든 모델은 중간 및 어려운 암호화 방식(예: AES, RSA, Vigenère)에서 상당한 어려움을 보였으며, 종종 거의 0에 가까운 Exact Match 점수를 기록했습니다.
• 쉬운 암호: "쉬운" 암호에 대한 성능은 모델마다 크게 달랐습니다.
  • Claude 3.5 Sonnet은 카이사르(0.98)와 모스 부호(0.96)에서 높은 EM 점수를 달성하며 탁월한 성능을 보였습니다.
  • GPT-4o는 카이사르(0.66)에서는 강한 성능을 보였으나, Atbash와 Bacon에서는 고전했습니다.
  • Mistral과 Gemini는 최소한의 성공만을 보였으며, 모스 부호나 카이사르 같은 더 단순한 알고리즘조차 이해하는 데 실패하는 경우가 많았습니다.
• 토큰 팽창(Token Inflation): 연구 결과, 토큰 팽창(암호화 후 토큰 수의 증가)과 복호화 실패 사이에 강한 상관관계가 있음이 발견되었습니다. 예를 들어, Bacon 암호는 7.93배의 토큰 팽창을 일으켜 모든 모델에서 낮은 성능을 유발한 반면, 모스 부호는 높은 팽창률(6.9배)에도 불구하고 사전 학습 데이터에서의 빈번한 노출 덕분에 더 잘 이해되었습니다.

이해와 복호화의 차이

**이해(Comprehension)**와 정확한 복호화(Exact Decryption) 사이의 괴리는 핵심적인 발견이었습니다.

• GPT-4o-mini와 같은 모델은 종종 높은 NL 및 BLEU 점수(구조에 대한 의미적 이해를 나타냄)를 기록했지만, 낮은 EM 점수(정확한 시퀀스 재현 실패)를 기록했습니다.
• 이러한 "부분적 이해"는 모델이 메시지를 완전히 복호화하지는 못하더라도 패턴과 구조를 인식할 수 있음을 시사하며, 이는 모델의 내부 추론이 완벽한 출력 없이도 활용될 수 있는 부채널 공격에 노출될 수 있음을 의미합니다.

퓨샷 학습

• 퓨샷 학습은 단순한 암호(예: 카이사르)의 성능을 크게 향상시켰으며, GPT-4o의 EM 점수는 0.66에서 0.90으로 급증했습니다.
• 그러나 이러한 개선이 복잡한 암호(AES, RSA)로는 이어지지 않았으며, 모델은 제공된 예시의 수와 관계없이 거의 0에 가까운 성능을 유지했습니다.
• 추론 모델(예: GPT-o4-mini)은 비추론 모델에 비해 새로운 비전사(bijection, 예: Atbash)에 대해 더 나은 일반화 능력을 보여주었으나, 여전히 Claude 3.5에는 미치지 못했습니다.

도메인 및 스타일 민감도

• 성능은 도메인에 따라 달랐으며, 모델은 일반적으로 익숙한 콘텐츠(인용구, 문학)에서 더 나은 성능을 보였고 전문적인 도메인(의료, 기술)에서는 어려움을 겪었습니다.
• 생소한 글쓰기 스타일(예: 셰익스피어 산문)은 Exact Match 점수의 하락을 초래했으며, 이는 모델이 성공적인 복호화를 위해 익숙한 언어 패턴에 크게 의존함을 나타냅니다.

주요 기여

1. 벤치마크 데이터셋: 9가지 암호화 알고리즘과 평문을 결려하여 LLM의 암호 해독 능력을 테스트하기 위해 특별히 설계된 다양하고 다중 도메인인 벤치마크 데이터셋을 도입했습니다.
2. 포괄적 평가: 최첨단 LLM에 대한 체계적인 제로샷 및 퓨샷 평가를 통해 복호화 정확도와 의미적 이해 사이의 격차를 강조했습니다.
3. 안전성 함의: 부분적 이해와 토큰 팽창이 어떻게 취약성을 만드는지에 대한 분석을 제공했습니다. 저자들은 높은 NL/BLEU 점수가 높은 EM 점수 없이도 나타나는 현상이, 모델이 난독화된 유해한 프롬프트의 의도를 이해하여 "롱테일(long-tail)" 탈옥 공격에 취약해질 수 있음을 나타낸다고 주장합니다.

의의 및 주장

본 논문은 LLM이 암호화된 텍스트를 부분적으로 이해할 수 있다는 점이 이중 용도(dual-use) 위험을 나타낸다고 상정합니다. 높은 복호화 능력은 유익한 작업에는 바람직하지만, 이는 동시에 모델이 난독화를 통해 안전 필터를 우회하도록 설계된 적대적 입력에 취약할 수 있음을 의미합니다.

저자들은 현재의 안전 조치가 일반화 기반 공격에 대해 불충분할 수 있다고 주장합니다. 그들은 다음과 같이 제안합니다:

• 부분적 이해는 취약점이다: 암호의 구조를 "이해"할 수는 있지만 정확하게 복호화하지 못하는 모델이라 할지라도, 난독화된 입력이 유해한 반응을 유발한다면 여전히 탈옥에 취 susceptible할 수 있습니다.
• 토큰 팽창이 중요하다: 보안 메커니즘은 토큰 팽창을 고려해야 합니다. 높은 팽창은 모델 성능을 저해할 수 있지만, 특정 패턴(예: 모스 부호)은 사전 학습 데이터에 존재할 경우 학습될 수 있습니다.
• 표적화된 보호책의 필요성: LLM 안전 장치는 롱테일 텍스트 및 난독화된 입력에 대한 부분적 이해를 명시적으로 처리해야 합니다. 저자들은 향후 안전 정렬(safety alignment)이 유익한 텍스트에 대해서는 높은 복호화 점수를 유지하면서, 유해하고 난독화된 프롬프트에 대해서는 낮은 점수를 유지하는 방향으로 나아가야 한다고 제안합니다.

연구는 결론적으로, LLM이 현대적 암호 표준(AES, RSA)을 깨뜨릴 능력은 아직 갖추지 못했으나, 고전 암호를 해독하거나 난독화된 텍스트를 부분적으로 해석하는 능력은 특히 악의적인 목적으로 일반화 실패를 이용하는 것을 방지하기 위한 AI 안전 연구의 중요한 영역임을 강조합니다.