CryptanalysisBench: Can LLMs do Cryptanalysis?
이 논문은 6개의 프리미티브 패밀리에 걸친 191개의 암호학적 과업으로 구성된 포괄적인 벤치마크인 CryptanalysisBench를 소개하며, 프런티어 거대 언어 모델들이 기성 체계에 대한 알려진 공격을 재현할 수 있을 뿐만 아니라 축소된 규모 및 프로덕션 수준의 암호 프리미티브 모두에서 새로운 취약점을 발견할 수 있음을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 세상을 모든 은행, 메시지, 비밀이 금고 안에 잠겨 있는 거대하고 북적이는 도시라고 상상해 보십시오. 이 금고들의 열쇠는 금속이 아니라 '암호학적 프리미티브(cryptographic primitives)'라고 불리는 복잡한 수학적 레시피로 만들어져 있습니다. 수십 년 동안, 이 자물쇠들을 테스트하여 정말로 깨지지 않는지 확인할 수 있었던 이들은 수학 박사 학위를 가진 숙련된 열쇠공과 같은 극소수의 인간 전문가들뿐이었습니다. 만약 자물쇠에 결함이 있다면, 그 자물쇠를 사용하는 모든 금고가 위험해지며, 과거와 미래의 비밀이 노출될 수 있습니다. 이것이 바로 **암호 해독(cryptanalysis)**이라는 고도의 심리전입니다. 즉, 나쁜 놈들이 먼저 발견하기 전에 수학적 자물쇠의 약점을 찾아내는 기술입니다.
최근, 새로운 종류의 '견습 열쇠공'이 도착했습니다. 바로 대규모 언어 모델(LLM)입니다. 이들은 코드를 작성하고, 수수께집을 풀며, 거의 모든 것에 대해 대화할 수 있는 초스마트 AI 챗봇입니다. 이 도시 위에 떠 있는 큰 의문은 이것입니다. 이 AI 견습생들이 정말로 인간 마스터들을 이길 수 있을까요? 이들은 복잡한 수학적 자물쇠를 보고, 그것을 따는 법을 알아내며, 인간의 도움 없이 스스로 금고를 열 수 있을까요? 이것은 단순한 게임이 아닙니다. 우리의 디지털 안전망이 대대적인 업그레이드를 받게 될 것인지, 아니면 끔찍한 구멍이 뚫리게 될 것인지를 가르는 경주입니다.
위대한 자물쇠 따기 대회: CryptanalysisBench
이 논문에서, 일류 대학과 기술 연구소의 연구진은 이 AI 견습생들을 궁극의 시험대에 올리기로 했습니다. 그들은 CryptanalysisBench라는 거대한 훈련장을 만들었습니다. 이것은 191가지 종류의 서로 다른 자물쇠로 가득 찬 거대한 장애물 코스라고 생각하면 됩니다. 어떤 자물쇠들은 이미 알려진 대로 고장 난 것들(예: 경첩이 헐거운 문)이고, 다른 것들은 아주 새롭고 반짝거리며 현재 인간들에게 "깨지지 않는" 것으로 간 여겨지는 것들입니다.
연구진은 지구상에서 가장 똑똑한 다섯 가지 AI 모델(Claude, GPT, GLM의 버전 포함)을 초대하여 이 자물쇠들을 부수도록 했습니다. 규칙은 엄격했습니다. AI는 단순히 정답을 추측하는 것이 아니라, 실제로 코드를 깨뜨릴 수 있는 컴퓨터 스크립트를 작성해야 했습니다. 만약 그 스크립트가 작동한다면, AI가 해당 라운드에서 승리하는 것입니다.
결과: AI는 이미 기초적인 부분에서 능숙하다
결과는 놀라웠습니다. AI가 인간들이 이미 깨는 법을 알고 있는 "쉬운" 자물쇠들을 마주했을 때, 모델들은 믿기 힘들 정도로 성공적이었습니다. 모델에 따라 다르지만, 이들은 알려진 자물쇠 중 65%에서 86% 사이를 파괴하는 데 성공했습니다.
하지만 정말 멋진 부분은 이것입니다. AI는 단순히 교과서의 답을 베낀 것이 아니었습니다. 많은 경우, 모델들은 처음부터 코드를 살펴보고, 스스로 결함을 찾아낸 뒤, 작동하는 공격 스크립트를 작성했습니다. 이는 마치 학생에게 고장 난 장난감을 주고 고쳐보라고 했을 때, 매뉴얼을 찾아보는 대신 장난감을 직접 관찰하며 고장 난 기어를 스스로 찾아내는 것과 같습니다.
새로운 발견: 인간이 놓친 결함을 찾아내는 AI
가장 흥격적인 발견은 AI가 인간들이 안전하다고 믿었던 자물쇠들을 다룰 때 일어났습니다. 연구진은 AI 모델들이 이 시스템들을 깨뜨리는 새로운 방법을 발견했다는 사실을 알아냈습니다.
- SpoC 사례: 두 개의 서로 다른 AI 모델이 아무도 고장 났다는 것을 몰랐던 "SpoC"라는 자물쇠를 깨는 방법을 독립적으로 찾아냈습니다. 모델들은 특정 유형의 빈 메시지를 보내면 자물쇠가 안전 점검을 수행하는 것을 잊어버린다는 사실을 깨달았습니다. 두 개의 영리한 메시지를 보냄으로써, AI는 비밀 키를 훔칠 수 있었습니다. 이것은 인간의 도움 없이 일어난 진정한 "유레카!"의 순간이었습니다.
- KINDl 사례: 또 다른 모델은 KINDI라는 시스템의 공식 "안전 증명"에서 실수를 발견했습니다. 설계자들은 "이 자물쇠에는 오직 하나의 키만 맞기 때문에 안전하다"라는 규칙을 썼습니다. AI는 이들이 틀렸음을 증명하며, 여러 개의 키를 수용하도록 자물쇠를 속일 수 있음을 보여주었습니다. 그 후 AI는 이 트릭을 사용하여 비밀 키를 훔쳤습니다. 그러나 연구진은 이것이 설계자의 실수라기보다는, 시스템을 더 효율적으로 만들기 위한 의도적인 설계 선택이었으며, 그 과정에서 AI가 성공적으로 악용할 수 있는 취약점이 도입되었다고 언급했습니다.
AI가 고전하는 부분
AI는 아직 마법 지팡이가 아닙니다. 연구진이 현재 실제 데이터를 보호하는 데 사용되는 "어려운" 자물쇠들(인간에 의해 아직 깨지지 않은 것들)을 주었을 때, 성공률은 현저히 떨어졌습니다. 모델들은 종종 공격의 아이디어는 포착했지만, 그것을 실제로 작동하게 만드는 최종 코드를 작성하는 데는 실패했습니다. 이는 마치 AI가 문이 열려 있다는 것은 알았지만, 시간이 다 되기 전에 문을 밀고 들어가는 법을 정확히 알아내지 못한 것과 같습니다.
하지만 연구진이 AI에게 더 많은 시간(제한 시간을 2시간에서 16시간으로 증가)을 주었을 때, 모델들은 훨씬 더 좋아졌습니다. 그들은 매우 복잡하고 강력한 수학이 필요한 어려운 자물쇠들을 포함하여 더 많은 자물록을 깨뜨리는 데 성공했습니다. 이는 현재 AI의 주요 한계가 지능의 부족이 아니라, 일을 끝마칠 시간의 부족임을 시사합니다.
결론
이 논문은 AI가 이미 암호학 세계에서 진지한 플레이어라고 결론짓습니다. AI는 인간 전문가들이 수년간 면밀히 검토한 설계의 결함을 찾아낼 수 있습니다. 그러나 연구진은 AI가 찾아낸 "파괴" 중 상당수가 설계 자체의 근본적인 결함이라기보다 참조 코드(설계자가 제공한 샘플 구현체)의 버그였다는 사실도 발견했습니다. AI는 코드의 틈을 찾고 있지만, 동시에 마스터들이 놓친 설계의 틈까지 찾아내기 시작했습니다.
비록 아직 가장 어려운 실제 세계의 자물쇠들을 완전히 정복하지는 못했지만, AI는 빠르게 움직이고 있습니다. 연구진은 이 경주를 계속 감시하기 위한 도구로서 이 벤치마크를 공개했습니다. 그들은 AI가 우리의 디지털 삶을 보호하는 자물쇠를 깰 수 있을 만큼 강력해지는 시점을 정확히 추적하여, AI가 하기 전에 우리가 먼저 고칠 수 있도록 하고 싶어 합니다.
요약하자면, AI 견습생들은 더 이상 마스터들을 그저 지켜보는 것이 아닙니다. 그들은 스스로 자물쇠를 따기 시작했으며, 마스터들조차 놓친 틈을 찾아내고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.