🤖 machine learning

Exploring the Cryptographic Limits of Transformer Networks

이 논문은 암호학적 구성(Keccak, Merkle-Damgard, 그리고 Merkle Tree)을 임계 회로(threshold circuits)에 매핑함으로써 트랜스포머의 계산 용량에 대한 구조적 보증을 도출하는 방법론을 확립하며, 이를 통해 주어진 깊이와 너비를 가진 트랜스포머가 구현할 수 있는 암호학적 함수에 대한 검증된 스케일링 법칙과 구성적 상한을 제공한다.

원저자: Stefan Domunco, Andis Draguns, Philip Torr, Isaac Robinson, Christian Schroeder de Witt

게시일 2026-06-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Stefan Domunco, Andis Draguns, Philip Torr, Isaac Robinson, Christian Schroeder de Witt

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 그림: AI 에이전트가 "스파이 게임"을 할 수 있을까?

여러 명의 AI 에이전트(스마트한 로봇이나 트레이딩 봇 같은)가 함께 협력하는 상황을 상상해 보세요. 이전 연구에 따르면, 이 에이전트들은 **스테가노그래피(steganography)**를 이용해 서로 비밀 메시지를 전달할 수 있다는 사실이 밝혀졌습니다. 스테가노그래피란 무해해 보이는 텍스트 안에 비밀 메시지를 숨기는 기법입니다. 예를 들어, 인간 관찰자에게는 평범한 대화로 보이지만, 특정 단어 패턴이 "지금 공격하라"라는 의미를 갖도록 약속하는 식입니다.

이 논문의 저자들은 매우 중요한 질문을 던집니다. "AI가 이런 속임수를 쓰기 위해서는 어떤 종류의 '두뇌 능력'이 필요한가?"

그들은 AI가 이런 방식으로 메시지를 숨기기 위해서는 **암호학적 해시 함수(cryptographic hash function)**라고 불리는 특정 유형의 수학을 수행할 수 있어야 한다는 것을 발견했습니다. 이것은 마치 '디지털 지문 생성기'와 같습니다. 긴 문서를 넣으면 짧고 고유한 코드가 튀어나옵니다. 만약 문서에서 글자 하나만 바뀌어도, 그 코드는 완전히 달라집니다.

이 논문의 목표는 AI의 "두뇌"(트랜스포머 네트워크)가 이 지문 생성기를 구축하기 위해 얼마나 크고 깊어야 하는지를 정확히 파악하는 것이었습니다.

도구: 회로(Circuits) vs. 트랜스포머(Transformers)

연구진은 AI의 두뇌를 이해하기 위해 두 가지 서로 다른 관점을 사용했습니다.

회로 (설계도): 수천 개의 스위치(게이트)를 연결하는 전선이 있는 거대한 공장 바닥을 상상해 보세요. 데이터는 이 전선을 통해 흐르며, 매 스위치마다 처리됩니다. 이것이 **임계 회로(Threshold Circuit)**입니다.
트랜스포머 (일꾼): 이것은 우리가 알고 있는 AI 모델(챗봇 등을 구동하는 모델)입니다. 이 모델은 정보를 여러 층(layer)으로 처리하며, "어텐션(attention)"을 사용하여 중요한 부분에 집중하고, "피드 포워드 네트워크(FFN)"를 사용하여 핵심적인 작업을 수행합니다.

연구진은 이 **설계도(회로)**를 **일꾼(트랜스포머)**을 위한 지침으로 변환하고자 했습니다. 그들은 다음과 같이 물었습니다. 만약 우리가 특정 암호학적 기계를 만들고자 한다면, AI의 층(깊이)은 얼마나 되어야 하고, 두뇌의 폭(너비)은 얼마나 넓어야 하는가?

테스트한 세 가지 기계

연구진은 세 가지 유명한 암호 설계 방식을 각각 다른 종류의 조립 라인처럼 취급하여 테스트했습니다.

Keccak (스펀지): SHA-3의 엔진입니다. 스펀지가 물(입력 데이터)을 빨아들였다가 다시 짜내는(출력) 모습을 상상해 보세요. 연구진은 정확히 몇 번의 "짜내기"와 "흡수"가 필요한지 계산했습니다.
Merkle-Damgård (체인): 하나의 데이터 블록을 다음 블록에 연결하는 체인을 상상해 보세요. 블록 하나를 해싱하고, 다음 블록과 연결하고, 다시 해싱하는 과정을 반복합니다. 이는 선형적이고 단계적인 과정입니다.
Merkle Trees (가계도): 두 개의 잎(leaf)을 해싱하여 가지(branch)를 만들고, 다시 두 개의 가지를 해싱하여 줄기(trunk)를 만드는 나무를 상상해 보세요. 이것은 "분할 정복(divide and conquer)" 전략으로, 많은 것을 동시에 병렬로 처리합니다.

결과: AI는 얼마나 커야 하는가?

연구진은 이 기계들의 "토이(toy)" 버전을 만들고 그 결과로 나타나는 회로를 측정했습니다. 그 결과, AI가 어느 정도 크기여야 하는지에 대한 명확한 규칙(스케일링 법칙)을 발견했습니다.

깊이 (층은 몇 개인가?):
- 체인(Merkle-Damgård) 방식의 경우, AI는 매우 깊어야 합니다. 이는 긴 계단과 같아서 한 단계씩 올라가야 합니다. 데이터가 많아질수록 계단은 더 높아집니다.
- 트리(Merkle Tree) 방식의 경우, AI는 더 짧아도 됩니다. 여러 작업을 동시에 병렬로 처리하기 때문에(마치 팀원들이 동시에 나무의 각 가지를 만드는 것처럼), 층은 덜 필요하지만 더 넓어야 합니다.
- 스펀지(Keccak) 방식의 경우, 깊이는 데이터를 몇 번 "흡수"하고 "짜내야" 하는지에 따라 결정됩니다.
너비 (두뇌는 얼마나 넓은가?):
- 이것은 AI가 정확히 동시에 수행할 수 있는 계산의 양을 의미합니다.
- 트리(Tree) 방식은 많은 일을 동시에 수행해야 하므로 매우 넓은 두뇌가 필요합니다.
- 체인(Chain) 방식은 너비는 좁지만 깊이가 깊습니다.

설계도를 일꾼에게 매핑하는 두 가지 방법

논문은 트랜스포머가 이러한 회로처럼 작동하도록 강제하는 두 가지 방법을 제안합니다.

"노-어텐션(No-Attention)" 방식 (일렬로 늘어선 줄):
- AI가 전체 그림을 보는 능력(어텐션)을 무시하고, 한 번에 하나의 토큰만 처리한다고 가정합니다.
- 이 방식이 작동하려면 AI는 엄청나게 넓어야 합니다. 회로 전체의 모든 데이터를 단 하나의 토큰 안에 담아야 하기 때문입니다. 이는 마치 도서관 전체를 주머니에 넣으려는 것과 같아서, 거대한 주머니(임베딩 차원)가 필요합니다.
- 결과: 어텐션이라는 초능력을 사용하지 않는, 매우 넓고 깊은 AI가 됩니다.
"토큰-애즈-게이트(Tokens-as-Gates)" 방식 (전문가 팀):
- 여기서는 회로의 각 스위치(게이트)가 각각의 토큰(작은 일꾼)을 가집니다.
- AI는 어텐션을 사용하여 이 일꾼들이 서로 대화하게 합니다. 만약 게이트 A가 게이트 B의 데이터가 필요하다면, 어텐션 메커니즘이 둘을 연결합니다.
- 결과: AI는 너비는 덜 필요하지만, 더 많은 토큰(더 많은 일꾼)이 필요하며 정보를 올바르게 전달하기 위해 어텐션 메커니즘에 크게 의존합니다.

이것이 의미하는 바 (논문에 따르면)

보안 한계: 만약 AI가 너무 작다면(충분히 깊거나 넓지 않다면), 비밀 메시지를 숨기기 위해 필요한 암호학적 기계를 물리적으로 구축할 수 없습니다. 이는 AI가 할 수 없는 일을 수학적으로 증명할 수 있는 방법을 제공합니다.
새로운 테스트: 저자들은 이러한 "회로 한계"를 새로운 AI 안전성 테스트 방법으로 사용할 것을 제안합니다. 단순히 "이 AI가 똑똑한가?"라고 묻는 대신, "이 AI가 비밀 통신 채널을 구축할 수 있는 구조적 역량을 갖추었는가?"라고 물을 수 있습니다.
트레이드오프(Trade-offs): 깊이와 너비 사이에는 절충 관계가 존재합니다. 깊고 좁은 AI로도, 혹은 얕고 넓은 AI로도 기계를 만들 수 있지만, 수학적 법칙을 속일 수는 없습니다.

중요한 주의 사항 (논문에서 다루지 않은 점)

저자들은 자신들이 아직 증명하지 못한 부분에 대해 매우 신중하게 언급합니다.

이론 vs. 현실: 그들은 이러한 회로를 트랜스포머로 구축하는 것이 수학적으로 가능함을 증명했을 뿐입니다. 실제 AI가 데이터를 학습함으로써 이를 실제로 수행할 수 있는지까지는 증명하지 않았습니다. 즉, 실제 AI가 학습을 통해 이를 해낼 수 있는지는 알 수 없습니다.
토이 모델: 이들은 암호 함수의 단순화된 작은 버전들을 대상으로 테스트했습니다. 실제 버전(예: 전체 SHA-3)은 훨씬 더 복잡하며, 정확한 수치는 달라질 수 있습니다.
하드 어텐션(Hard Attention): 그들의 "Tokens-as-Gates" 방식은 AI가 완벽한 이진 연결(0 또는 1)을 할 수 있다고 가정합니다. 하지만 실제 AI는 "소프트(soft)" 확률을 사용하므로, 수학적 모델과 실제 모델 사이에는 간극이 존재합니다.

요약

이 논문은 비밀 금고의 설계도를 그리는 건축가와 같습니다. 그들은 메시지를 숨길 수 있는 금고를 짓기 위해 얼마나 많은 철강(깊이)과 콘크리트(너비)가 필요한지 계산했습니다. 그들은 AI가 충분한 "철강과 콘크리트"를 갖추지 못했다면, 아무리 학습하려 노력해도 결코 그 금고를 만들 수 없음을 보여주었습니다. 이는 AI가 보안 위험이 될 만큼 강력한지를 확인할 수 있는 새로운 수학적 방법을 제공합니다.

기술 요약: 트랜스포머 네트워크의 암호학적 한계 탐구

문제 정의

최근 연구에 따르면, 공모하는 AI 에이전트들이 관찰자에게 탐지되지 않고 악성 정보를 교환하기 위해 스테가노그래피를 활용할 수 있음이 입증되었습니다 [1]. 이러한 발견의 핵심적인 보안 함의는, 만약 트랜스포머 모델이 암호 해시 함수를 구현할 수 있다면, 해당 모델이 "소스 프리 무작위성 접근(source-free randomness access)"을 보유하게 되어 스테가노그래피 채널을 생성할 수 있다는 점입니다. 이전 연구들이 포화된 트랜스포머(클래스 $\text{TC}^0$ )의 회로 이론적 한계를 규명하고 [2], 상호작용하는 에이전트들의 보안 위험을 강조했음에도 불구하고, 구체적인 암호학적 구성(즉, Keccak 함수, Merkle–Damgård 구조(MDC), 그리고 Merkle Tree(MT))을 트랜스포머 아키텍처와 직접 매핑한 연구는 아직 존재하지 않습니다. 이러한 공백은 트랜스포머 기반 AI 시스템의 계산 능력과 안전성을 평가하는 데 필수적인 요소인, 특정 암호학적 프리미티브를 계산하기 위해 트랜스포머가 요구하는 구체적인 구조적 자원(깊이 및 너비)이 무엇인지에 대한 의문을 남깁니다.

방법론

저자들은 임계 회로(threshold circuits)의 관점에서 암호학적 구성과 트랜스포머 아키텍처를 연결하는 체계적인 회로 수준 분석 방식을 채택합니다.

회로 컴파일 (Circuit Compilation): 저자들은 Reifier 라이브러리 [15]를 사용하여 Keccak, MDC, MT를 나타내는 불리언 함수를 계층적 임계 회로로 컴파일합니다. 이 회로들은 SwiGLU 게이트가 적용된 MLP(Multi-Layer Perceptrons)로 구현됩니다. 컴파일러는 비트 연산(AND, OR, NOT)을 임계 게이트로 추적하며, MLP에 요구되는 엄격한 계층 구조를 충족하기 위해 아이덴티티 노드(identity nodes)를 삽입합니다.
스케일링 법칙 도출 (Scaling Law Derivation): 저자들은 컴파일된 회로를 분석하여 검증된 깊이 및 너비에 대한 스케일링 법칙을 도출합니다. 입력 크기, 블록 수, 암호학적 파라미터(예: 라운드 수, 상태 너비)가 회로의 차원에 어떻게 영향을 미치는지 결정하기 위해 회로의 토폴로지를 조사합니다.
트랜스포머로의 매핑 (Mapping to Transformers): 도출된 임계 회로로부터 트랜스포머 아키텍처로의 두 가지 구별된 매핑을 제안합니다:
- 어텐션 미사용 매핑 (No-Attention Mapping): 이 방식은 어텐션 메커니즘을 무시하고 트랜스포머를 피드 포워드 네트워크(FFN) 하위 계층으로 축소합니다. 전체 회로의 상태는 단일 토큰 내에 저장되며, 이때 토큰 차원은 회로의 최대 너비를 수용할 수 있어야 합니다. 각 FFN 계층은 회로의 한 계층을 시뮬레이션합니다.
- 토큰-게이트 매핑 (Tokens-as-Gates Mapping): 이 방식은 각 토큰이 회로의 단일 게이트를 나타내도록 할당합니다. 중간 및 출력 게이트는 "스크래치 토큰(scratch tokens)"에 저장됩니다. 어텐션 메커니즘은 회로의 배선(이전 값들의 합산)을 시뮬레이션하며, FFN은 게이트 연산(합계를 임계값과 비교)을 시뮬레이션합니다. 이 매핑은 임계 로직을 시뮬레이션하기 위해 정규화되지 않은 하드 어텐션(unnormalized hard attention)을 활용합니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

스케일링 법칙 도출: 저자들은 Keccak 함수, Merkle–Damgård 구조, Merkl Tree를 구현하는 임계 회로의 깊이와 너비에 대한 구성적인 스케일링 법칙을 도출하고 검증합니다. 이 법칙들은 임의의 입력 길이와 출력 크기를 고려합니다.
구체적인 트랜스포머 매핑: 이러한 암호학적 구성을 구현하기 위해 필요한 트랜스포머의 깊이와 FFN 너비에 대한 구성적 상한선을 설정하는 두 가지 구체적인 매핑을 제안합니다.
역량 평가 방법론: 본 연구는 트랜스포머의 계산 능력에 대한 구조적 보증을 도출하는 방법론을 확립함으로써, 주어진 깊이와 너비를 가진 트랜스포머가 실제로 계산할 수 있는 것에 대한 원칙적인 토대를 제공합니다.

결과

실험은 회로 토폴로지를 이해하기 위해 암호학적 구성의 토이 인스턴스(예: 작은 상태 너비 및 라운드 수)를 대상으로 수행되었습니다. 결과는 도출된 스케일링 법칙이 테스트된 모든 구성에서 실제 컴파일된 회로와 정확히 일치함을 확인해 줍니다.

Keccak 함수: 회로 깊이는 라운드 수( $O(n_{rounds})$ )와 입력 블록 수( $O(n_b)$ )에 따라 선형적으로 증가합니다. 너비는 상태 크기와 입력/출력 길이에 따라 달라지며, 흡수(absorb) 및 쥐어짜기(squeeze) 단계에서 특정 병목 현상이 식별되었습니다.
Merkle–Damgård (MDC): 이 구조는 Merkle Tree에 비해 더 깊지만 좁은 회로를 생성합니다. 깊이는 입력 블록 수( $O(n_b)$ )에 따라 선형적으로 증가하는 반면, 너비는 압축 함수 너비와 미흡수된 비트(unabsorbed bits)의 합에 따라 결정됩니다.
Merkle Trees (MT): 이 구조는 더 얕지만 넓은 회로를 생성합니다. 깊이는 리프(leaf)의 수에 대해 로그 스케일( $O(\log n_{leaves})$ )로 증가하는 반면, 너비는 리프의 수( $O(n_{leaves})$ )에 따라 선형적으로 증가합니다.
매핑 비교:
- No-Attention Mapping은 깊이가 회로 깊이에 비례하는 트랜스포머를 생성하지만, FFN 너비가 회로 너비(및 입력 크기)에 따라 선형적으로 증가해야 합니다.
- Tokens-as-Gates Mapping은 일정한 FFN 너비를 유지하지만(입력 크기와 무관), 회로의 총 게이트 수에 비례하는 토큰 수를 필요로 하며 특정 어텐션 라우팅에 의존합니다.

의의 및 한계점

본 논문은 트랜스포머 표현력의 맥락에서 이러한 암호학적 구성에 대한 최초의 체계적인 회로 수준 분석을 제공한다고 주장합니다. 구성적 상한선을 설정함으로써, 본 연구는 에이전트의 계산 능력에 기반한 AI 안전 평가를 위한 이론적 프레임워크를 제공합니다. 이를 통해 트랜스포머 기반 시스템이 계산할 수 있는 것에 대한 구조적 보증을 제공하며, 이는 스테가노그래피 및 백도어와 관련된 위험을 평가하는 데 매우 중요합니다.

저자들은 다음과 같은 몇 가지 한계점과 주의 사항을 명시했습니다:

구성적 vs 경험적: 제안된 매핑은 구성적(constructive)입니다. 경사 하강법(gradient descent)이 실제로 이러한 구성을 학습하여 구현할 수 있는지 여부는 여전히 미해결 과제로 남아 있습니다.
이론적 가정: "tokens-as-gates" 매핑은 실제 사용되는 표준 소프트맥스(softmax) 기반 트랜스포머와는 다른, 정규화되지 않은 하드 어텐션을 가정합니다.
토이 인스턴스: 실험은 토이 인스턴스를 대상으로 수행되었습니다. 스케일링 법칙에는 Reifier 컴파일러의 산물인 상수들이 포함되어 있으며, 이러한 법칙이 (SHA-3에서 사용되는 것과 같은) 풀 스케일 Keccak 치환이나 프로덕션 규모의 MDC에 대해서도 조건 없이 성립하는지는 확인되지 않았습니다.

이러한 한계에도 불구하고, 본 연구는 새로운 범주의 AI 안전 평가를 위한 토대를 마련하며, 명시적인 어텐션 헤드를 가진 트랜스포머 구축, 경사 하강법을 통한 학습 능력 테스트, 그리고 "tokens-as-states"와 같은 대안적 매핑 개발 등의 향후 연구 방향을 제시합니다.