기술 요약: 트랜스포머를 통한 의사 난수 학습

문제 정의

본 논문은 트랜스포머 모델이 널리 사용되는 의사 난수 생성기(PRNG) 계열인 **치환 선형 합동 생성기(Permuted Congruential Generators, PCGs)**가 생성하는 시퀀스를 학습하고 예측할 수 있는지 조사합니다. 트랜스포머는 다양한 알고리즘 작업에서 인컨텍스트 학습(In-Context Learning, ICL) 능력을 입증해 왔으나, 통계적 무작위성 테스트를 통과하도록 설계된 데이터 내에 숨겨진 결정론적 패턴을 찾아내는 능력에 대해서는 근본적인 의문이 남아 있습니다.

PCG는 선형 합동 생성기(LCG)보다 훨씬 까다로운 과제를 제시합니다. LCG는 단순한 선형 재귀($s_i = (a s_{i-1} + c) \mod m$)를 따르는 반면, PCG는 출력값 $x_i$를 도출하기 전 숨겨진 상태 $s_i$에 복잡한 함수 $f$를 적용합니다. 이 함수는 비트 시프트, XOR, 회전(rotation), 절단(truncation) 등을 포함합니다. 이러한 연산들은 기저의 선형 구조를 은닉하여, 모듈러스(modulus)와 승수(multiplier)에 대한 지식을 가정하는 고전적인 대수적 공격으로부터 PCG를 방어하도록 설계되었습니다. 저자들은 트랜스포머가 생성기 파라미터에 대한 명시적인 지식 없이도 이러한 숨겨진 재귀 관계와 치환 구조를 발견할 수 있는지, 그리고 그러한 학습의 메커니즘과 한계가 무엇인지 파악하고자 합니다.

방법론

실험 설정

본 연구는 여러 PCG 변체(XSLRR, XSHRR, XSHRS)와 절단된 LCG(Truncated LCG, TLCG)를 사용하는 통제된 벤치마크를 활용합니다.

• 생성기: 내부 상태 $s_i$는 LCG를 통해 진화하며, 출력값 $x_i = f(s_i)$는 특정 치환을 통해 도출됩니다. 저자들은 모듈러스 $m$ ( $2^{14}$에서 $2^{22}$까지)과 출력 크기(예: 16비트 상태에서의 8비트 출력)를 변화시킵니다.
• 데이터셋: 두 가지 설정이 사용됩니다:
  1. 분리형(Separate): 단일 생성기 유형에 대해 학습 및 테스트를 수행합니다.
  2. 결합형(Combined): 모든 생성기 유형이 혼합된 데이터로 학습 및 테스트를 수행하며, 모델이 서로 다른 치환 규칙을 구별해야 합니다.
  • 데이터셋은 일반화 능력을 테스트하기 위해 보지 못한 승수($a$)와 증분($c$)으로 생성된 시퀀스로 구성됩니다.
• 모델 아키텍처: RoPE(Rotary Positional Embeddings)를 사용하는 GPT 스타일의 디코더 전용 트랜스포머입니다. 실험에서는 모델의 깊이(1~6 레이어), 너비(어텐션 헤드), 어휘 사전 크기(출력 비트 폭 기반)를 확장합니다.
• 학습: 다음 토큰을 예측하기 위해 크로스 엔트로피 손실(cross-entropy loss)을 사용하여 오토레그레시브(autoregressive) 방식으로 학습합니다. 학습은 배치 크기 512로 최대 10만 스텝까지 진행됩니다.

핵심 기술

1. 커리큘럼 학습(Curriculum Learning): 큰 모듈러스($m \ge 2^{20}$)의 경우, 직접적인 학습은 종종 정체 현상을 초래하며 성능 향상이 더디게 나타납니다. 저자들은 작은 모듈러스의 학습 데이터를 큰 모듈러스 데이터셋에 혼합하는 커리큘럼 전략을 도입합니다. 이때 혼합 비율 $\alpha$는 학습 단계에 따라 지수적으로 감소합니다.
2. 사전 훈련된 초기화(Pretrained Initialization): 작은 모듈러스에서 학습된 모델을 사용하여 더 큰 모듈러스 작업에 대한 가중치를 초기화함으로써, 학습된 임베딩 구조를 전이시킵 most 합니다.
3. 해석 가능성 분석(Interpretability Analysis): 저자들은 토큰 임베딩에 대한 주성분 분석(PCA)을 수행하고 어텐션 패턴을 분석하여 모델이 입력 데이터를 어떻게 표현하는지 이해합니다.

주요 기여 및 결과

1. 성공적인 인컨텍스트 예측

트랜스포머는 다양한 PCG 변체에 대해 인컨텍스트 예측을 성공적으로 수행하며, 보지 못한 파라미터($a, c$)에 대해서도 일반화합니다.

• 성능: 모델은 약 512개의 인컨텍스트 요소를 관찰한 후 다양한 PCG 변체에서 90% 이상의 정확도를 달s합니다.
• 강건성: 출력이 심하게 절단된 경우(예: 상태의 가장 높은 비트 하나만 유지하는 경우)에도 모델은 무작위 추측보다 훨씬 뛰어난 성능을 보이며 강건한 예측을 유지합니다.
• 일반화: 이러한 능력은 모듈러스와 승수를 미리 알고 있어야 하는 기존의 공개된 고전적 공격들을 능가합니다.

2. 스케일링 법칙(Scaling Laws)

본 논문은 성공적인 예측을 위해 필요한 컨텍스트 길이에 관한 특정 스케일링 법칙을 식별합니다.

• 컨텍스트 길이 vs 모듈러스: 90% 정확도를 초 exceed하기 위해 필요한 인컨텍스트 시퀀스 요소의 수는 $\sqrt{m}$에 비례하여 증가합니다. 이는 LCG에서 관찰된 $m^{0.25}$ 스케일링보다 가파르며, 이는 PCG 치환에 의해 도입된 정보 은닉 효과를 반영합니다.
• 모델 크기: 더 큰 모델(깊이 및 너비 증가)은 동일한 정확도에 도달하기 위해 더 적은 수의 관찰 요소를 필요로 하며, 이는 규모 확장이 더 효율적인 전략 개발을 가능하게 함을 시사합니다.

3. 커리큘럼 학습의 필요성

큰 모듈러스($m \ge 2^{20}$)의 경우, 고정된 계산 예산 내에서 직접 학습하면 손실 감소가 거의 없는 긴 정체 구간이 발생합니다.

• 커리큘럼의 효능: 작은 모듈러스의 데이터를 통합하는 것(예: $m=2^{18}$ 학습에 $m=2^{16}$ 데이터를 혼합)은 정체 구간을 제거하고, 안정적인 학습률의 범위를 넓히며, 실질적으로 더 강력한 최종 성능을 제공합니다.
• 사전 훈련: 작은 모듈러스 모델의 가중치로 초기화하는 것은 불연속적인 형태의 커리큘럼 역할을 하여, 모델이 초기 정체 구간을 건너뛰고 더 빠르게 수렴할 수 있게 합니다.

4. 해석 가능성 및 표현

학습된 표현에 대한 분석은 새로운 구조적 통찰을 제공합니다.

• 비트 단위 클러스터링: 임베딩 행렬에 대한 PCA 결과, 토큰들이 비트 회전 불변 구조(특히 연속된 제로 런의 수와 배열, 예: $Z(1), Z(2,1)$)를 기준으로 자발적으로 클러스터링됨을 보여줍니다.
• 전이 가능성: 이러한 클러스터링 구조는 서로 다른 모듈러스 간에도 지속되며, 이는 왜 사전 훈련된 초기화가 효과적인지를 설명합니다. 즉, 모델은 생성기에 내재된 불변성을 내면화합니다.
• 생성기 분리: 결합 학습 설정에서 모델의 중간 활성화 값(특히 세 번째 레이어의 MLP)은 생성기의 정체에 대한 명시적인 감독 없이도 서로 다른 PRNG 변체들을 자발적으로 구분해 냅니다.

의의 및 주장

본 논문은 트랜스포머가 무작위로 보이도록 설계된 데이터에서 숨겨진 결정론적 패턴을 찾아내는 놀라운 능력을 갖추고 있으며, 생성기 파라미터에 대한 명시적 지식에 의존하는 고전적 대수적 공격을 능가한다는 점을 입증한다고 주장합니다.

이 연구는 트랜스포머가 복잡한 PRNG 구조를 학습할 수 있지만, 뚜렷한 스케일링 제약 조건에 직면해 있음을 강조합니다. 컨텍스트 길이가 $\sqrt{m}$에 따라 증가해야 한다는 점과 큰 모듈러스를 위한 커리큘럼 학습의 필요성은, 트랜스포머가 미지의 영역으로 일반화할 수는 있지만, 특정 학습 전략 없이는 임의로 크거나 복잡한 생성기를 "해킹"할 수 있는 단계는 아니라는 것을 시사합니다.

임베딩 공간에서의 회전 불변 클러스터링 식별은 모델이 어떻게 일반화하는지에 대한 기계적 설명을 제공합니다. 즉, 모델은 단순히 특정 시퀀스를 암기하는 것이 아니라 알고리즘의 대칭성에 기반하여 입력을 표현하는 법을 배웁니다. 이는 신경망이 모듈러 산술 및 치환 기반 작업을 처리하는 방식에 대한 새로운 관점을 제공하며, 알고리즘적 추론과 통계적 패턴 인식 사이의 간극을 메워줍니다.

저자들은 트랜스포머가 비암호학적 PRNG를 효과적으로 예측할 수 있지만, 더 큰 규모의 암호학적 보안 생성기를 공격할 수 있는지에 대한 탐구와 완전한 기계적 해법에 대한 연구가 중요한 향후 과제로 남아 있다고 결론짓습니다.