기술 요약: 내면화를 통한 학습 (Learning through Internalization)

문제 정의

본 논문은 신경망 기반 시스템에서 발생하는 내면화(internalization) 현상을 조사하며, 특히 이러한 시스템이 명시적인 계산 절차(예: 사고의 사슬, CoT)를 자신의 가중치(weights)로 어떻게 흡수하여 작업을 더 효율적으로 수행하는지에 초점을 맞춥니다. 신경망은 복잡한 작업(예: 세미오토마타 시뮬레이션 또는 패리티 계산)을 학습하기 위해 단계별 감독(supervision)으로부터 이득을 얻는 경우가 많지만, 이러한 스캐폴딩(scaffolding) 없이 직접적으로 해당 작업을 학습하는 것은 표준 아키텍처에게 계산적으로 매우 어렵거나 불가능합니다.

본 연구가 다루는 핵심 문제는 두 가지입니다:

1. 메커니즘: 트랜스포머가 어떻게 명시적인 중간 추론 단계(CoT)를 생성하는 단계에서, 정확도를 유지하면서도 더 적은 단계(이상적으로는 단 한 번의 순전파)로 최종 출력을 직접 계산하는 단계로 전이하는가?
2. 일반화 트레이드오프(Generalization Trade-off): 이 내면화 과정이 원래의 추론 능력을 보존하는가, 아니면 분포 외(OOD) 성능을 저하시키는 "지름길(shortcut)" 솔루션으로 이어지는가?
3. 이론적 난이도: 내면화가 직접적인 엔드 투 엔드(end-to-end) 학습으로는 배우기 어려운 함수(예: 패리티)에 대한 알려진 계산적 하한선(lower bounds)을 우회하기 위한 실행 가능한 전략이 될 수 있는가?

방법론

저자들은 자기회귀 트랜스포머(autoregressive transformers)에 대한 경험적 연구와 단순화된 트랜스포머 아키텍처에 대한 엄격한 이론적 분석을 결합하여 연구를 진행했습니다.

1. 경험적 프레임워크: 세미오토마타 시뮬레이션

저자들은 $T$ 타임스텝 동안 세미오토마타(구체적으로 모듈러 카운터 세미오토마타 $C_n$ 및 치환군 $S_3$)의 시뮬레이션을 연구합니다. 이들은 세 가지 훈련 체계를 비교합니다:

• 엔드 투 엔드 (End-to-End, E2E): 최종 상태에 대해서만 훈련.
• 사고의 사슬 (Chain-of-Thought, CoT): 모든 중간 상태가 명시적으로 제공되는 방식으로 훈련.
• 커리큘럼을 통한 내면화 (Internalization via Curriculum): 모델이 먼저 전체 CoT 감독을 통해 학습한 후, 중간 토큰을 점진적으로 제거(왼쪽, 오른쪽 또는 귀납적으로 절단)하여 모델이 계산을 내면화하도록 강제하는 2단계 프로세스.

저자들은 아키텍처 선택(깊이 대 너비)과 세미오토마타의 특정 속성(예: 군의 차수)이 내면화 성공에 미치는 영향을 분석합니다.

2. 이론적 프레임워크: 희소 패리티 (Sparse Parity)

증명 가능한 보장을 제공하기 위해, 저자들은 선형 어텐션(linear attention)과 고정된 비선형 MLP를 가진 단순화된 1계층 트랜스포머를 분석합니다. 이들은 알려지지 않은 서포트 집단 위에서 숨겨진 패리티 함수를 학습하는 문제를 연구합니다.

• 커리큘럼: 모델은 CoT 토큰(부분 패리티)이 왼쪽에서부터 점진적으로 제거되는 입력 시퀀스에 대해 훈련됩니다.
• 알고리즘: 저자들은 특정 초기화 및 라운딩 단계를 포함하는 경사 하강법(gradient descent)을 사용하는 특정 알고리즘(Algorithm 2)을 정의하여, 모델이 먼저 명시적 CoT를 학습하고 그 다음 CoT 토큰이 제거됨에 따라 패리티를 직접 출력하도록 내면화할 수 있음을 보여줍니다.

3. 양의 분포 변화 (Positive Distribution Shift, PDS)와의 연결

본 논문은 내면화를 양의 분포 변화(PDS) 프레임워크(Medvedev et al., 2026) 내에서 규정합니다. 저자들은 힌트(CoT)가 포함된 분포에서 "느린" 시스템(CoT를 사용하는 시스템)을 학습하고 이를 내면화하는 것이 PDS에 해당한다고 주장합니다. 이를 통해 모델은 더 쉬운 변형된 분포를 먼저 학습함으로써 "어려운" 타겟 분포를 학습할 수 있습니다. 또한, 순차적인 커리큘럼을 다양한 CoT 길이를 가진 **혼합 분포(mixture distribution)**로 대체할 수 있는지 탐구합니다.

주요 기여

1. 세미오토마타에 대한 경험적 발견

• 너비 vs 깊이 (Width vs. Depth): 성공적인 내면화는 깊이보다 모델의 너비와 더 강력하게 상관되어 있습니다. 동일한 파라미터 예산에서 넓고 얕은 아키텍처(예: 깊이 4)가 깊은 아키텍처(예: 깊이 25)보다 우수한 성능을 보였습니다. 이는 내면화가 모델의 레이어 간 수직적 구조보다는 너비를 통한 수평적 구조를 통해 일어남을 시사합니다.
• 소수 차수의 난이도 (Prime Order Difficulty): 소수 차수를 가진 세미오토마타(예: $C_{13}, C_{17}$)는 합성수 차수를 가진 것(예: $C_{14}, C_{15}$)보다 내면화하기가 훨씬 더 어렵습니다. 저자들은 이것이 트랜스포머가 작은 소수 거듭제곱 인자를 가진 카운터 세미오토마타를 압축적으로 표현할 수 있는 능력과 관련이 있다고 추측합니다 (Theorem 1).
• OOD 트레이드오프: 내면화는 종종 분포 외(OOD) 성능 저하를 초래합니다. CoT로 훈련된 모델은 편향된 입력 분포에 대해 잘 일반화되지만, 내면화된 모델은 OOD 조건에서 실패하는 "지름길" 솔루션을 학습하는 경향이 있습니다 (Figure 1, 오른쪽).
• 커리큘럼 방향: 왼쪽 커리큘럼(시작 부분의 토큰을 제거하는 방식)이 오른쪽 커리큘럼보다 내면화에 일반적으로 더 효과적이며, 이는 트랜스포머의 위치 임베딩(positional embedding) 안정성 때문인 것으로 보입니다.

2. 패리티에 대한 이론적 증명

• 증명 가능한 내면화: 저자들은 단순화된 1계층 트랜스포머가 명시적 CoT 감독을 통해 숨겨진 패리티를 학습하고, CoT 토큰이 제거됨에 따라 계산을 증명 가능하게 내면화할 수 있음을 보여주는 최초의 분석을 제공합니다 (Theorem 2).
• 계산적 난이도: CoT 내면화 없이 데이터로부터 직접 패리티 표현을 학습하는 것은 통계적 쿼리(Statistical Query) 모델에서 계산적으로 어렵다는 것을 입증하는 반면, 내면화 경로는 실행 가능함을 보여줍니다.

3. 대안으로서의 혼합 분포 (Mixture Distributions)

• 본 논문은 MLP와 자기회귀 트랜스포머 모두에서, 내면화를 위한 순차적 커리큘럼을 다양한 CoT 길이를 가진 예시들을 포함하는 단일 혼합 분포를 훈련하는 것으로 대체할 수 있음을 보여줍니다. 이 혼합 접근 방식은 어려운 작업을 학습하는 데 유사한 성공을 거두며, 특히 (길이 힌트가 있을 때) 풀 Co트(full-CoT) 모드에서 커리큘럼 훈련 모델보다 더 나은 OOD 견고성을 회복할 수 있다는 점에서 주목할 만합니다.

결과

• 세미오토마타: CoT로 훈련된 트랜스포머는 분포 내(ID) 및 분포 외(OOD) 정확도에서 거의 완벽한 성능을 달합니다. 그러나 왼쪽 커리큘럼을 통해 내면화된 후에는 ID 정확도는 높게 유지되지만, OOD 정확도는 크게 떨어집니다 (소수 차수 오토마타의 경우 무작위 확률 수준까지 하락).
• 패리티 작업: 이론적 모델은 패리티 함수를 성공적으로 학습합니다. 커리큘럼 이후, 모델은 다단계 로직을 내면화하여 단 한 번의 순전파로 올바른 패리티를 출력합니다.
• 혼합 학습: CoT 길이(및 길이 힌트)가 포함된 혼합 분포로 훈련하면, 단일 모델이 직접 답변하는 것과 전체 CoT를 생성하는 것 모두를 수행할 수 있음을 보여줍니다. 이는 풀 CoT가 허용될 때 커리큘럼 훈련 모델보다 OOD 견고성 측면에서 종종 더 나은 성능을 보입니다.

의의 및 주장

본 논문은 내면화를 통한 학습이 직접적인 학습으로는 계산적으로 불가능한 작업들을 해결할 수 있게 해주는 강력한 전략이라고 주장합니다. 명시적 추론을 포함하는 "느린" 시스템을 먼저 학습한 후 이를 가중치로 압축함으로써, 모델은 난이도 장벽(패리티 작업에서 확인된 바와 같이)을 우회할 수 있습니다.

그러나 저자들은 또한 중요한 주의 사항을 강조합니다: 내면화는 만병통통치 못한 해결책이 아닙니다. 이 과정은 종종 견고성의 상실을 초래하며, 모델이 분포 변화 시 실패하는 취약한 지름길을 학습하게 만듭니다. 이는 내면화가 추론 비용을 줄이고 학습을 가능하게 하지만, 명시적 추론이 제공하는 일반화 능력을 저해할 수 있음을 시사합니다.

마지막으로, 이 연구는 이러한 경험적 관찰을 양의 분포 변화(PDS) 프레임워크와 연결하며, 커리큘럼 기반 학습과 내면화의 성공이 어려운 타겟을 학습하기 위해 일련의 더 쉬운 분포를 활용하는 것으로 이해될 수 있음을 제안합니다. 복잡한 커리큘럼을 단일 혼합 분포로 대체할 수 있다는 발견은 어려운 추론 작업을 수행하는 모델을 훈련하는 데 있어 더 실용적이고 견고한 경로를 제시합니다.