🤖 machine learning

Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks

이 논문은 일반화된 귀납적 추론 작업에 대한 트랜스포머의 학습 역학이 저차원의 불변 매니폴드에 국한됨을 입증하는 이론적 프레임워크를 소개하며, 이를 통해 인컨텍스트(in-context) 학습과 가중치 내(in-weights) 학습의 특성화, 초기화에 따른 회로 선택의 예측, 그리고 학습된 회로의 자동 탐지를 가능하게 한다.

원저자: Tiberiu Musat, Tiago Pimentel, Nicholas Zucchet, Thomas Hofmann

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tiberiu Musat, Tiago Pimentel, Nicholas Zucchet, Thomas Hofmann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

트랜스포머 언어 모델을 수백만 개의 뉴런이 무작위로 발화하는 거대하고 혼란스러운 뇌가 아니라, 거대하고 최첨단 기술이 집약된 댄스 플로어로 상상해 보십시오. 수년간 과학자들은 이 모델들이 추론하는 법을 배우는 과정을 지켜봐 왔습니다. 예를 들어, 이야기 속에서 "Alan" 다음에 "Turing"이 나온다면, 나중에 다시 "Alan" 다음에 "Turing"이 와야 한다는 것을 알아내는 것과 같은 과정 말입니다. 하지만 그들은 댄서들이 어떻게 움직이는지는 설명할 수 없었습니다. 그들은 이 안무가 수백만 개의 파라미터가 뒤섞인 소용돌이치는 혼돈이라서 매핑하기에는 너무 복잡하다고 생각했습니다.

이 논문은 폭탄 선언을 합니다: 댄스 플로어는 전혀 무질서하지 않습니다.

보이지 않는 무대: IMIR

저자들은 트랜스포머가 추론을 학습할 때, 수백만 개의 가능한 설정이라는 무한한 공허 속을 헤매지 않는다는 사실을 발견했습니다. 대신, 모델은 **불변 유도 추론 다양체(Invariant Manifold of Inductive Reasoning, IMIR)**라고 불리는 작고 보이지 않는, 저차원의 무대에 갇히게 됩니다.

모델의 전체 뇌를 거대한 3D 바다라고 생각해 보십시오. 당신은 학습 과정이 그 바다 어디든 헤엄쳐 다닐 것이라고 예상할 것입니다. 하지만 이 논문은 특정 범주의 추론 작업에 대해, 모델이 실제로 그 바다에 떠 있는 단 하나의 평평한 2D 시트에 국한되어 있음을 증명합니다. 모델이 어떻게 훈련되든, 모델은 결코 이 시트를 벗어나지 않습니다.

이것이 왜 중요할까요? 수백만 개의 떠다니는 숫자를 이해하려고 노력하는 대신, 이제 우리는 이 시트 위의 몇 안 되는 좌표만을 사용하여 모델의 전체 추론 능력을 설명할 수 있기 때문입니다. 이는 자동차에 수천 개의 부품이 있지만, 직선 도로 위에서의 움직임은 속도와 방향이라는 단 두 개의 숫자로 설명될 수 있다는 사실을 깨닫는 것과 같습니다.

두 명의 댄서: 기억 vs. 추론

이 특별한 무대 위에서 모델은 퍼즐을 푸는 두 가지 서로 다른 방식 중 하나를 선택해야 합니다:

"In-Weights" 댄서 (기억): 이 댄서는 단순히 정답을 암기합니다. 프롬프트가 "Alan"이라면, 이전에 수백만 번 보았기 때문에 "Turing"을 기억해 냅니다. 빠르지만, 자신이 본 것에 대해서만 작동합니다.
"In-Context" 댄서 (추론): 이것은 "유도 헤드(induction head)"입니다. 이 댄서는 현재의 이야기를 살펴보고, 패턴(예: 텍스트 앞부분에 "Alan"이 "Turing"과 함께 나타났던 것)을 찾아내어 즉석에서 정답을 찾아냅니다. 이것이 일반화의 마법입니다.

논문은 이 두 댄서가 치열한 경쟁 관계에 있다고 보여줍니다. 만약 데이터가 흔하고 반복적인 패턴(예: "Alan"이 항상 "Turing" 뒤에 오는 이야기)으로 가득 차 있다면, "기억" 댄서가 쉽게 승리하여 무대를 장악합니다. 하지만 데이터가 드문 단어와 변화하는 패턴으로 어지럽다면, "추론" 댄서가 나서야 합니다. 저자들은 수학적으로 "기억" 댄서가 쉬운 승리를 얻지 못하도록 굶주릴 때만 "추론" 댄서에게 움직일 기회가 생긴다는 것을 증명합니다.

로또 티켓: 누가 춤의 승자가 되는가?

여기서 정말 흥미로운 부분이 나옵니다. 이 논문은 왜 어떤 모델은 추론을 배우고 다른 모델은 배우지 못하는지를 조사하며, 심지어 동일한 규칙에서 시작했음에도 불구하고 그렇다는 점에 주목합니다. 알고 보니, 모든 것은 **초기 셔플(initial shuffle)**에 달려 있었습니다.

당신이 카드 한 덱(모델의 초기 가중치)을 가지고 있다고 상상해 보십시오. 이 논문은 이 무작위적인 덱 안에, 추론 작업을 배우기에 완벽하게 설정된 특정한 작은 서브 네트워크인 "당첨 티켓(winning ticket)"이 숨겨져 있다고 제안합니다. 하지만 여기에는 함정이 있습니다: 어떤 당첨 티켓을 얻느냐는 전적으로 처음에 카드가 어떻게 셔플되었는지에 달려 있다는 것입니다.

저자들은 "당첨" 회로가 단순히 큰 숫자를 갖는 것에 관한 것이 아니라, 서로 다른 잠재적 회로들 사이의 복잡한 전투라는 것을 발견했습니다. 때로는 마땅히 져야 할 회로가 승리해야 할 회로와의 기묘한 상호작용 덕분에 승리하기도 합니다. 이는 마치 음악이 멈췄을 때, 가장 빨리 달린 사람이 아니라 셔플이 일어났을 때 우연히 올바른 위치에 서 있었던 사람이 자리에 앉게 되는 의자 뺏기 게임과 같습니다.

이 논문이 배제하는 것들

이 논문은 자신이 말하고자 하는 것이 아닌 것에 대해서도 매우 명확하게 밝히고 있습니다:

학습이 무작위적인 혼돈라고 말하는 것이 아닙니다. 저자들은 우리가 학습을 이해하기 위해 수백만 개의 파라미터를 추적할 필요가 없다는 아이디어를 명시적으로 거부합니다. 그들은 학습이 예측 가능한 저차원의 경로에 국한되어 있음을 보여줍니다.
"기억"이 학습하는 유일한 방법이라고 말하는 것이 아닙니다. 사실, 그들은 "추론"(유도 학습)이 특정 데이터 조건 하에서 출현하는 별개의 필수적인 메커니즘임을 증명합니다.
단순히 초기 가중치의 크기만 보고 "회로 전투"의 승자를 예측할 수 있다고 주장하는 것이 아닙니다. 논문은 단순한 예측 변수(예: "더 큰 초기 가중치 = 승자")가 자신들이 관찰한 복잡한 상전이를 설명하는 데 실패한다고 명시적으로 밝히고 있습니다.

얼마나 확신하는가?

저자들은 단순히 추측하거나 몇 번의 시뮬레이션을 돌리는 것이 아닙니다. 그들은 이 "불변 다양체(Invariant Manifold)"가 존재한다는 것을 수학적으로 증명했습니다. 그들은 모델이 이 시트 위에서 시작한다면, 경사 하강법(모델을 가르치는 수학)의 법칙이 모델이 영원히 그 시트 위에 머물도록 보장한다는 것을 보여주었습니다.

하지만 그들은 모델이 무작위 시작 지점에서 이 시트로 항상 끌려 들어온다는 것을 수학적으로 증명하지는 못했다고 언급했습니다(비록 그들의 실험 결과는 그러하다는 것을 시사하지만 말입니다). 또한, 데이터 통계(단어가 얼마나 자주 반복되는지 등)가 어떻게 저울의 추를 기울게 하는지 보여주기 위해 두 회로 간의 경쟁을 시뮬레이션했습니다.

거시적 관점

이러한 추론 회로의 형성을 특정 무대 위에서의 저차원 댄스로 묘사함으로써, 저자들은 트랜스포머가 학습하는 방식에 대한 "예측 이론"을 향한 거대한 발걸음을 내디뎠습니다. 그들은 수백만 개의 숫자로 이루어진 블랙박스를 명확하고 해석 가능한 지도로 바꾸어 놓았습니다. "이 모델이 무엇을 하고 있는가?"라고 의문을 갖는 대신, 이제 우리는 지도를 보고 이렇게 말할 수 있습니다. "아, 모델은 현재 '유도 헤드' 좌표에서 춤을 추고 있고, 데이터가 너무 반복적이기 때문에 '기억' 좌표와의 싸움에서 지고 있구나."

이것은 단순한 이론이 아닙니다. 이는 AI의 보이지 않는 메커니즘을 가시적이고, 예측 가능하며, 마침내 이해 가능한 것으로 만드는 새로운 렌즈입니다.

기술 요약: 귀납적 추론 과제에서의 트랜스포머 불변 학습 역학 (Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks)

문제 정의

대규모 언어 모델 내의 회로(subnetworks)를 식별하는 데 상당한 진전이 있었음에도 불구하고, 그 형성을 뒷받침하는 학습 역학에 대한 이해는 여전히 부족합니다. 이러한 이해의 결여는 언어 모델의 기술 습득을 예측 불가능하게 만들어, 모델 개발을 복잡하게 하고 AI 안전 문제를 야기합니다. 트랜스포머 학습 역학에 관한 기존의 이론적 연구들은 주로 특정하고 고립된 과제(예: 인-컨텍스트 $n$ -gram 또는 $k$ -hop 유도)나 단순화된 아키텍처(예: 단일 또는 이중 어텐션 헤드)에 국한되어 왔습니다. 결과적으로, 세 가지 결정적인 현상이 설명되지 않은 채 남아 있습니다:

회로 경쟁 (Circuit Competition): 서로 다른 구성 요소들이 훈련 중에 어떻게 동적으로 상호작용하는가? 특히 여러 솔루션(예: 인-컨텍스트 학습 vs. 인-웨이트 학습)이 가능한 경우를 포함하여.
데이터 의존성 (Data Dependence): 데이터 분포의 특성(예: 토큰 빈도, 버스티니스/burstiness)이 인-컨텍스트 학습(ICL)의 출현을 어떻게 지배하는지에 대한 기계론적 이해.
초기화 민감도 (Initialization Sensitivity): 왜 특정 무작위 초기화는 "승리하는" 회로(로터리 티켓 가설에 따른)를 생성하는 반면, 다른 초기화는 그렇지 못한가?

저자들은 특정 과제 분석을 넘어 일반적인 클래스의 과제로 확장되는, 귀납적 추론 능력의 출현을 설명하기 위한 통합된 이론적 프레임워크를 제공하고자 합니다.

방법론

통합 과제 클래스: 블록-리스트 과제 (Block-List Tasks)

저자들은 블록-리스트 과제라고 불리는 일반화된 과제 클래스를 정의합니다. 이 과제에서 다음 토큰 예측은 최대 $k$ 개의 토큰을 포함하는 $n$ 개의 토큰 블록 리스트에 의존합니다. 이 과제는 이전 블록들 사이의 관계를 바탕으로 마지막 블록 다음에 오는 토큰을 예측할 것을 요구합니다. 이 클래스는 문헌에서 발견되는 다양한 합성 과제들을 통합합니다:

인-컨텍스트 연상 회상 (쌍 구조)
$k$ -hop 유도 (연쇄된 연관 관계)
인-컨텍스트 $n$ -gram
간접 목적어 식별 및 조건부 검색

데이터 대칭성 및 가정

일반적인 결과를 도출하기 위해, 이 프레임워크는 귀납적 과제에 내재된 특정 대칭성에 의존합니다:

토큰 대칭성: 모델은 특정 토큰의 정체가 아닌 토큰 간의 관계를 학습해야 합니다. 데이터 분포는 과제의 관계적 구조를 보존하는 토큰 재라벨링(automorphisms) 그룹에 대해 불변입니다 (예: 연관된 쌍을 교체하는 경우).
위치 대칭성: 관련 블록은 컨텍스트 내에서 무작위 오프셋(offset)에 나타날 수 있습니다. 데이터 분포는 이러한 위치 오프셋의 이동(shift)에 대해 불변입니다.
아키텍처 가정: 분석은 어텐션 전용 트랜스포머에 집중합니다 (FFN 및 Layer Norm에 대한 확장은 부록에서 논의됨). 주요 가정으로는 직교 임베딩(orthonormal embeddings), 병합된 키-쿼리 곱(merged key-query products), 그리고 고정된 직교 출력-값 투영(fixed orthogonal output-value projections)이 포함됩니다.

귀납적 추론의 불변 매니폴드 (IMIR)

핵적인 이론적 기여는 **귀납적 추론의 불변 매니폴드 (Invariant Manifold of Inductive Reasoning, IMIR)**의 식별입니다. 저자들은 정의된 과제 클래스에 대해, 어텐션 모델의 훈련 역학이 파라미터 공간의 저차원 부분 공간에 국한됨을 증명합니다.

구성: IMIR은 "기초 동작(elementary actions)"으로부터 유도된 일련의 기저 행렬(basis matrices)에 의해 생성됩니다. 이러한 동작에는 다음이 포함됩니다:
- 선택 행렬 (Selection Matrices): 토큰 임베딩에 대한 연산 (항등 행렬, 연상 매핑 $C$ ) 및 위치 임베딩에 대한 연산 (항등 행렬, 이동 행렬 $M, M^2, \dots$ ).
- 쓰기 기저 (Writing Bases): 헤드가 잔차 스트림(residual stream)에 정보를 쓰는 방식.
- 액션 기저 (Action Bases): 체인된 어텐션 헤드가 레이어를 가로질러 원래의 임베딩을 변환하는 방식.
정리 1 (그래디언트 구속): 만약 트랜스포머의 가중치가 이 기저 행렬들의 스팬(span) 내에 있다면, 손실 함수의 기대 그래디언트 또한 해당 스팬 내에 존재합니다.
따름 정리 1 (불변 매니폴드): 결과적으로, 모델이 $S$ 내에서 초기화된다면, 경사 하강법은 훈련 과정 내내 모델을 $S$ 안에 유지시킵니다. 이는 학습 역학을 수백만 개의 파라미터에서 소수의 해석 가능한 좌표로 축소합니다.

주요 기여 및 결과

1. 회로 경쟁의 특성화

IMIR 프레임워크를 사용하여, 저자들은 2개 레이어, 단일 헤드 트랜스포머에서 **인-컨텍스트 학습 (ICL)**과 인-웨이트 학습 (IWL) 사이의 경쟁을 분석합니다.

메커니즘: IMIR은 학습된 가중치를 해석 가능한 방향으로 분해할 수 있게 합니다. ICL은 "표준 유도 헤드"(세 가지 특정 방향: $\alpha, \beta, \gamma$ )에 의해 구현되는 반면, IWL은 연관 관계를 암기하는 단일 방향( $\delta$ )에 의해 구현됩니다.
데이터 의존성: 저자들은 ICL의 출현이 데이터 통계에 의해 제어됨을 증명합니다. 구체적으로, 흔한 토큰의 존재(IWL을 통해 암기될 수 있는)는 ICL 회로에 대한 그래디언트를 억제합니다.
- 정리 2: IWL 회로가 존재하는 경우, ICL 그래디언트는 희귀 토큰의 빈도( $f_r$ )와 클래스 내 변동성( $f_v$ )에 의존하는 인자에 의해 억제됩니다.
- 버스티니스 (Burstiness): 반대로, 정리 3은 데이터의 버스티니스(관련 블록의 반복)가 ICL 그래디언트를 증폭시켜 유도 헤드의 출현을 가속화함을 보여줍니다.

2. 초기화 및 "승리하는" 회로

이 프레임워크는 여러 솔루션이 존재할 때 (예: 3레이어 트랜스포머에서 서로 다른 레이어 쌍이 유도 헤드를 형성할 수 있는 경우), 무작위 초기화가 어떻게 특정 회로의 출현을 결정하는지 설명합니다.

상전이 (Phase Transitions): 저자들은 초기화 공간에서의 날카로운 상전이를 식별했습니다. "승리하는" 회로는 단순히 해당 회로에 속하는 가중치의 크기에 의해서만 결정되지 않습니다.
복잡한 역학: 특정 회로의 출현은 경쟁적 상호작용(예: 한 회로가 다른 회로를 자극하고, 이것이 다시 세 번째 회로를 억제함)으로 인해 해당 회로 외부의 가중치 초기화에도 의존할 수 있습니다. 이는 인-컨텍스트 추론 맥락에서 로터리 티켓 가설에 대한 기계론적 설명을 제공합니다.

3. 자동 회로 탐지

IMIR의 저차원적이고 해석 가능한 구조는 새로운 자동 회로 발견 방법을 가능하게 합니다.

방법: 학습된 파라미터를 IMIR에 투영하고 성능에 영향을 주지 않는 차원을 제거(ablation)함으로써, 저자들은 유도적 추론을 담당하는 정확한 가중치 구조를 자동으로 복구할 수 있습니다 있습니다.
결과: 이 접근 방식은 2-hop 유도 작업을 수행하는 깊은 트랜스포머에서 회로를 성공적으로 식별하였으며, 모델이 무관한 토큰에 대한 어텐션을 줄이기 위해 "조력하는(aiding)" 방향을 활용한다는 점을 밝혀냈습니다. 이는 헤드 수준의 분석에서는 놓칠 수 있는 미묘한 부분입니다.

의의 및 주장

본 논문은 회로 형성을 저차원 동역학적 현상으로 규정함으로써, 트랜스포머가 학습하는 방식에 대한 예측 이론을 향한 한 걸음을 내디뎠다고 주장합니다.

통합: 이 연구는 고립된 과제 분석을 넘어, 하나의 기하학적 구조 아래 다양한 유도 과제를 설명하는 통합된 이론적 프레임워크를 제공합니다.
해석 가능성: 트랜스포머 가중치에 대한 매우 해석 가능한 좌표계를 제공하여, 연구자들이 복잡한 추론 회로를 기초 동작들의 합으로 기술할 수 있게 합니다.
기계론적 통찰: 데이터 분포(빈도, 버스티니스)와 초기화가 서로 다른 학습 전략(ICL vs. IWL) 간의 경쟁 및 특정 회로의 선택을 직접적으로 어떻게 지배하는지에 대한 최초의 기계론적 이해를 제공합니다.
미래 활용성: 저자들은 이 프레임워크가 더 나은 훈련 파이프라인을 설계하고, 메모리 사용량을 줄이기 위해 불필요한 회로를 제거하며, 학습을 IMIR 내로 제한함으로써 실험을 가속화하는 데 사용될 수 있다고 제안합니다.

이 작업은 트랜스포머 학습의 모든 측면을 해결한다고 주장하는 것이 아니라, 귀납적 추론 역학을 이해하기 위한 엄격한 토대를 구축하며, 다른 과제 클래스 및 아키텍처로 확장될 수 있는 잠재력을 가지고 있습니다.