Function Induction and Task Generalization: An Interpretability Study with Off-by-One Addition

이 논문은 오프-바이-원 덧셈 과제를 통해 언어 모델이 표준 연산에서 새로운 함수를 유추하는 '함수 유도 (function induction)' 메커니즘을 발견하고, 이것이 병렬적으로 작동하며 다양한 작업에 재사용되어 작업 수준의 일반화를 가능하게 한다는 해석 가능성 연구를 제시합니다.

핵심

🧩 1. 연구의 시작: "1+1=3?"이라는 미친 질문

일반적으로 우리는 1+1=2 라고 배웁니다. 하지만 연구자들은 AI 에게 다음과 같은 이상한 예시들을 보여줬습니다.

• "1+1=3"
• "2+2=5"
• "3+3=?"

AI 는 여기서 단순히 숫자를 더하는 게 아니라, '결과에 1 을 더하는' 새로운 규칙을 깨달아야 합니다. 즉, 3+3=6 이 아니라 7을 답해야 하는 거죠.

이건 마치 아이에게 "사과 1 개에 배 1 개를 더하면 사과 2 개가 아니라, 사과 3 개가 돼!"라고 가르친 뒤, "오렌지 2 개에 포도 2 개를 더하면 몇 개?"라고 물었을 때, 단순히 4 가 아니라 5라고 대답하게 만드는 것과 같습니다.

🔍 2. AI 의 뇌 속을 들여다보다: '기능 유도 (Function Induction)'

연구자들은 AI 가 이 이상한 규칙을 어떻게 배웠는지, 뇌 속의 어떤 부분이 작동하는지 '해부'했습니다. 그 결과, 놀라운 메커니즘을 발견했습니다.

🏗️ 비유: 공장 컨베이어 벨트와 특수한 로봇 팔들

AI 의 뇌는 거대한 공장과 같습니다. 정보가 들어와서 여러 단계 (레이어) 를 거쳐 나옵니다. 이 연구는 이 공장에서 **세 가지 종류의 특수한 로봇 팔 (어텐션 헤드)**이 협력한다는 것을 발견했습니다.

1. 감지 로봇 (Previous Token Heads):
   • 역할: "어? 뭔가 이상해!"라고 감지합니다.
   • 비유: 공장에서 "1+1=2"라고 적힌 종이를 보다가, 갑자기 "1+1=3"이라고 적힌 종이를 보면, "아, 오늘 규칙이 바뀌었구나!"라고 눈치채는 감시원입니다.
2. 전달 로봇 (Function Induction Heads):
   • 역할: "규칙을 전달해!"라고 외칩니다.
   • 비유: 감시원이 발견한 '규칙 변경 (결과에 +1)'이라는 정보를, 공장의 다음 단계로 쏙쏙 전달하는 택배 기사들입니다. 이 로봇 팔들은 각각 규칙의 한 조각 (예: 숫자를 1 씩 올리는 힘) 을 담당해서 합쳐집니다.
3. 정리 로봇 (Consolidation Heads):
   • 역할: "자, 최종 답을 내자."
   • 비유: 전달된 정보를 받아서 최종적으로 "7"이라고 답을 작성하는 포장 담당자입니다.

이 세 로봇이 함께 움직여야 AI 는 1+1=3 같은 새로운 규칙을 배울 수 있습니다. 연구자들은 이를 **'기능 유도 (Function Induction)'**라고 불렀습니다. 단순히 글자를 복사하는 게 아니라, '작동 원리 (함수)' 자체를 배운 것입니다.

🌍 3. 이 발견이 왜 중요할까? (범용성)

이 로봇들 (메커니즘) 은 '1+1=3'이라는 한 가지 문제에만 쓰이는 게 아닙니다. 연구자들은 이 로봇들이 다른 복잡한 문제에서도 똑같이 작동한다는 것을 발견했습니다.

• 알파벳 암호 (Caesar Cipher): "A 를 B 로, B 를 C 로 바꾸는" 규칙을 배울 때.
• 다른 진법 덧셈 (Base-8 Addition): 8 진법으로 계산할 때.
• 객관식 문제: 정답이 A 라면 B 로 바꾸는 문제.

비유: 마치 우리가 '물레방아'를 배워서 물만 돌리는 게 아니라, 그 원리를 이해하면 바람을 이용해서 전기를 만들거나 곡식을 찧는 데도 쓸 수 있는 것과 같습니다. AI 는 **'규칙을 찾아내고 적용하는 능력'**이라는 하나의 도구를 익혀서, 전혀 다른 문제 상황에서도 그 도구를 꺼내 써먹는 것입니다.

💡 4. 결론: AI 는 어떻게 똑똑해지는가?

이 연구는 AI 가 단순히 방대한 데이터를 외우는 '주입식 학습'을 하는 게 아니라, 새로운 상황에서도 논리적 규칙을 추론하고 적용할 수 있는 능력을 가지고 있음을 보여줍니다.

• 기존 생각: AI 는 예시를 보고 답을 복사하는 것 같다.
• 이 연구의 발견: AI 는 예시를 보고 '왜' 그런 답이 나오는지 그 원리 (함수) 를 유도하고, 그 원리를 다른 문제에도 적용한다.

🚀 요약

이 논문은 **"AI 가 새로운 미스터리한 규칙 (1+1=3) 을 보고, 뇌속의 특수한 로봇 팔들이 협력하여 그 규칙을 깨닫고, 그 규칙을 다른 문제 (암호, 다른 진법 등) 에까지 적용하는 능력"**을 발견했다는 것을 알려줍니다.

이는 AI 가 앞으로 더 복잡한 문제를 스스로 해결하고, 우리가 가르치지 않은 새로운 일도 해낼 수 있다는 희망적인 신호입니다. 마치 아이가 "사과 1 개 + 사과 1 개 = 2 개"를 배우고, 나중에 "사과 1 개 + 배 1 개 = 2 개"도 이해하는 것처럼, AI 도 원리를 깨닫는 단계로 진화하고 있다는 뜻입니다.

기술 요약

논문 요약: 함수 유도 (Function Induction) 및 작업 일반화: 오프-바이-원 덧셈을 통한 해석 가능성 연구

이 논문은 대규모 언어 모델 (LLM) 이 컨텍스트 학습 (In-Context Learning, ICL) 을 통해 훈련 데이터에 존재하지 않는 새로운 작업을 수행할 수 있는 내부 메커니즘을 규명하기 위해 수행된 해석 가능성 (Interpretability) 연구입니다. 저자들은 **'오프-바이-원 덧셈 (Off-by-One Addition)'**이라는 반직관적인 작업을 분석 대상으로 삼아, 모델이 어떻게 표준 덧셈에서 벗어나 '결과에 +1 을 더하는' 새로운 함수를 유도하고 적용하는지 그 내부 회로를 규명했습니다.

1. 연구 배경 및 문제 정의

• 배경: LLM 은 컨텍스트 학습을 통해 새로운 작업을 수행하는 놀라운 능력을 보이지만, 이러한 작업 수준 (Task-level) 의 일반화를 이끄는 내부 메커니즘은 여전히 불분명합니다.
• 문제: 기존 연구는 토큰 수준의 패턴 매칭 (Induction Heads) 이나 단순한 매핑 작업 (Function Vectors) 에 초점을 맞추었습니다. 그러나 다단계 추론이 필요하거나, 기존 개념을 변형하여 새로운 함수 (예: $f(x) = x+1$) 를 유도해야 하는 복잡한 상황에서의 메커니즘은 잘 알려져 있지 않습니다.
• 목표: LLM 이 훈련되지 않은 반사실적 (Counterfactual) 작업 (예: $1+1=3, 2+2=5, 3+3=?$) 에서 어떻게$+1$ 함수를 학습하고 적용하는지 그 내부 계산 과정을 해석하는 것.

2. 방법론 (Methodology)

저자들은 기계적 해석 가능성 (Mechanistic Interpretability) 기법, 특히 **경로 패칭 (Path Patching)**을 핵심 도구로 활용했습니다.

• 작업 정의:
  • Base Task: 표준 덧셈 ($1+1=2, 2+2=4, \dots$)
  • Contrast Task: 오프-바이-원 덧셈 ($1+1=3, 2+2=5, \dots$). 여기서 두 번째 단계는 표준 덧셈 결과에$+1$을 더하는 것입니다.
• 모델: Gemma-2 (9B) 를 주 모델로 사용했으며, Llama-2, Llama-3, Mistral 등 다양한 모델에서도 검증했습니다.
• 경로 패칭 (Path Patching):
  • Base 프롬프트와 Contrast 프롬프트에 대한 모델의 전향적 통과 (Forward Pass) 를 수행합니다.
  • Contrast 프롬프트의 특정 어텐션 헤드 (Attention Head) 의 활성화 값을 Base 프롬프트의 값으로 교체 (Patching) 하여, 해당 헤드가 $+1$ 함수 계산에 기여하는지 인과적 효과를 측정합니다.
  • 이를 통해 모델의 출력 로짓 (Logits) 에 영향을 미치는 특정 어텐션 헤드들의 집합 (회로, Circuit) 을 발견합니다.

3. 주요 발견 및 기여 (Key Contributions)

3.1. '함수 유도 (Function Induction)' 메커니즘의 발견

저자들은 토큰 복사 (Token Copying) 를 넘어선 **함수 수준 (Function-level)**의 추론 메커니즘을 발견하고 이를 **'함수 유도 (Function Induction)'**라고 명명했습니다. 이는 기존 Induction Head 메커니즘의 고차원적 확장으로 볼 수 있습니다.

3.2. 식별된 회로 (Circuit) 의 구조

Gemma-2 (9B) 모델에서 $+1$ 함수를 수행하는 데 관여하는 세 가지 그룹의 어텐션 헤드들이 발견되었습니다. 이들은 서로 협력하여 회로를 형성합니다.

1. 이전 토큰 헤드 (Previous Token Heads, Group 3):
   • 역할: 컨텍스트 내의 이전 예제들에서 정답 토큰 ($c_i$) 직전의 '=' 토큰을 주시합니다.
   • 기능: 예상치 못한 정답 (예: $1+1=3$) 이 발생했을 때, 표준 덧셈 결과와 실제 정답 간의 불일치를 감지하고 이를 기록합니다.
2. 함수 유도 헤드 (Function Induction Heads, Group 2):
   • 역할: 이전 토큰 헤드들이 기록한 불일치 정보를 '=' 토큰 위치에서 검색하여, $+1$ 함수를 잔여 스트림 (Residual Stream) 에 기록합니다.
   • 특징: 각 헤드는 $+1$ 함수의 서로 다른 부분 (예: 특정 숫자 증가, 감소 억제 등) 을 담당하며, 이들이 합쳐져 완전한 $f(x)=x+1$ 함수를 구현합니다.
3. 통합 헤드 (Consolidation Heads, Group 1):
   • 역할: 마지막 레이어에서 다양한 정보원을 종합하여 최종 다음 토큰 예측을 확정합니다.

3.3. 작업 일반화 및 재사용성 (Task Generalization)

이 메커니즘은 오프-바이-원 덧셈에만 국한되지 않고, 다양한 작업에서 재사용됨이 확인되었습니다.

• 검증 작업: 오프-바이-$k$ 덧셈 ($k \neq 1$), 시프트된 객관식 QA (Shifted MMLU), 시저 암호 (Caesar Cipher), 8 진법 덧셈 (Base-8 Addition) 등.
• 결과: 위 작업들에서 발견된 함수 유도 헤드 (FI Heads) 를 제거 (Ablation) 하면 모델의 성능이 급격히 떨어지고 표준 작업 (Base Task) 수행으로 돌아갑니다. 이는 모델이 새로운 작업의 '변형 (Twist)'을 처리할 때 동일한 구조적 메커니즘을 재사용함을 시사합니다.

4. 실험 결과 (Results)

• 성능: 최신 모델 (Llama-3, Phi-4 등) 은 오프-바이-원 덧셈 작업에서 높은 정확도를 보이며, 샷 (Shot) 수가 증가함에 따라 성능이 향상됩니다.
• 인과적 검증:
  • 헤드 제거 (Ablation): 함수 유도 헤드 (FI Heads) 를 제거하면 모델은 $+1$ 기능을 잃고 표준 덧셈 ($3+3=6$) 으로 돌아갑니다.
  • 인과적 효과 분석: FI 헤드들의 출력을 naive 프롬프트 (예: $2=2$) 에 추가하면 모델이$+1$된 값 ($3$) 을 생성할 확률이 높아지는 것을 확인했습니다. 각 헤드는$+1$함수의 특정 부분 (예:$x+1$촉진,$x-1$ 억제 등) 을 담당하여 협력합니다.
• 모델 간 일관성: Llama-2, Llama-3, Mistral 등 다양한 아키텍처에서도 유사한 회로 구조가 발견되었습니다.
• 8 진법 덧셈 분석: 모델이 8 진법 덧셈을 수행할 때, 표준 10 진법 덧셈 후 조건부 조정 (Adjustment) 을 시도하는 과정에서 함수 유도 메커니즘이 사용되지만, 복잡한 조건 (Carry-over) 에서는 과적응 (Over-generalization) 또는 과소적응 (Under-generalization) 으로 인해 오류가 발생함을 발견했습니다.

5. 의의 및 시사점 (Significance)

1. 해석 가능성의 확장: 기존 토큰 수준의 패턴 매칭 (Induction Heads) 연구에서 함수 수준의 추론으로 해석의 범위를 확장했습니다. 이는 LLM 이 단순한 복사 (Copy-paste) 를 넘어 추상적인 규칙을 학습하고 적용할 수 있음을 보여줍니다.
2. 작업 일반화의 메커니즘 규명: LLM 이 새로운 작업을 접했을 때, 기존에 학습된 하위 모듈 (Sub-routines) 을 재구성하여 새로운 함수를 유도하는 **구성 가능성 (Composability)**과 **재사용성 (Reusability)**을 입증했습니다.
3. LLM 개발 및 평가에 대한 시사점:
   • 평가: 정확도만으로는 모델이 올바른 추론 과정을 거쳤는지 알 수 없으며, 해석 가능성 분석을 통해 모델이 의도치 않은 단축경로 (Shortcut) 를 사용하는지 파악해야 함을 강조합니다.
   • 학습: 다단계 추론 능력을 향상시키기 위해 단일 단계 작업과 다단계 작업을 점진적으로 학습시키는 커리큘럼 설계의 필요성을 제기합니다.
   • 정렬 (Alignment): 모델이 컨텍스트에서 유도한 '신념 수정 함수 (Belief-modifying functions)'가 편향이나 순종적 행동 (Sycophancy) 의 원인이 될 수 있음을 시사합니다.

결론

이 연구는 LLM 이 컨텍스트 학습을 통해 어떻게 새로운 함수를 유도하고 복잡한 다단계 작업을 수행하는지에 대한 구체적인 기계적 증거를 제시했습니다. 발견된 '함수 유도' 메커니즘은 LLM 의 유연한 일반화 능력을 설명하는 핵심 요소이며, 향후 더 강력하고 신뢰할 수 있는 AI 시스템 개발을 위한 중요한 통찰을 제공합니다.