Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis

이 논문은 기계적 해석 가능성 기법을 활용하여 트랜스포머 모델에서 사실 회상과 추론이 서로 다른 내부 회로에 의존한다는 인과적 증거를 최초로 제시하며, 각 능력을 선택적으로 제어할 수 있음을 입증했습니다.

핵심

🧠 AI 의 두뇌는 '도서관'과 '연구소'로 나뉩니다

연구진은 거대한 AI 모델 (Qwen, LLaMA, Mistral 등) 을 마치 거대한 지식 공장처럼 상상했습니다. 그리고 이 공장이 두 가지 일을 할 때, 내부의 어떤 기계들이 작동하는지 살펴봤습니다.

1. 기억 (Recall): "프랑스의 수도는 어디야?"라고 물으면, 이미 배운 사실을 그대로 꺼내는 것.
2. 추론 (Reasoning): "파리가 프랑스의 수도이고 프랑스는 유럽에 있다면, 파리는 어느 대륙에 있을까?"라고 물으면, 여러 단계를 거쳐 논리적으로 답을 찾아내는 것.

연구진은 이 두 가지 작업이 **서로 다른 기계 (부품)**에서 일어난다는 놀라운 사실을 발견했습니다.

🏭 공장 층별 구조: 지하실 vs 최상층

이 AI 공장은 28 층짜리 빌딩처럼 생겼는데, 층마다 하는 일이 완전히 달랐습니다.

• 1~6 층 (지하층과 1 층): '기억의 창고'

  • 이 층들은 사실 정보를 저장하고 꺼내는 역할을 합니다.
  • 마치 도서관의 서가처럼, "프랑스의 수도는 파리"라는 정보를 빠르게 찾아내는 곳입니다.
  • 연구진이 이 층들의 작동 (신호) 을 잠시 멈추게 했더니, AI 는 사실 정보를 잘 못 기억하게 되었고 (정확도 15% 하락), 하지만 논리 문제는 여전히 잘 풀었습니다.

• 17~27 층 (최상층): '추론의 연구실'

  • 이 층들은 복잡한 문제를 해결하고 논리를 짜는 역할을 합니다.
  • 마치 과학 연구소처럼, "A 이고 B 라면 C 가 된다"는 식으로 새로운 연결고리를 만드는 곳입니다.
  • 연구진이 이 층들의 작동을 멈추게 했더니, AI 는 복잡한 추론 문제를 못 풀게 되었고, 하지만 단순한 사실 질문에는 여전히 잘 답했습니다.

• 중간 층 (7~16 층): '혼합 구역'

  • 여기는 기억과 추론이 섞여 있는 중계 지대 같은 곳입니다.

🔍 미니어처 부품들: '기억하는 눈'과 '생각하는 눈'

빌딩의 층뿐만 아니라, 각 층 안에 있는 작은 부품들 (Attention Head, 뉴런) 도 역할이 나뉘어 있었습니다.

• 기억하는 눈 (Recall Heads): 초기 층에 모여 있으며, 특정 단어 (예: '프랑스', '수도') 에만 집중합니다.
• 생각하는 눈 (Reasoning Heads): 깊은 층에 모여 있으며, 단어 사이의 관계나 문장 구조를 넓게 봅니다.
• 특수한 뉴런: 어떤 뉴런은 오직 '기억'할 때만 켜지고, 다른 뉴런은 오직 '추론'할 때만 켜집니다. 마치 전등 스위치처럼, 한 가지 일만 위해 켜졌다 꺼졌다 하는 것입니다.

🛠️ 실험: 스위치를 끄면 어떤 일이 일어날까?

연구진은 이 발견이 단순한 추측이 아니라 진짜 원인임을 증명하기 위해 실험을 했습니다.

• 실험 1: "기억"을 담당하는 부품들을 강제로 끄자?
  • AI 는 "프랑스의 수도는?"이라는 질문을 못 했지만, "파리가 유럽에 있다면?"이라는 논리 문제는 잘 풀었습니다.
• 실험 2: "추론"을 담당하는 부품들을 끄자?
  • AI 는 논리 문제를 못 풀었지만, "프랑스의 수도는?"이라는 질문에는 여전히 정답을 맞췄습니다.

이는 마치 자동차의 엔진과 내비게이션을 따로 떼어낸 것과 같습니다. 엔진 (추론) 을 끄면 차는 움직이지 않지만, 내비게이션 (기억) 은 여전히 지도를 보여줍니다. 반대로 내비게이션을 끄면 지도는 안 나오지만, 엔진은 여전히 돌아갑니다.

💡 왜 이 연구가 중요할까요?

이 연구는 AI 가 단순히 "모르는 척"하거나 "헛소리 (할루시네이션)"를 하는 것이 아니라, 실제로 내부에서 어떤 과정을 거쳐 답을 내는지를 보여줍니다.

• 신뢰성: AI 가 왜 그 답을 냈는지 설명할 수 있게 됩니다.
• 안전: AI 가 잘못된 정보를 기억하고 있는지, 아니면 논리적으로 잘못 추론하고 있는지 구별할 수 있습니다.
• 미래: 앞으로 더 똑똑하고 신뢰할 수 있는 AI 를 만들 때, 기억과 추론을 각각 더 잘하도록 설계할 수 있는 길을 열었습니다.

📝 한 줄 요약

"AI 는 과거의 지식을 꺼내는 '기억실'과 새로운 문제를 해결하는 '생각방'이 물리적으로 나뉘어 있어서, 이 두 부분을 따로 조절하면 AI 의 능력을 정밀하게 제어할 수 있다."

이처럼 연구진은 복잡한 AI 의 두뇌를 해부하여, 기억과 생각이 서로 다른 곳에서 일어난다는 과학적인 증거를 찾아냈습니다. 이제 AI 는 더 이상 검은 상자가 아니라, 우리가 이해하고 다룰 수 있는 기계가 되어가고 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

변환기 기반 대규모 언어 모델 (LLM) 은 사전 학습 중 암기된 사실적 연관성을 회상 (Recall) 하고, 다단계 추론을 수행하는 추론 (Reasoning) 능력을 모두 갖추고 있습니다. 그러나 현재까지 이 두 가지 기능이 모델 내부에서 공유된 회로를 사용하는지, 아니면 분리된 메커니즘으로 작동하는지는 명확하지 않았습니다.

• 핵심 문제: 모델의 출력과 내부 추론 과정이 불일치하는 현상 (예: 할루시네이션, 사양 게임) 을 해결하고 신뢰할 수 있는 AI 를 구축하기 위해서는, 사실적 기억과 논리적 추론이 내부적으로 어떻게 구현되는지 인과적 (causal) 으로 규명해야 합니다.
• 연구 목적: 기계적 해석 가능성 (Mechanistic Interpretability) 기법을 활용하여, 회상과 추론이 서로 다른 내부 서브네트워크 (레이어, 어텐션 헤드, 뉴런) 에 의해 처리되는지 검증하는 것입니다.

2. 방법론 (Methodology)

연구팀은 Qwen2.5-7B-Instruct 모델을 대상으로 층별, 헤드별, 뉴런별 수준에서 체계적인 분석을 수행했습니다.

2.1 데이터셋 설계

회상과 추론 능력을 독립적으로 테스트하기 위해 두 가지 유형의 데이터셋을 구성했습니다.

1. 언어적 퍼즐 (Linguistic Puzzles): 국제 언어 올림피아드 (IOL) 및 관련 벤치마크에서 발췌.
   • 특징: 규칙 유도 (Rule induction) 와 구성적 추론 (Compositional inference) 을 요구하며, 단순 암기로는 해결 불가능.
   • 목적: 순수 추론 능력 측정.
2. 합성 반사실 질문 (Synthetic Counterfactual Queries):
   • 특징: 구문은 유지하되 개체나 관계 (Triple) 를 변경하여 사실적 연관성만 테스트.
   • 예시: "프랑스의 수도는?" (회상) vs "파리가 프랑스의 수도이고 프랑스가 유럽에 있다면 파리는 어느 대륙에 있는가?" (추론).
   • 목적: 순수 사실 회상 능력 측정.

• 데이터 구성: 총 60 개 질문 (회상 30 개, 추론 30 개) 으로 균형 잡힌 데이터셋 구축.

2.2 분석 파이프라인

1. 활성화 추적 (Activation Tracing): 모든 28 개 레이어에 대한 숨겨진 상태 (Hidden states), 어텐션 분포, MLP 출력을 기록.
2. 차이 분석: 레이어별 활성화 프로파일, 어텐션 엔트로피, MLP 크기 등을 비교하여 회상과 추론 간의 차이를 정량화.
3. 인과적 개입 (Causal Intervention):
   • 활성화 패칭 (Activation Patching) 및 제거 (Ablation): 특정 회로 (레이어, 헤드, 뉴런) 의 활성화를 0 으로 만들거나 다른 값으로 대체하여 모델 성능에 미치는 영향을 측정.
   • 가설 검증: 회상 회로를 방해하면 추론은 유지되지만 회상 정확도가 떨어지는지, 그 반대의 경우를 검증.

2.3 통계적 검증

• 검정 방법: 정규성 가정을 하지 않는 Mann-Whitney U 검정 사용.
• 효과 크기: Cohen's d 사용.
• 다중 비교 보정: FDR (H1, H2 에 적용) 및 Bonferroni (H3 에 적용) 를 통해 통계적 유의성 확보.
• 교차 검증: 5-fold cross-validation 을 통해 결과의 안정성 확인.

3. 주요 발견 (Key Findings)

연구팀은 Qwen2.5-7B 모델에서 회상과 추론이 계층적으로 조직화된 분리된 회로를 통해 처리된다는 강력한 증거를 발견했습니다.

3.1 레이어 특화 (Layer Specialization)

• 초기 및 중간 레이어 (0~16): 사실적 회상 (Recall) 을 주로 담당. 낮은 엔트로피와 큰 활성화 크기를 보임.
• 후기 레이어 (17~27): 다단계 추론 (Reasoning) 과 구성적 추론을 담당.
• 결과: 레이어별 특화 패턴은 5-fold 교차 검증에서 일관되게 나타났습니다.

3.2 어텐션 헤드 특화 (Head Specialization)

• 전체 어텐션 헤드의 약 74% 가 작업 유형 (회상 vs 추론) 에 따라 유의미한 선호도를 보임.
• 회상 선호 헤드: 얕은 레이어에 집중되며, 개체 (Entity) 토큰에 집중.
• 추론 선호 헤드: 깊은 레이어에 등장하며, 관계나 구조적 마커에 광범위하게 주의를 기울임.
• 통계: 583 개 헤드를 분석한 결과, 239 개는 회상 특화, 219 개는 추론 특화, 125 개는 혼합 특화로 분류됨.

3.3 MLP 뉴런 선택성 (Neuron Selectivity)

• 약 1/3 의 MLP 뉴런이 엄격한 작업 특이성 기준 (Bonferroni 보정 p < 10⁻⁴, |d| > 1.0) 을 충족.
• 클러스터링:
  • 4 층: 사실적 회상과 관련된 뉴런 밀집.
  • 22 층: 고차원 구성적 추론과 관련된 뉴런 밀집.
• 활성화 패턴: 많은 뉴런이 거의 이진 (Near-binary) 활성화를 보임 (한 작업에서는 강하게 활성화, 다른 작업에서는 침묵).

3.4 선택적 손상 실험 (Selective Impairment Results)

인과적 개입 실험을 통해 분리된 회로의 기능을 검증했습니다.

• 회상 회로 차단: 사실적 정확도가 15% 감소했으나, 추론 성능은 거의 변화 없음 (3% 미만 변동).
• 추론 회로 차단: 언어적 퍼즐 (추론) 성능이 14% 감소했으나, 회상 성능은 거의 변화 없음.
• 대조군: 무작위 제거 시 성능 변화는 미미함 (2% 미만).

4. 주요 기여 (Key Contributions)

1. 인과적 분리 증명: 회상과 추론이 단순한 상관관계가 아닌, 부분적으로 독립적이지만 상호 보완적인 계산 과정임을 인과적 개입 실험을 통해 입증했습니다.
2. 계층적 구조 규명: Transformer 모델 내부에서 초기 레이어는 기억을, 후기 레이어는 추론을 담당한다는 명확한 계층적 분업 구조를 발견했습니다.
3. 해석 가능한 메커니즘 제시: 특정 레이어, 헤드, 그리고 뉴런 클러스터가 구체적인 인지 기능 (기억 vs 추론) 을 담당한다는 해석 가능한 증거를 제공하여 '블랙박스' 모델을 이해하는 데 기여했습니다.
4. 검증 가능한 데이터셋 및 프레임워크: IOL 퍼즐과 합성 데이터를 결합한 통제된 실험 환경과 기계적 해석을 위한 표준화된 파이프라인을 제시했습니다.

5. 의의 및 향후 전망 (Significance & Future Directions)

• 신뢰할 수 있는 AI 개발: 모델의 출력이 사실에 기반한 것인지, 아니면 추론 과정을 거친 것인지 구분할 수 있어, 할루시네이션 (Hallucination) 과 실제 추론을 명확히 분리하는 데 기여합니다.
• 모델 해석성 향상: 모델의 내부 작동 원리를 층, 헤드, 뉴런 수준에서 이해함으로써, 더 투명하고 과학적으로 근거 있는 AI 시스템 설계가 가능해집니다.
• 향후 연구: LLaMA, Mistral 등 더 크고 최신의 모델로 실험을 확장하고, 더 다양한 추론 현상을 포괄하는 데이터셋을 구축할 계획입니다.

이 연구는 LLM 의 두 가지 핵심 능력인 '기억'과 '추론'이 내부적으로 어떻게 구현되는지에 대한 기계적 이해의 지평을 넓혔으며, explainable AI (XAI) 의 이론적 기초를 강화했습니다.