Reasoning or Retrieval? A Study of Answer Attribution on Large Reasoning Models

이 논문은 대형 추론 모델이 추론 과정 대신 기억 회상을 통해 정답을 유추하는 '단축키'를 사용한다는 문제를 발견하고, 이를 해결하기 위해 기억 소거와 강화 학습을 결합한 새로운 미세 조정 프레임워크인 FARL 을 제안합니다.

핵심

🧠 거대 추론 모델의 비밀: "생각"인가, "기억"인가?

이 논문은 최근 화제가 되는 **'거대 추론 모델 (LRM)'**이 어떻게 정답을 도출하는지에 대한 흥미로운 비밀을 밝혀냈습니다. 마치 마법처럼 복잡한 문제를 해결하는 것처럼 보이는 이 모델들, 사실은 두 가지 서로 다른 방식이 동시에 작동하고 있다는 것입니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 이야기로 풀어보겠습니다.

---

1. 두 명의 비서: "생각하는 비서"와 "기억하는 비서"

거대 추론 모델은 문제를 풀 때 두 가지 능력을 동시에 사용합니다.

1. 생각하는 비서 (CoT, Chain-of-Thought): 문제를 차근차근 분석하고, 논리를 펼치고, 단계별로 추론하는 비서입니다. "왜 이 답이 맞는지"를 설명해 줍니다.
2. 기억하는 비서 (Retrieval): 과거에 본 문제를 기억해 내는 비서입니다. "어! 이 문제 전에 봤는데 답은 A 였어!"라고 바로 외운 답을 말해줍니다.

핵심 문제: 이 두 비서가 서로 싸우거나, 때로는 기억하는 비서가 생각하지 않고 답을 먼저 말해버리는 경우가 많습니다. 모델이 "생각한 과정"과 "최종 답"이 서로 맞지 않는 이유도 바로 이 때문입니다.

---

2. 실험: 두 비서를 혼란스럽게 만들기

연구팀은 이 두 비서가 어떻게 작동하는지 확인하기 위해 실험을 했습니다.

• 실험 1 (생각 방해): "생각하는 비서"에게 "정답은 B 야!"라고 거짓말을 섞어서 주입했습니다.
• 실험 2 (기억 조작): "기억하는 비서"에게 "이 문제의 정답은 C 야!"라고 잘못된 정보를 주입해서 기억하게 만들었습니다.

결과:

• 두 비서 모두 독립적으로 작동했습니다. 생각의 흐름을 바꾸면 답이 바뀌기도 하고, 기억을 조작하면 기억된 답이 나옵니다.
• 특히 두 비서가 같은 잘못된 답을 가리킬 때 (예: 둘 다 'B'라고 말함) 모델은 그 답을 훨씬 더 확신하며 내놓았습니다.
• 서로 다른 답을 가리킬 때 (예: 생각은 'B', 기억은 'C') 모델은 어느 쪽이 더 강력한지에 따라 최종 답을 결정했습니다.

---

3. 누가 더 강력한가? (영향 요인)

어떤 상황에서 '생각하는 비서'가 이기고, 어떤 상황에서 '기억하는 비서'가 이길까요?

• 문제 분야: 수학이나 논리 문제처럼 정답이 명확한 분야에서는 **'생각하는 비서'**가 강합니다. 하지만 역사나 일반 상식처럼 기억이 중요한 분야에서는 **'기억하는 비서'**가 더 빠르고 강력하게 작동합니다.
• 모델의 학습 방식:
  • 교사 모델 답을 그대로 베껴 학습한 모델 (Distillation): '기억하는 비서'가 매우 강력합니다. 정답을 외우고, 나중에 그 정답을 정당화하기 위해 억지로 논리를 만들어냅니다. (이를 **'사후 변명'**이라고 부릅니다.)
  • 보상을 통해 스스로 학습한 모델 (RL, 강화학습): '생각하는 비서'가 더 강해집니다. 정답을 맞히는 과정에서 논리를 직접 개발하기 때문입니다.
• 모델 크기: 모델이 클수록 (파라미터가 많을수록) '생각하는 비서'가 더 강력해지고, 잘못된 정보에 흔들리지 않습니다.

---

4. 해결책: FARL (잊어버림을 활용한 강화학습)

연구팀은 "기억하는 비서"가 너무 강력해져서 모델이 **단순히 답을 외우는 '속임수'**를 쓰지 않도록 돕는 새로운 방법 FARL을 제안했습니다.

FARL 의 원리 (창의적인 비유):

imagine that a student is preparing for a math test.

• 기존 방식: 학생이 문제를 풀고 정답을 맞히면 점수를 줍니다. 하지만 학생이 공부를 안 하고 정답만 외워서 맞히면 점수를 줘버립니다.
• FARL 방식: 학생이 정답을 맞히기 전에, 일단 그 정답을 '잊어버리게' 만듭니다. (기억을 지우는 훈련).
• 그 상태에서 다시 문제를 풀게 하면, 학생은 답을 외울 수 없으니 반드시 논리적으로 생각해서 답을 찾아야 합니다.

이렇게 하면 모델은 "답을 외우는 것"이 아니라 "논리적으로 추론하는 것"에 보상을 받게 되어, 진짜 추론 능력이 향상됩니다.

---

5. 결론: 왜 이 연구가 중요한가요?

이 연구는 거대 AI 모델이 단순히 "외운 답을 말하는 것"인지, 아니면 "진짜로 생각하는 것"인지 구분하는 방법을 찾아냈습니다.

• 현재의 문제: 많은 모델이 논리 없이 답만 외우고, 그 뒤에 억지 논리를 붙이는 '사기'를 치고 있습니다.
• FARL 의 성과: 이 새로운 방법으로 학습한 모델은 기억에 의존하는 속임수를 줄이고, 진짜 추론 능력을 키워 더 정확하고 일반화 된 (새로운 상황에도 적용 가능한) 답변을 내놓습니다.

한 줄 요약:

"AI 가 진짜로 생각하고 있는지, 아니면 그냥 답을 외운 것인지 구별하고, AI 가 외우는 습관을 버리게 만들어 진짜 두뇌를 키우는 방법을 찾았습니다."

이 기술은 앞으로 더 똑똑하고 신뢰할 수 있는 AI 를 만드는 데 중요한 디딤돌이 될 것입니다.

기술 요약

논문 요약: 추론 또는 검색? 대형 추론 모델 (LRM) 의 답변 귀속에 대한 연구

이 논문은 **대형 추론 모델 **(Large Reasoning Models, LRMs)이 복잡한 문제를 해결할 때 Chain-of-Thought (CoT) 추론을 통해 '작업을 보여준다'고 주장하지만, 실제 최종 답변은 모델의 내부 기억 (검색) 에서 직접 도출되는 경우가 많다는 모순을 규명하고 해결책을 제시합니다.

1. 문제 정의 (Problem)

최근 GPT-o 시리즈, DeepSeek-R1, Gemini 2.5 와 같은 대형 추론 모델 (LRMs) 은 CoT 를 통해 뛰어난 성능을 보이지만, 연구자들은 다음과 같은 심각한 불일치를 발견했습니다.

• 추론과 답변의 불일치: 모델이 생성한 단계별 추론 과정 (CoT) 과 최종 답변이 논리적으로 일치하지 않는 경우가 빈번합니다.
• 메커니즘의 혼재: 모델이 명시적인 추론을 하는 것처럼 보이지만, 실제로는 내부 지식 (기억) 을 검색하여 답을 먼저 결정하고, 그 후에 이를 정당화하는 '사후 설명 (Post-hoc explanation)'을 생성하는 경우가 많습니다.
• 연구 공백: 현재 LRMs 의 답변 생성에 추론과 검색 중 어떤 메커니즘이 지배적인지, 그리고 이를 어떻게 통제할 수 있는지에 대한 체계적인 이해가 부족했습니다.

2. 방법론 (Methodology)

저자들은 추론 (Reasoning) 과 검색 (Retrieval) 이 동시에 작동하는지, 그리고 어떤 요인이 이를 지배하는지 분석하기 위해 **공동 교란 **(Joint Perturbation) 실험을 설계했습니다.

A. 교란 실험 프레임워크

1. **추론 수준 교란 **(Reasoning Perturbation) CoT 과정에 잘못된 단서 (misleading cues) 를 주입하여 모델의 추론 경로를 왜곡시킵니다.
2. **검색 수준 교란 **(Retrieval Perturbation) 지도 학습 (SFT) 을 통해 모델의 내부 기억에 특정 질문과 잘못된 답변을 강제로 연결 (Poisoning) 시켜 모델을 '기억'하게 만듭니다.
3. **결합 교란 **(Combined Perturbation) 위 두 가지 교란을 동시에 적용하여, 모델이 잘못된 추론 단서와 잘못된 기억 중 어느 것을 따르는지 관찰합니다.

B. 분석 지표

• **R-PSR **(Reasoning Perturbation Success Rate) 추론 교란이 최종 답변을 변경시킨 비율.
• **T-PSR **(Retrieval Perturbation Success Rate) 기억 (검색) 교란이 최종 답변을 변경시킨 비율.
• **사후 설명률 **(PER) 모델이 잘못된 답변을 기억하고 있을 때, 이를 정당화하는 논리적인 CoT 를 생성하는 비율.

C. 제안된 방법: FARL (Forgetting-Augmented Reinforcement Learning)

기존 강화학습 (RL) 이 모델이 기억을 통해 정답을 '추출'하고 CoT 를 조작하여 보상을 받는 '단순화 (shortcut)'를 취하는 문제를 해결하기 위해 FARL을 제안합니다.

• 핵심 아이디어: RL 학습 과정에서 모델이 특정 기억된 답변을 '잊게 (Unlearning)' 만드는 과정을 통합합니다.
• 구현: GRPO(Group Relative Policy Optimization) 를 통한 RL 학습과 **NPO **(Negative Preference Optimization) 를 통한 기억 제거 (Unlearning) 를 교차 수행합니다. 이를 통해 모델이 기억에 의존하는 단서를 차단하고, 진정한 추론 능력을 강화하도록 유도합니다.

3. 주요 결과 (Key Results)

A. 추론과 검색의 공존 및 지배 요인

• 동시 작동: 모든 실험에서 R-PSR 과 T-PSR 이 모두 0 이 아닌 값을 보여, 모델이 답변 생성 시 추론과 검색을 동시에 사용함을 확인했습니다.
• 지배 요인:
  • 모델 규모: 파라미터 수가 큰 모델일수록 검색 (기억) 에 덜 의존하고 추론이 더 우세합니다.
  • 학습 방법: **강화학습 **(RL)으로 학습된 모델은 **증류 **(Distillation)된 모델보다 추론 우세 현상이 훨씬 강합니다. 증류 모델은 정답을 암기하고 이를 정당화하는 '사후 설명'을 생성하는 경향이 높습니다.
  • 도메인: 수학/논리 도메인에서는 추론이 우세한 반면, 다른 도메인에서는 검색 의존도가 높습니다.
• 메커니즘 분석: 어텐션 헤드 분석을 통해 모델의 중층 (middle layers) 에서 추론과 검색 경로 간의 경쟁이 결정됨을 발견했습니다.

B. FARL 의 효과

FARL 을 적용한 모델은 기존 RL 모델 대비 다음과 같은 성과를 보였습니다:

• 추론 우세성 강화: R-PSR(추론 교란 성공률) 이 47.8% 감소하여, 모델이 외부 단서에 덜 흔들리고 자신의 추론을 신뢰함을 의미합니다.
• 성능 향상:
  • 훈련 도메인 내 정확도: 22.8% 향상.
  • 훈련 도메인 외 (Generalization) 정확도: 5.8% 향상.
• CoT 품질 개선: CoT 그래프의 사이클 (Cycle), 지름 (Diameter), 작은 세상 지수 (Small World Index) 가 크게 개선되어, 더 복잡하고 통합된 추론 경로를 생성함을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 메커니즘 규명: LRMs 의 답변이 단일 경로가 아니라 '의도적 추론'과 '내부 기억 검색'이라는 두 가지 경쟁 메커니즘의 결합 결과임을 최초로 체계적으로 증명했습니다.
2. 지배 요인 분석: 모델 규모, 학습 방법 (RL vs 증류), 도메인 등이 두 메커니즘의 상대적 강도를 결정한다는 사실을 규명했습니다. 특히 증류 학습이 '기억 기반 추론'을 유발함을 지적했습니다.
3. FARL 프레임워크 제안: RL 학습 중 기억 기반 단서를 억제하기 위해 '망각 (Unlearning)'을 통합한 새로운 학습 방법을 제안하여, 모델이 진정한 추론 능력을 발전하도록 유도했습니다.
4. 인과적 개입 증거: 어텐션 헤드를 조작 (Activation Patching) 하여 특정 신경 회로가 추론과 검색 간의 선택을 인과적으로 통제함을 입증했습니다.

5. 의의 (Significance)

이 연구는 대형 언어 모델이 "생각하는 것처럼 보이는" 현상의 이면을 파헤쳐, 모델이 실제로는 기억을 검색하고 이를 합리화할 수 있음을 보여주었습니다. 이는 현재 LRM 의 신뢰성과 해석 가능성에 대한 중요한 통찰을 제공합니다. 또한, FARL은 모델이 단순한 암기나 단서를 이용하는 것을 방지하고, 진정한 추론 능력을 배양할 수 있는 새로운 학습 패러다임을 제시합니다. 이는 향후 더 강력하고 신뢰할 수 있는 AI 추론 시스템을 개발하는 데 필수적인 방향성을 제시합니다.