Think, But Don't Overthink: Reproducing Recursive Language Models

이 논문은 외부 REPL 환경에서 프롬프트를 처리하는 재귀적 언어 모델 (RLM) 을 재현한 결과, 재귀 깊이를 1 로 유지할 때는 복잡한 추론 성능이 향상되지만 깊이를 2 로 늘리거나 단순 검색 작업에 적용하면 모델이 과도하게 사고하여 성능이 저하되고 실행 시간 및 비용이 기하급수적으로 증가하는 '과도한 사고 (overthinking)' 현상을 발견했습니다.

핵심

1. 배경: AI 가 긴 글을 읽는 새로운 방법

기존의 AI 는 긴 글을 한 번에 읽으려다 머리가 터지거나 (문맥을 잊어버리거나) 중요한 정보를 놓치는 경우가 많았습니다. 이를 해결하기 위해 제안된 RLM은 다음과 같은 방식을 사용합니다.

• 비유: AI 가 긴 책을 읽을 때, 책 전체를 한 번에 외우려 하지 않고, 책장을 넘기면서 필요한 부분만 복사해 메모장에 적어두고, 그 메모를 바탕으로 다시 생각해보는 방식입니다.
• 작동 원리: AI 가 스스로 질문을 던지고, 답을 찾기 위해 다시 자신을 호출하는 '재귀 (Recursion)' 방식을 사용합니다. 마치 스스로에게 질문을 던지는 심리 상담과 같습니다.

2. 실험 내용: "한 번 생각하기" vs "두 번 생각하기"

저자는 최신 AI 모델 (DeepSeek v3.2, Kimi K2) 을 이용해 세 가지 상황을 실험했습니다.

1. 일반 AI: 그냥 읽어서 답함.
2. RLM (깊이 1): 한 번 스스로 질문하고 답함. (원래 논문에서 제안한 방식)
3. RLM (깊이 2): 스스로 질문한 후, 그 답을 다시 검토하기 위해 두 번째로 스스로를 호출함. (이번 연구의 핵심)

3. 주요 발견: "생각하되, 너무 깊게 생각하지 마라"

📉 상황 1: 간단한 질문 (바늘 찾기)

• 상황: "이 긴 글 속에 '사과'라는 단어가 있니?" 같은 아주 쉬운 질문.
• 결과:
  • 일반 AI: 100% 정답 (순식간에 찾음).
  • RLM (깊이 1): 정답률 하락 (85%).
  • RLM (깊이 2): 더 큰 하락 (70%).
• 이유: **과도한 생각 (Overthinking)**입니다.
  • 비유: "물 한 잔을 마시려고 할 때, 물이 어디서 왔는지, 컵은 어떻게 만들어졌는지, 물 분자의 구조는 무엇인지 10 분간 고민하다가 결국 물을 쏟아버리는 상황"입니다. 간단한 일을 하려고 복잡한 과정을 거치니 오히려 실수를 저지른 것입니다.

📈 상황 2: 어려운 질문 (복잡한 추론)

• 상황: "이 긴 보고서의 모든 데이터를 분석해서 결론을 내줘" 같은 어려운 질문.
• 결과:
  • 일반 AI: 0% (문맥을 잃어버려서 실패).
  • RLM (깊이 1): 대폭 향상 (42% 로 상승).
  • RLM (깊이 2): 다시 하락 (33% 로 떨어짐).
• 이유: 한 번의 추가 생각은 도움이 되지만, 두 번의 추가 생각은 혼란을 부릅니다.
  • 비유: 복잡한 미로를 탈출할 때, 한 번 멈춰서 지도를 보는 것은 도움이 되지만, 지도를 보다가 또 다른 지도를 찾아보고, 또 다른 지도를 찾아보다가 미로에서 완전히 길을 잃어버리는 상황입니다.

4. 치명적인 문제: "생각하는 시간"과 "비용" 폭증

정답률뿐만 아니라 시간과 돈도 문제가 되었습니다.

• 시간: 간단한 질문을 3 초 만에 해결하던 AI 가, RLM (깊이 2) 을 쓰면 5 분 40 초나 걸렸습니다.
• 비용: API 사용료 (토큰 비용) 가 기하급수적으로 늘어났습니다.
• 비유: 택시를 타고 100m 이동할 때, 차를 타고 가는 대신 걸어가면서 중간중간 방향을 물어보고, 또 다시 방향을 물어보느라 1 시간 동안 걸리는 상황입니다. 목적지는 같지만, 시간과 돈은 천차만별입니다.

5. AI 가 망가진 3 가지 이유 (실패 사례)

깊은 재귀 (깊이 2) 를 적용했을 때 AI 는 다음과 같이 엉뚱한 행동을 했습니다.

1. 현실과 가상의 혼동 (할루시네이션):
   • 글속에 있는 가상의 숫자를 찾으라고 했는데, AI 가 자신의 기억 (물리학 상수 등) 을 가져와서 엉뚱한 숫자를 말함.
   • 비유: "이 책에 나오는 주인공 이름이 뭐야?"라고 물었는데, AI 가 "그건 제 기억에 있는 유명한 배우 이름인 '톰 크루즈'입니다"라고 답하는 것.
2. 형식 붕괴:
   • "답만 말해줘"라고 했는데, 파이썬 코드나 계산 과정 전체를 출력함.
   • 비유: "오늘 날씨 어때?"라고 물었는데, "기압계를 측정하고, 구름의 밀도를 계산하는 중입니다... (계산 과정 10 페이지) ... 결론: 비 옵니다"라고 장황하게 설명하는 것.
3. 무한 반복 (회전하는 바퀴):
   • 답을 이미 찾았음에도 자꾸 다시 확인하느라 시간이 무한히 걸림.
   • 비유: "문을 잠갔니?"라고 물었을 때, "잠갔습니다"라고 대답한 후, "잠갔는지 다시 확인합니다... 확인 완료... 다시 확인합니다..."를 100 번 반복하는 것.

6. 결론: "적당히 생각하라"

이 연구는 RLM 이라는 기술이 이론적으로는 훌륭하지만, 현재 AI 모델들에게는 '깊은 생각'이 독이 될 수 있음을 보여줍니다.

• 간단한 일: AI 가 그냥 하는 게 가장 빠르고 정확함.
• 어려운 일: 한 번 정도는 스스로 생각해보는 것 (깊이 1) 이 도움이 됨.
• 너무 깊은 생각 (깊이 2): AI 를 혼란스럽게 만들고, 시간을 낭비하며, 비용을 폭증시킴.

한 줄 요약:

"AI 에게도 '생각할 시간'과 '생각의 깊이'에 한계가 있습니다. 너무 깊게 생각하게 하면, 오히려 멍청해지고, 느려지고, 돈을 많이 쓰게 됩니다. 적당히 생각하게 하는 것이 가장 현명합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: Zhang 등 (2026) 이 제안한 재귀 언어 모델 (Recursive Language Models, RLM) 프레임워크는 외부 REPL(Read-Eval-Print Loop) 환경을 활용하여 프롬프트를 외부로 위임함으로써, LLM 이 거의 무한한 컨텍스트를 처리할 수 있게 합니다.
• 문제점: 원래 논문은 기본 재귀 깊이 (Recursion Depth) 를 1 로 설정하고, 더 깊은 재귀는 향후 과제로 남겼습니다. 그러나 실제 산업 적용 시 재귀 깊이를 늘리는 것이 성능과 효율성에 어떤 영향을 미치는지, 그리고 모델이 "과도하게 생각 (Overthinking)"하게 되는지 여부는 명확히 규명되지 않았습니다.
• 연구 목표: 최신 오픈소스 에이전트 모델 (DeepSeek v3.2, Kimi K2) 을 사용하여 RLM 의 재현 실험을 수행하고, **재귀 깊이 (Depth=1 vs Depth=2)**가 단순 검색 작업과 복잡한 추론 작업에 미치는 영향을 분석하여 RLM 의 실용적 한계를 규명하는 것입니다.

2. 방법론 (Methodology)

• 사용 모델: 최신 오픈소스 추론 및 에이전트 특화 모델인 DeepSeek v3.2와 Kimi K2를 사용했습니다.
• 벤치마크:
  • S-NIAH (Single Needle-In-A-Haystack): 긴 텍스트 내 특정 문장 추출 작업 (복잡도 O(1), 단순 검색).
  • OOLONG (trec_coarse): 긴 컨텍스트 내 의미론적 집계 및 추론 작업 (복잡도 O(N), 복잡한 추론).
• 실험 설정:
  • 비교 그룹: 순수 LLM (Base), RLM (Depth=1), RLM (Depth=2).
  • 환경: macOS 로컬 환경에서 API 를 통해 실행. 각 조건당 20 개의 샘플로 필터링된 데이터셋을 사용 (비용 절감 목적).
  • 측정 지표: 정확도, 실행 시간 (Latency), 토큰 사용량, API 비용.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. "생각하되, 과도하게 생각하지 마라" (Think, But Don't Overthink) 트레이드오프

• 단순 작업 (S-NIAH, O(1)):
  • 순수 LLM 은 100% 정확도를 보였으나, RLM 을 적용한 순간 성능이 급격히 저하되었습니다.
  • DeepSeek v3.2 의 경우: Base(100%) → Depth=1(85%) → Depth=2(70%).
  • 원인: 단순한 문자열 매칭 작업을 위해 불필요한 프로그래밍적 REPL 환경을 강제함으로써 모델이 불필요한 인지 부하를 겪고 "과잉 설계 (Over-engineering)"를 하게 됩니다.
• 복잡한 작업 (OOLONG, O(N)):
  • Depth=1 의 효과: 기존에 긴 컨텍스트 처리에 실패하던 모델 (DeepSeek v3.2) 이 RLM(Depth=1) 을 통해 정확도가 0.0% 에서 **42.1%**로 비약적으로 상승했습니다. 이는 RLM 이 복잡한 추론을 분해하는 데 효과적임을 보여줍니다.
  • Depth=2 의 역효과: 재귀 깊이를 2 로 늘리면 모든 모델에서 성능이 다시 하락했습니다.
    • DeepSeek v3.2: 42.1% (Depth=1) → 33.7% (Depth=2).
    • Kimi K2(원래 컨텍스트 처리 능력이 뛰어난 모델): 86.6% (Base) → 60.0% (Depth=1) → 55.0% (Depth=2).
  • 결론: 깊은 재귀는 하위 모델들이 자신의 REPL 을 생성하며 혼란을 야기하고, 포맷 붕괴 및 불필요한 루프를 발생시켜 성능을 저하시킵니다.

B. 실행 시간 및 비용의 기하급수적 증가

• 지연 시간 (Latency): 재귀 깊이가 증가함에 따라 실행 시간이 기하급수적으로 늘어났습니다.
  • 예: DeepSeek v3.2 의 S-NIAH 작업은 Base(3.6 초) → Depth=1(89.3 초) → **Depth=2(344.5 초)**로 증가했습니다.
• 비용: 토큰 사용량과 API 비용도 수백 배 증가하여 산업적 적용을 어렵게 만듭니다.

C. 실패 모드 분석 (Qualitative Failure Modes)

깊은 재귀 (Depth=2) 는 다음과 같은 세 가지 주요 실패 모드를 유발합니다:

1. 파라메트릭 환각 (Parametric Hallucination): 컨텍스트에 대한 고정을 잃고, 모델이 학습된 사전 지식 (예: 물리학 상수) 을 기반으로 가상의 정보를 생성합니다.
2. REPL 환경 내 포맷 붕괴 (Formatting Collapse): 모델이 최종 사용자 출력과 REPL 의 임시 스크래치패드 역할을 혼동하여, 필요한 정답 대신 파이썬 코드 블록 (print 문 등) 을 반환합니다.
3. 연기성 추론 및 무한 검증 (Performative Reasoning): 모델이 정답을 내는 대신 단계별 추론 과정을 장황하게 나열하거나, 이미 확인된 답을 반복적으로 검증하는 무한 루프에 빠져 실행 시간을 낭비합니다.

4. 의의 및 결론 (Significance & Conclusion)

• RLM 의 한계 규명: 이 연구는 RLM 이 이론적으로는 컨텍스트 창을 확장할 수 있지만, **깊은 재귀 (Depth ≥ 2)**는 현재 모델 아키텍처에서 "과도한 생각"을 유발하여 오히려 성능을 저하시키고 비용/시간을 폭발시킨다는 것을 실증했습니다.
• 실용적 시사점:
  • 단순 검색 작업에는 RLM 을 적용하지 않는 것이 좋습니다.
  • 복잡한 추론 작업에는 Depth=1이 최적의 균형점일 수 있으나, Depth=2 이상은 현재로서는 비실용적입니다.
  • 현대의 선진 모델 (Kimi K2 등) 은 이미 긴 컨텍스트를 네이티브로 처리하므로, RLM 의 도입 비용이 이득보다 클 수 있습니다.
• 향후 과제: REPL 환경 내에서 불필요한 루프를 방지하는 정교한 정지 메커니즘 (Stopping Mechanisms) 개발과, 프로그래밍적 환경에 내재적으로 적응하도록 훈련된 네이티브 RLM의 필요성이 제기되었습니다.

요약: 이 논문은 RLM 프레임워크가 "적당히 생각하면 (Depth=1)" 복잡한 추론을 해결할 수 있지만, "너무 깊이 생각하게 하면 (Depth=2)" 모델이 혼란에 빠지고 비효율적으로 변한다는 **"Think, But Don't Overthink"**라는 핵심 통찰을 제시합니다.