Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory?

이 논문은 현재 표준 추론 훈련 파이프라인으로 학습된 대형 언어 모델들이 다른 모델의 추론 궤적에 기반한 협업 (오프-궤적 추론) 을 효과적으로 수행하지 못하며, 특히 더 강력한 모델일수록 오해의 소지가 있는 추론에 취약하고 협업자의 올바른 추론을 활용하는 데 한계가 있음을 15 개 모델 실험과 통제 연구를 통해 규명했습니다.

핵심

이 논문은 최신 인공지능 (LLM) 이 혼자 문제를 풀 때 얼마나 똑똑한지, 그리고 다른 AI 나 사람의 생각 흐름에 끼어들었을 때 얼마나 잘 대처하는지를 연구한 내용입니다.

쉽게 말해, **"혼자서는 천재처럼 문제를 푸는 AI 가, 옆에서 누군가 엉뚱한 말을 하거나 도움을 주려 할 때, 그걸 잘 받아들이고 다시 제자리로 돌아올 수 있을까?"**를 묻는 실험입니다.

이 연구를 쉽게 이해하실 수 있도록 세 가지 핵심 포인트로 나누어 설명해 드릴게요.

---

1. 실험의 핵심: "혼란 (Recoverability)"과 "도움 (Guidability)" 테스트

연구진은 AI 의 능력을 두 가지 극단적인 상황으로 나누어 테스트했습니다.

• 상황 A: "혼란에 빠졌을 때 다시 제정신 차릴 수 있을까?" (Recoverability)

  • 비유: 당신이 수학 문제를 풀고 있는데, 옆에 있는 친구가 갑자기 "아니야, 그건 1+1=3 이야!"라고 엉뚱한 소리를 하며 당신의 계산 과정을 방해합니다. 이때 당신은 친구의 말에 속아서 엉뚱한 답을 낼까요, 아니면 "아, 저 친구는 헛소리 하고 있구나" 하고 무시하고 원래 풀던 대로 문제를 계속 풀 수 있을까요?
  • 결과: 놀랍게도 시험 점수가 가장 높은 '천재' AI 들일수록 이런 엉뚱한 말에 더 쉽게 넘어가서 길을 잃었습니다. 반면, 평범한 AI 들은 오히려 방해받지 않고 원래 길로 잘 돌아왔습니다. 즉, "시험 점수 = 방해받지 않는 능력"은 아니라는 뜻입니다.

• 상황 B: "누군가 도와주면 더 잘 풀 수 있을까?" (Guidability)

  • 비유: 당신이 너무 어려운 문제를 풀지 못해 헤매고 있을 때, 천재 친구가 "이렇게 해봐, 첫 단계는 이렇게 시작하는 거야"라고 정답의 실마리를 알려줍니다. 이때 당신은 그 도움을 받아 문제를 해결할 수 있을까요?
  • 결과: 대부분의 AI 는 도움을 받아도 스스로의 한계를 넘지 못했습니다. 천재 친구가 정답의 80% 까지 알려줘도, AI 는 그걸 제대로 이해하고 이어가지 못해 실패했습니다. 특히 수학 문제에서는 거의 10% 도 안 되는 성공률을 보였습니다.

2. 왜 이런 일이 일어날까요? (훈련의 비밀)

연구진은 왜 이런 현상이 일어나는지 그 원인을 찾아냈습니다. 마치 스승과 제자의 관계처럼요.

• 스승의 버릇이 제자에게 전염된다:
  • 천재 AI(스승) 가 엉뚱한 말에 쉽게 넘어가는 버릇이 있다면, 그걸 보고 배운 작은 AI(제자) 도 똑같이 엉뚱한 말에 넘어갑니다. 비록 스승이 가르칠 때 '정답'만 보여줬더라도, 스승이 문제를 푸는 '스타일'이나 '취약점'까지 그대로 전달되는 것입니다.
• 강화 학습 (RL) 의 힘:
  • 단순히 정답만 외우는 훈련 (SFT) 을 하면 AI 는 방해받으면 쉽게 넘어집니다. 하지만 AI 가 실수를 하고 다시 고치는 과정을 반복해서 배우게 하면 (강화 학습), 방해받았을 때 다시 제자리로 돌아오는 능력이 크게 향상됩니다.
• 데이터 양 vs 질:
  • "적은 양의 고品質 데이터만으로도 충분하다"는 최근의 유행 (Less is More) 이 오히려 AI 를 불안정하게 만들었습니다. 데이터 양이 적으면 AI 는 상황에 따라 천차만별의 반응을 보여, 어떤 때는 잘하고 어떤 때는 엉망이 되는 '변덕'이 심해졌습니다.

3. 이 연구가 우리에게 주는 교훈

이 논문은 우리에게 중요한 메시지를 줍니다.

"지금까지 우리가 AI 를 평가하는 기준 (시험 점수) 은 불완전하다."

지금까지 우리는 AI 가 혼자 문제를 얼마나 잘 풀까만 보았습니다. 하지만 앞으로는 여러 AI 가 함께 일하거나, 사람이 AI 를 지휘할 때 얼마나 유연하게 대처하는지가 더 중요해질 것입니다.

• 혼자서만 잘하는 AI 는 협업에 약할 수 있습니다.
• 정답만 가르치는 것보다, 실수하고 고치는 과정을 가르치는 것이 더 튼튼한 AI 를 만듭니다.
• 미래의 AI 는 혼자서만 생각하는 게 아니라, 다른 AI 나 사람과 대화하며 함께 생각하는 '팀 플레이어'가 되어야 합니다.

요약

이 논문은 **"혼자서는 천재지만, 함께 일하면 길을 잃기 쉬운 AI 들"**의 모습을 발견했습니다. 그리고 이 약점을 고치기 위해서는 단순히 더 많은 문제를 풀게 하는 것이 아니라, 방해받았을 때 다시 집중하는 훈련과 올바른 스승의 역할이 필요하다고 말합니다.

마치 혼자서는 달리기 잘하지만, 다른 사람과 릴레이를 하거나 장애물이 생겼을 때 넘어지는 선수를 훈련시켜야 진정한 팀 스포츠 선수가 되는 것과 같은 이치입니다.

기술 요약

논문 요약: OFF-TRAJECTORY REASONING: CAN LLMs COLLABORATE ON REASONING TRAJECTORIES?

이 논문은 ICLR 2026 에 발표된 것으로, 대형 언어 모델 (LLM) 이 다른 모델이나 인간의 사고 과정 (reasoning traces) 이 개입된 공유된 추론 경로 (shared reasoning trajectory) 에서 얼마나 효과적으로 협력할 수 있는지, 즉 오프-궤적 추론 (Off-Trajectory Reasoning) 능력을 평가하고 분석합니다.

1. 문제 정의 (Problem)

최근 추론 능력이 뛰어난 LLM 들 (예: OpenAI o-series, DeepSeek-R1, Qwen3 Thinking 등) 은 Reinforcement Learning with Verifiable Reward (RLVR) 또는 증류 (Distillation) 를 통해 자신의 사고 과정을 언어화하는 능력을 배웠습니다. 그러나 이러한 모델들이 에이전트 시스템이나 인간 감독 하에 배포될 때, 모델이 생성하지 않은 토큰 (도구 출력, 코드 실행 결과, 다른 모델의 사고 과정 등) 이 사고 경로에 섞이게 됩니다.

기존의 솔로 추론 (Solo-reasoning) 훈련 방식은 모델이 자신의 사고만 처리하도록 학습시켰기 때문에, 타인의 사고나 외부 정보가 섞인 오프-궤적 (Off-trajectory) 상황에서의 모델 행동은 검증되지 않았습니다. 본 논문은 다음과 같은 핵심 질문을 던집니다:

"기존의 솔로 추론 훈련 파이프라인을 거친 LLM 들이 다른 모델의 사고 과정 (일부 추론) 을 기반으로 협력하거나, 잘못된 사고 경로에서 복귀할 수 있는가?"

2. 방법론 (Methodology)

저자들은 오프-궤적 추론 능력을 평가하기 위해 쌍둥이 테스트 (Twin Tests) 라는 새로운 프레임워크를 제안했습니다. 이는 두 가지 극단적인 시나리오를 테스트합니다.

2.1 회복 가능성 테스트 (Recoverability Test)

• 목적: 모델이 잘못된 정보 (Distraction) 로 유도되었을 때, 원래의 올바른 추론 경로로 되돌아갈 수 있는지 확인합니다.
• 방식: 모델이 원래 문제를 풀고 있는 중간에, 다른 질문 (q') 에 대한 잘못된 사고 과정 (rsteer) 을 삽입합니다.
• 평가: 모델이 이 '산만함 (distraction)'을 무시하고 원래 문제의 정답을 도출할 수 있는지 측정합니다.

2.2 유도 가능성 테스트 (Guidability Test)

• 목적: 모델이 스스로 해결할 수 없는 문제를, 더 강력한 모델의 올바른 (하지만 불완전한) 사고 과정을 기반으로 해결할 수 있는지 확인합니다.
• 방식: 모델이 아무런 사고를 시작하기 전에, 더 강력한 모델 (Teacher) 의 올바른 사고 과정 일부 (rsteer) 를 제공합니다.
• 평가: 모델이 이 가이드를 받아들여 원래는 풀지 못했을 문제를 해결할 수 있는지 측정합니다.

2.3 실험 설정

• 모델: 수학 및 코딩 벤치마크에서 성능이 검증된 15 개의 오픈 가중치 LLM (1.5B ~ 32B 파라미터, DeepSeek-R1, Qwen3, QwQ 등 다양한 패밀리 포함) 을 평가했습니다.
• 데이터: 수학 (AIME, MATH-500 등) 과 코딩 (HumanEval, MBPP 등) 벤치마크를 사용했습니다.
• 후속 연구 (Control Studies): 오프-궤적 행동에 영향을 미치는 세 가지 요인을 통제 실험을 통해 분석했습니다.
  1. 증류 (Distillation) 시 사용하는 Teacher 모델의 선택.
  2. RL (Reinforcement Learning) 훈련의 유무.
  3. 데이터 선택 전략 (데이터 양과 품질).

3. 주요 결과 (Key Results)

3.1 벤치마크 성능과 오프-궤적 강인성의 불일치

• 역설적 발견: 벤치마크 점수가 높은 "강력한" 모델일수록 오프-궤적 상황 (특히 회복 가능성) 에서 더 취약한 경우가 많았습니다.
  • 예: 수학 벤치마크 1 위인 AM-Thinking-32B(82.6%) 는 회복 가능성 테스트에서 33.4% 만 성공한 반면, 벤치마크 점수가 낮은 Qwen3-1.7B(59.9%) 는 98.4% 의 높은 회복률을 보였습니다.
• 통계: 수학 문제에서 원래 정답을 맞췄던 모델들이 산만함 (distraction) 을 겪은 후 정답을 유지하는 비율은 평균 74.9% 에 불과했습니다.

3.2 유도 가능성의 한계 (The Invisible Ceiling)

• 수학 분야: 모든 모델이 외부 가이드를 통해 자신의 능력 한계를 넘어서는 데 실패했습니다. 수학 문제에서 가이드를 받은 후의 해결률은 9.2% 미만에 머물렀습니다.
• 실패 원인: 가이드에 정답이 이미 포함되어 있음에도 불구하고, 모델들은 올바른 추론을 인식하지 못하거나 오히려 잘못된 경로로 이탈하는 경향이 있었습니다. 이는 모델이 오프-분포 (out-of-distribution) 의 올바른 사고 과정을 활용하는 능력이 부족함을 의미합니다.
• 코딩 분야: 수학보다는 가이드를 통한 성능 향상이 더 두드러졌으나 (최대 47.3%), 여전히 많은 모델이 가이드의 정보를 온전히 활용하지 못했습니다.

3.3 훈련 결정 요인의 영향

1. Teacher 모델의 영향: Teacher 모델의 회복 가능성 약점 (fragility) 은 증류된 Student 모델에게 그대로 전이되었습니다. Teacher 의 사고 스타일 (Style) 이 정답 여부와 상관없이 약점을 전달했습니다.
2. RL 의 효과: SFT(지도 미세조정) 가 포화 상태에 도달한 후, RL 훈련은 회복 가능성 (Recoverability) 을 크게 향상시켰습니다. RL 은 실패한 추론 경로와 복귀 과정을 학습하게 함으로써 SFT 보다 강력한 강인성을 제공합니다.
3. 데이터 필터링의 위험: "적은 것이 더 많다 (Less-is-more)"는 데이터 필터링 전략 (예: LIMO 데이터셋) 은 벤치마크 점수는 높일 수 있으나, 오프-궤적 강인성에서는 높은 변동성 (Variance) 을 초래하여 특정 체크포인트에서는 매우 취약해질 수 있음을 발견했습니다.

4. 주요 기여 (Contributions)

1. 새로운 평가 프레임워크: 오프-궤적 추론 능력을 체계적으로 평가하기 위한 Recoverability와 Guidability 테스트를 도입했습니다. 이는 기존 솔로 추론 벤치마크를 보완하는 직교적인 (orthogonal) 관점을 제공합니다.
2. 현실적 한계 규명: 15 개의 최신 LLM 을 평가하여, 벤치마크 최적화가 오프-궤적 협력 능력을 보장하지 않으며, 대부분의 모델이 외부 가이드를 통해 자신의 능력 한계를 넘지 못함을 증명했습니다.
3. 훈련 메커니즘 분석: Teacher 모델 선택, RL 훈련, 데이터 전략이 오프-궤적 행동에 미치는 직접적인 영향을 통제 실험을 통해 규명했습니다. 특히 Teacher 의 약점이 증류를 통해 전파된다는 점은 중요한 인사이트를 제공합니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 단독으로 문제를 푸는 능력뿐만 아니라, 다른 에이전트나 인간과 협력하여 사고 경로를 공유하고 수정하는 능력이 실제 에이전트 시스템 (Agentic Systems) 에 필수적임을 강조합니다.

• 안전성 (Safety): 인간 감독이나 안전 모델이 위험한 사고 경로를 수정할 때, 모델이 이를 수용하고 올바른 방향으로 전환할 수 있어야 합니다.
• 효율성 (Efficiency): 복잡한 추론은 큰 모델이, 단순한 작업은 작은 모델이 담당하는 협력 시스템 구축 시, 모델 간의 사고 흐름을 원활하게 이어갈 수 있어야 합니다.

결론적으로, 향후 LLM 훈련 시 벤치마크 점수 최적화뿐만 아니라 오프-궤적 강인성 (Off-trajectory Robustness) 을 명시적으로 고려하고 평가해야 하며, 이를 위해 RL 훈련의 중요성과 Teacher 모델 선정의 신중함이 강조됩니다.