Breaking Contextual Inertia: Reinforcement Learning with Single-Turn Anchors for Stable Multi-Turn Interaction

이 논문은 다중 턱 상호작용에서 이전 추론에 과도하게 집착하는 '맥락 관성' 문제를 해결하기 위해, 모델의 단일 턱 능력을 안정적 기준점으로 활용하는 강화 학습 기법인 RLSTA 를 제안하여 다양한 도메인에서 성능을 획기적으로 개선함을 보여줍니다.

핵심

🚗 비유: "고집불통 운전사"와 "내비게이션의 힘"

1. 문제: '맥락의 관성 (Contextual Inertia)'이란 무엇일까요?

상상해 보세요. 당신이 운전사 (AI 모델) 를 고용해서 목적지까지 데려다달라고 했어요.

• 상황 1 (한 번에 모든 정보): "서울에서 부산까지 가는데, 기름값은 2 만 원만 쓸 수 있어."라고 한 번에 말하면 운전사는 바로 "그럼 고속도로는 못 가고, 저가 버스를 타야겠네"라고 정확한 답을 줍니다.
• 상황 2 (대화식 정보):
  • 당신: "부산까지 가줘."
  • 운전사: "네, 택시 타고 가요! (약 15 만 원)"
  • 당신: "아, 내 예산은 2 만 원밖에 없어! 다시 생각해 봐."
  • 운전사의 반응: "네... 그럼 15 만 원짜리 택시비를 3~4 명과 나누어 내는 카풀을 찾아볼까요? (아직도 15 만 원이라는 착각을 고집함)"

운전사는 **처음에 내린 결론 (택시)**에 너무 집착해서, 당신이 "예산이 2 만 원이다"라고 정정해 줘도 그걸 무시하고 처음 생각했던 틀린 길로 계속 가려고 합니다.

논문의 저자들은 이 현상을 **'맥락의 관성 (Contextual Inertia)'**이라고 불렀습니다. 즉, 모델이 한 번 생각한 틀린 길에 너무 꽂혀서, 새로운 정보 (정정) 를 받아들이지 못하고 고집을 부리는 것입니다. 실험 결과, 대화 중 발생하는 실수의 70~90% 가 바로 이 '고집' 때문인 것으로 밝혀졌습니다.

2. 해결책: '단일 턱 앵커 (Single-Turn Anchor)'를 이용한 강화 학습

기존 방법들은 "정보가 부족하면 대답하지 마 (중단)"라고 가르치거나, "다시 물어봐"라고 가르치는 식이었습니다. 하지만 이건 사용자가 "아니, 내 예산은 2 만 원이야"라고 정정해 줄 때 (수정 상황) 작동하지 않습니다.

저자들은 새로운 방법인 **RLSTA(단일 턱 앵커를 이용한 강화 학습)**를 제안했습니다.

비유: "완벽한 내비게이션"을 마음속에 심기
이 방법은 AI 에게 다음과 같이 훈련시킵니다.

1. 완벽한 버전 확인: AI 에게 "서울에서 부산까지, 예산 2 만 원"이라는 모든 정보를 한 번에 주면서 답을 내게 합니다. (이때는 AI 가 아주 똑똑하게 "저가 버스"라고 답합니다.)
2. 고집 부리는 버전 확인: 그다음, 정보를 조각조각 나누어 주면서 (먼저 "부산 가줘", 그다음 "예산 2 만 원") 다시 답을 내게 합니다. (이때는 AI 가 고집을 부려 "택시 카풀"이라고 답합니다.)
3. 비교와 보상: "아! 네가 가진 지능 (완벽한 버전) 은 '버스'를 알고 있는데, 왜 대화 중에는 '택시'를 고집하냐?"라고 질문합니다.
   • 이때, **완벽한 버전의 답 (버스)**을 **'앵커 (닻/기준점)'**로 삼습니다.
   • AI 가 대화 중에도 이 '닻'에 매달려서 고집을 버리고 정답으로 돌아오도록 보상을 줍니다.

즉, AI 가 혼자 있을 때 가진 뛰어난 능력을 '기준점 (닻)'으로 삼아, 대화 중에도 그 기준점에서 벗어나지 않도록 훈련시키는 것입니다.

3. 왜 이 방법이 특별한가요?

• 외부 감시관 불필요: 보통 AI 를 가르치려면 사람이 "이건 맞고 저건 틀려"라고 직접 확인해 주거나 (검증자), 정답을 알려줘야 합니다. 하지만 이 방법은 AI 스스로가 가진 '완벽한 능력'을 스승으로 삼아 스스로를 교정하므로, 외부의 감시관 없이도 학습이 가능합니다.
• 범용성: 수학 문제를 풀 때만 잘하는 게 아니라, 코딩이나 요약 같은 다른 분야에서도 이 '고집 버리기' 능력을 발휘합니다. 마치 운전사가 '고속도로 고집'을 버리는 법을 배웠다면, 비행기 조종에서도 '착륙 고집'을 버리는 법을 자연스럽게 배우는 것과 같습니다.
• 정답을 포기하지 않음: "정보가 부족하면 말하지 마"라는 기존 방식과 달리, 사용자가 정보를 수정해 줄 때 적극적으로 답을 고쳐서 내놓습니다.

📝 한 줄 요약

이 논문은 **"AI 가 대화 중에는 고집을 부려 틀린 답을 고집하는 병 (맥락의 관성)"**을 발견하고, **"AI 가 혼자 있을 때 가진 똑똑한 능력 (단일 턱 능력) 을 거울로 삼아 스스로 고집을 꺾게 만든 훈련법 (RLSTA)"**을 개발했다고 설명합니다.

이제 AI 는 사용자가 "아니, 그건 틀렸어. 예산이 2 만 원이야!"라고 말하면, 고집을 부리지 않고 바로 "아, 그럼 버스로 가시죠!"라고 자연스럽게 고쳐 말할 수 있게 된 것입니다.

기술 요약

1. 문제 정의: 문맥 관성 (Contextual Inertia)

대형 언어 모델 (LLM) 은 단일 턴 (Single-turn) 에서 완전한 정보를 제공받을 때 강력한 추론 능력을 보이지만, 다중 턴 (Multi-turn) 상호작용에서는 심각한 취약점을 드러냅니다.

• 현상: 사용자가 정보를 점진적으로 추가하거나 (MT-Add), 초기 조건을 수정/정정할 때 (MT-Refine), 모델은 이전 턴에서 생성된 추론 경로를 경직되게 고수합니다.
• 문맥 관성 (Contextual Inertia): 모델이 새로운 정보나 사용자의 명시적 수정이 제공되더라도, 이전의 (잘못된) 추론 흔적 (reasoning traces) 을 무시하지 않고 그대로 유지하려는 경향입니다.
• 결과: 이는 'Lost in Conversation (LiC)' 현상으로 이어져, 단일 턴 기준 성능에 비해 다중 턴 성능이 급격히 저하됩니다.
• 근거 분석: 논문은 다중 턴 오류의 70%~90% 가 최종 턴의 독립적 추론 실패가 아니라, 이전 턴의 잘못된 맥락 (Misleading Context) 이나 전파된 오류 (Propagated Error) 에 기인함을 정량적으로 입증했습니다. 특히, 이전 답변이 잘못되었음에도 모델은 이를 검증 없이 계속 이어가는 '무분별한 (indiscriminate)' 성향을 보입니다.

2. 제안 방법: 단일 턴 앵커를 활용한 강화 학습 (RLSTA)

저자들은 문맥 관성을 깨고 안정적인 다중 턴 상호작용을 위해 Reinforcement Learning with Single-Turn Anchors (RLSTA) 를 제안합니다. 이 방법은 모델이 가진 우수한 단일 턴 추론 능력을 내부적인 '앵커 (Anchor)'로 활용합니다.

핵심 구성 요소

1. 잠재 능력 필터링 (Latent Capability Filtering):

   • 모델이 전체 정보 (Full Information) 를 한 번에 제공받았을 때 문제를 해결할 수 있는 능력 (단일 턴 성능) 은 있지만, 다중 턴 대화 역사 (History) 에서는 실패하는 경우를 선별합니다.
   • 수식적으로, $E[\text{Ver}(m) | \text{Full Info}] > E[\text{Ver}(m) | \text{Multi-turn History}]$ 인 데이터셋만 필터링하여 학습에 사용합니다. 이는 모델이 본질적으로 문제를 풀 수 있음을 보장하고, 다중 턴 실패의 원인이 '정보 부족'이 아닌 '관성'임을 확인합니다.

2. 단일 턴 앵커 보상 (Single-Turn Anchor Reward, $R_s$):

   • 기존 강화 학습 (RL) 이 정답 여부 ($R_v$) 만을 보상하는 것과 달리, RLSTA 는 모델이 단일 턴 설정에서 생성한 답변과 다중 턴 생성 답변 간의 유사성을 보상으로 추가합니다.
   • $R_s = \left( \prod_{t} \pi_{\theta_{ref}}(m_t | \text{ifull}) \right)^{1/|m|}$
   • 여기서 $\pi_{\theta_{ref}}$는 베이스 모델 (또는 필터링된 단일 턴 정책) 입니다. 이 보상은 다중 턴 응답이 모델의 우수한 단일 턴 추론 능력과 정렬되도록 유도하여, 잘못된 이전 맥락에 매몰되는 것을 방지합니다.

3. 최종 보상 함수:

   • $R = R_v + \alpha R_s$
   • 정답 여부 ($R_v$) 와 단일 턴 앵커 일치도 ($R_s$) 를 결합하여 모델을 올바른 추론 경로로 유도합니다.

3. 주요 기여 (Contributions)

• 문맥 관성의 정량화: 다중 턴 실패의 근본 원인이 모델의 무분별한 이전 추론 고수 (Contextual Inertia) 에 있음을 규명하고, 이를 통계적으로 입증했습니다.
• 범용적인 학습 프레임워크 (RLSTA): 외부 검증기 (Verifier) 가 없어도 모델의 내부 능력을 활용하여 학습 가능한 일반화 가능한 방법을 제시했습니다. 이는 MT-Add(정보 추가) 와 MT-Refine(오류 수정) 모두에 적용 가능합니다.
• 외부 검증기 불필요: 기존 방법들이 외부 정답 검증기에 의존하는 반면, RLSTA 는 모델 자체의 단일 턴 능력을 보상 신호로 사용하여 데이터 효율성을 높이고 일반 도메인 적용 가능성을 열었습니다.

4. 실험 결과

• 성능 향상: GSM8K(수학), Code, 요약 등 다양한 도메인에서 RLSTA 는 기존 SFT(지도 미세조정), DPO, 일반 GRPO 보다 월등히 높은 성능을 보였습니다.
  • 특히 MT-Refine 시나리오에서 기존 방법들이 실패하는 경우 (모델이 침묵하거나 수정을 못 하는 경우) RLSTA 는 초기 답변을 성공적으로 수정하여 성능을 크게 개선했습니다.
• 교차 도메인 일반화 (Cross-Domain Generalization): 수학 도메인 데이터로만 학습되었음에도 코드 (Code) 및 기타 도메인에서 뛰어난 성능을 발휘하여, 문맥 관성 깨기 능력이 도메인에 구애받지 않는다는 것을 입증했습니다.
• 장기 컨텍스트 보존: 다중 턴 상호작용을 안정화하면서도, 모델의 장기 컨텍스트 처리 능력 (Long-context capability) 을 저하시키지 않음을 확인했습니다.
• 외부 검증기 없이도 효과적: 외부 정답 검증기 ($R_v$) 를 제거하고 단일 턴 앵커 보상 ($R_s$) 만 사용한 변형 (RLSTA w/o verifier) 이도 강력한 성능을 보여주어, 검증이 어려운 일반 도메인에서의 적용 가능성을 시사했습니다.

5. 의의 및 결론

이 논문은 LLM 의 다중 턴 상호작용 실패가 단순히 정보 부족이나 컨텍스트 길이 문제가 아니라, 모델의 추론 경로의 경직성 (관성) 에 있음을 규명했습니다.

RLSTA 는 모델이 스스로의 우수한 추론 능력을 '내부 나침반'으로 삼아, 대화 중 발생하는 잘못된 맥락이나 수정 요청에 유연하게 대응하도록 학습시킵니다. 이는 외부 검증기가 없거나, 사용자가 지속적으로 조건을 수정하는 복잡한 에이전트 워크플로우 (Agentic Workflows) 에서 LLM 의 신뢰성과 적응성을 높이는 중요한 진전으로 평가됩니다.