Contextual Drag: How Errors in the Context Affect LLM Reasoning

이 논문은 LLM 의 자기 개선 파이프라인에서 과거의 실패 사례가 컨텍스트에 포함될 경우 유사한 오류를 반복하게 만드는 '컨텍스트 드래그 (Contextual Drag)' 현상을 규명하고, 이로 인해 모델 성능이 저하되거나 오히려 악화될 수 있음을 다양한 실험을 통해 입증했습니다.

핵심

🎨 비유: 그림을 그리는 학생과 나쁜 스케치북

가상의 학생 AI가 있다고 상상해 보세요. 이 학생은 수학 문제를 풀거나 논리적인 추론을 할 때, 스스로 생각하기 전에 **스케치북 **(문맥)을 먼저 봅니다.

1. **청소된 상태 **(Clean-Slate)
   학생이 아무것도 보지 않고 처음부터 문제를 풉니다. 이때는 실력대로 잘 풉니다.

2. **나쁜 스케치북이 있을 때 **(Contextual Drag)
   학생이 문제를 풀기 전에, 틀린 답이 적힌 스케치북을 보여줍니다.

   • 학생은 "아, 이 답이 틀렸구나!"라고 지적합니다. (검증)
   • 하지만 막상 다시 문제를 풀려고 펜을 들면, 의도치 않게 그 틀린 답의 '구조'나 '방식'을 따라 하게 됩니다.
   • 마치 나쁜 그림을 보고 "이건 틀렸어"라고 말하면서도, 손이 저절로 그 나쁜 그림의 선을 따라 움직이는 것과 같습니다.

이 논문은 AI 가 틀린 답을 완벽하게 지적하고 버린다고 해도, 그 틀린 답의 '흔적'이 뇌 (모델) 에 남아 있어, 다음 답을 만들 때 그 틀린 패턴을 무의식적으로 답습하게 만든다는 것을 증명했습니다.

---

🔍 핵심 발견 3 가지

1. "틀린 답을 봤더니 실력이 10~20% 떨어졌다!"

연구진은 11 가지의 다양한 AI 모델 (구글, 오픈AI, 오픈소스 모델 등) 과 8 가지의 어려운 추론 과제 (수학, 과학, 코딩 등) 를 테스트했습니다.

• 결과: 틀린 답이 문맥에 하나만 있어도, AI 의 정답률은 10~20% 급감했습니다.
• 비유: 훌륭한 요리사가 "이 소스는 맛이 없어"라고 말하면서도, 그 소스를 만들어 본 기억 때문에 다음 요리에 실수를 반복하는 것과 같습니다.

2. "스스로 고치려다가 오히려 망가짐 (Self-Deterioration)"

일부 AI 는 스스로를 개선하기 위해 "이전 답을 보고 고쳐보자"는 과정을 반복합니다.

• 문제: 이 과정에서 틀린 답이 계속 문맥에 쌓이면, AI 는 점점 더 나빠지는 악순환에 빠집니다.
• 비유: 나쁜 습관을 고치려고 노력하다가, 그 나쁜 습관을 너무 자주 생각하다 보니 오히려 그 습관이 더 깊게 각인되어 버리는 것과 같습니다.

3. "틀렸다고 알려줘도 소용없다"

사람이 "이건 틀렸어!"라고 강하게 경고하거나, AI 스스로 "이건 틀렸어!"라고 판단하더라도 문제는 해결되지 않습니다.

• 원인: AI 는 단순히 '정답/오답'만 보는 게 아니라, **답을 구하는 '과정 **(구조)까지 따라 하기 때문입니다.
• 비유: "이 길은 막혔어!"라고 안내받았지만, 그 길의 지도를 너무 오래 보고 있어서, 새로운 길을 찾을 때 여전히 그 막힌 길의 방향을 따라가려는 것과 같습니다.

---

🛠️ 해결책은 있을까? (현재 상태)

연구진은 두 가지 방법을 시도해 보았습니다.

1. **문맥 청소 **(Context Denoising)

   • AI 에게 "틀린 부분은 지우고, 좋은 부분만 골라내서 다시 써봐"라고 시켰습니다.
   • 결과: 조금 나아졌지만, 완전히 원래 실력으로 돌아오지는 못했습니다.

2. **특별 훈련 **(Targeted Fine-tuning)

   • AI 에게 "틀린 답을 발견하면, **아예 처음부터 다시 시작하는 **(Clean-Slate)을 훈련시켰습니다.
   • 결과: 틀린 답을 볼 때의 실수는 줄어들었지만, 정답이 있는 문맥을 볼 때는 오히려 그 정답을 활용하지 못하고 버리는 부작용이 생겼습니다.

결론: 현재 기술로는 틀린 문맥의 영향을 완전히 없애기가 매우 어렵습니다. AI 는 틀린 정보를 보고 그 '흔적'을 지우기보다, 그 구조에 매몰되는 경향이 강합니다.

---

💡 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 가 스스로를 개선하는 과정 **(Self-Improvement)이라고 경고합니다.

• 우리가 배워야 할 점: AI 를 훈련시키거나 사용할 때, 단순히 "틀린 답을 보여주고 고쳐라"라고만 하면 안 됩니다. 틀린 답의 '흔적'이 남지 않도록 문맥을 깨끗하게 정리하거나, AI 가 틀린 답을 발견했을 때 완전히 새로운 사고방식으로 전환할 수 있도록 도와주는 새로운 기술이 필요합니다.

한 줄 요약:

"AI 는 틀린 답을 보고 '이건 틀렸어'라고 말하면서도, 무의식적으로 그 틀린 답의 방식을 따라 하다가 실수를 반복합니다. 이것이 바로 '문맥의 끌림'입니다."

기술 요약

논문 요약: Contextual Drag: How Errors in the Context Affect LLM Reasoning

이 논문은 대규모 언어 모델 (LLM) 의 자기 개선 (self-improvement) 파이프라인에서 발생하는 새로운 실패 모드인 '컨텍스트 드래그 (Contextual Drag)' 현상을 규명하고 분석합니다. 컨텍스트 드래그란 모델이 과거의 실패한 시도 (오답) 를 컨텍스트에 포함했을 때, 이후의 추론이 그 오류와 구조적으로 유사한 실수로 편향되는 현상을 의미합니다.

1. 문제 정의 (Problem)

현대 LLM 워크플로우는 '비판 - 검증 - 수정 (Critique-Verify-Revise)' 루프를 통해 모델이 자신의 이전 출력이나 다른 모델의 출력을 평가하고 개선하는 방식을 많이 사용합니다. 이는 인간이 과거의 실수를 반성하여 다음 시도를 개선하는 전략과 유사합니다.
그러나 이러한 과정에서 **오류가 포함된 이전 시도 (Draft)**가 컨텍스트에 존재할 경우, 모델이 명시적으로 오류를 지적받거나 검증하더라도 그 오류의 구조적 패턴에 끌려가 (Drag) 유사한 실수를 반복하는 문제가 발생합니다. 이는 모델이 단순히 정보를 무시하지 못하고, 오히려 오류가 포함된 추론 경로를 무의식적으로 재사용하게 만듭니다.

2. 연구 방법론 (Methodology)

저자들은 11 개의 상용 및 오픈 가중치 모델 (GPT-5, Gemini, GPT-OSS, Nemotron, Qwen, Llama 등) 을 대상으로 8 가지 추론 작업 (수학, 과학, 코드, 퍼즐 등) 에서 실험을 수행했습니다.

• 평가 설정:
  • DIRECT (Clean-Slate): 추가 컨텍스트 없이 문제만 주어지고 해결하는 경우.
  • 1F/2F (Error-Conditioned): 모델이 생성한 1 개 또는 2 개의 잘못된 초안 (Draft) 을 컨텍스트에 포함하고, 이를 검증한 후 새로운 해답을 생성하도록 유도하는 경우.
• 구조적 분석 (Game of 24): 24 게임과 같은 퍼즐 문제를 사용하여 해답을 트리 (Tree) 구조로 파싱하고, **트리 편집 거리 (Tree Edit Distance, TED)**를 계산하여 생성된 해답이 오류가 포함된 초안과 얼마나 구조적으로 유사한지 정량화했습니다.
• 오류 신호 테스트: 외부에서 명시적인 오류 신호를 주거나 (External Signal), 모델 스스로 오류를 발견하는 경우 (Self-Verification) 에도 드래그 현상이 사라지는지 확인했습니다.
• 완화 전략 검증:
  1. 컨텍스트 노이즈 제거 (Context Denoising): 모델이 초안을 수정 (Revise) 하거나 필터링 (Filter) 하도록 유도.
  2. 지도 미세 조정 (Targeted SFT): 오류를 감지하면 초안을 완전히 무시하고 '클린 슬레이트 (Clean-Slate)' 방식으로 추론을 재시작하도록 학습.

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1. 성능 저하 및 자기 악화 (Self-Deterioration)

• 성능 감소: 오류가 포함된 초안이 컨텍스트에 있을 때, 모델의 성능은 10~20% 감소했습니다. 특히 작은 규모의 오픈 모델 (예: GPT-OSS-20B) 은 성능이 절반 이상 급감하기도 했습니다.
• 자기 악화: 반복적인 개선 파이프라인에서 오류가 포함된 초안을 기반으로 계속 생성할 경우, 모델의 정확도가 점차 하락하는 '자기 악화 (Self-Deterioration)' 현상이 관찰되었습니다. 이는 iterative refinement 가 항상 성능 향상을 보장하지 않음을 의미합니다.

3.2. 구조적 편향 (Structural Bias)

• TED 분석 결과: 오류가 포함된 초안과 모델의 새로운 해답 사이의 트리 편집 거리 (TED) 는, 클린 슬레이트 해답과 초안 사이의 거리보다 유의미하게 짧았습니다.
• 이는 모델이 단순히 표면적인 토큰을 복사하는 것이 아니라, **오류가 포함된 추론의 구조적 패턴 (계산 경로, 논리 흐름)**을 무의식적으로 계승하고 있음을 보여줍니다.

3.3. 오류 신호의 한계

• 외부 신호 불충분: 초안이 틀렸다고 명시적으로 경고하거나 외부에서 오류 신호를 주더라도, 모델은 여전히 오류 패턴에 편향되어 성능이 회복되지 않았습니다.
• 자기 검증의 불완전성: 모델이 스스로 "이 초안은 틀렸다"고 판단하더라도, 일부 모델 (Nemotron 계열 등) 은 부분적으로 회복되기도 했으나, 다른 모델 (GPT-OSS-20B 등) 은 여전히 심각한 성능 저하를 겪었습니다. 이는 검증 능력만으로는 컨텍스트 드래그를 완전히 해결할 수 없음을 시사합니다.

3.4. 완화 전략의 효과

• 컨텍스트 노이즈 제거: 초안을 수정하거나 필터링하는 방법은 베이스라인보다 성능을 개선시켰으나, 클린 슬레이트 성능을 완전히 회복시키지는 못했습니다.
• 타겟 SFT (Fallback Behavior): 오류를 감지하면 초안을 완전히 무시하고 처음부터 다시 추론하도록 학습시킨 모델은 오류 컨텍스트 하에서 성능이 크게 향상되었습니다. 하지만 이는 **정확한 컨텍스트를 활용할 때의 성능 (Robustness-Utilization Tradeoff)**을 희생하는 결과를 초래했습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 의 자기 개선 및 다중 에이전트 시스템에서 오류가 포함된 컨텍스트가 추론 구조 자체를 왜곡시킬 수 있음을 처음으로 체계적으로 증명했습니다.

• 핵심 통찰: 컨텍스트 드래그는 단순한 검증 실패가 아니라, 모델의 주의 메커니즘 (Attention) 이 오류가 포함된 추론 경로를 재사용하려는 구조적 결함에서 비롯된 근본적인 실패 모드입니다.
• 실무적 함의: 현재 널리 사용되는 '반복적 자기 개선 (Iterative Self-Improvement)' 파이프라인은 오류가 포함된 이전 시도가 누적될 경우 오히려 성능을 악화시킬 수 있으므로, 오류를 감지하고 컨텍스트를 리셋하거나 무시할 수 있는 메커니즘이 필수적입니다.
• 미래 방향: 단순한 검증 (Verification) 을 넘어, 오류가 감지되었을 때 추론 상태를 완전히 초기화하거나 (Reset) 컨텍스트의 신뢰도를 동적으로 조절하는 아키텍처 및 학습 전략의 개발이 필요함을 강조합니다.

결론적으로, 컨텍스트 드래그는 현재의 LLM 추론 아키텍처가 직면한 지속적인 과제로, 신뢰할 수 있는 다단계 추론 시스템을 구축하기 위해서는 오류가 포함된 컨텍스트의 영향을 효과적으로 차단할 수 있는 새로운 메커니즘이 요구됩니다.