기술 요약: 장문맥 LLM 의 위치적 실패

문제 제기

검색 중심의 장문맥 벤치마크 (예: Needle-in-a-Haystack, RULER) 가 위치 제어 평가를 표준으로 정립한 반면, 주류 추론 벤치마크 (예: LongBench, SCROLLS, L-Eval) 는 장문맥 내 목표 작업의 위치적 배치를 통제하거나 보고하는 데 크게 실패하고 있습니다. 이로 인해 구조적 평가 격차가 발생합니다. 현재 벤치마크는 작업 관련 정보가 소스에서 그 위치를 물려받는 자연 문서에 대한 집계된 성능을 보고하므로, 모델의 실패와 작업 위치를 분리하여 규명하는 것이 불가능합니다.

또한, 최근 출시된 네 가지 플래그십 장문맥 모델 (DeepSeek-V4-Pro, MiMo-V2.5-Pro, Kimi-K2.6, GLM-5.1) 에 대한 감사를 통해, 벤더 결과 표가 에이전트 및 코딩 벤치마크 (예: SWE-Bench, Terminal-Bench) 를 우선시하고 NIAH 나 RULER 와 같은 위치 제어 추론 지표를 주요 성능 표에서 생략하고 있음을 확인했습니다. 그 결과, 문맥 길이에 따라 커질 수 있는 위치적 취약점은 학술적 벤치마크와 산업계 평가 모두에서 특성화되지 않은 채 남아 있습니다.

방법론: 문맥 회전 평가 (Context Rot Evaluation, CRE)

이 격차를 해소하기 위해 저자들은 문맥 회전 평가 (CRE) 를 제안합니다. 이는 작업 위치, 채움 콘텐츠, 문맥 길이를 세 가지 독립 변수로 취급하는 통제된 프레임워크입니다.

• 실험 설계: 다음을 변형하는 완전 요인 설계:
  • 위치: 끝 (응답 직전 목표), 중간 (채움 콘텐츠로 둘러싸인 목표), 중간 -2 회 (중간에 반복된 목표), 중간 -복제 (중간의 목표 + 끝의 복사본).
  • 채움 콘텐츠: 목표 작업과의 겹침 정도가 높음에서 낮음으로 이어지는 세 가지 유형:
    • with_solutions (ws): 풀이가 포함된 GSM8K 문제 (높은 겹침).
    • questions_only_v2 (qo_v2): 풀이가 없는 GSM8K 문제 (중간 겹침).
    • neutral_text: 관련 없는 위키백과/뉴스 산문 (낮은 겹침).
  • 문맥 길이: 세 단계: 8K, 32K, 64K 토큰.
• 작업: GSM8K (수학 단어 문제) 및 ARC-Challenge (과학 객관식).
• 모델: 두 라운드에 걸쳐 평가된 9 개의 장문맥 LLM:
  • 초기 세트 (5 개 모델): Qwen 2.5-7B-Instruct, MiMo-v2-Flash, GLM-4.7-FlashX, DeepSeek-V3.2 (추론 모드), Kimi k2.5.
  • 2 라운드 (4 개 최신 출시): DeepSeek-V4-Pro, MiMo-V2.5-Pro, Kimi-K2.6, GLM-5.1.
• 진단 프로브: 프레임워크에는 모델이 유리한 위치에서 작업 해결 능력을 유지하는지 테스트하기 위한 "middle_dup"(끝에 작업 복사본 추가) 과 간섭을 정량화하기 위한 "filler-answer matching"이 포함됩니다.

주요 결과

1. 위치적 취약성은 문맥 길이에 따라 심화됨

모델은 목표 작업이 문맥의 끝에서 중간으로 이동할 때 상당한 정확도 감소를 보이며, 그 심각도는 문맥 길이가 길어질수록 증가합니다.

• MiMo-v2-Flash: 64K 에서 with_solutions 채움 콘텐츠 하에서 정확도가 96%(끝) 에서 8%(중간) 로 감소하여 −88 퍼센트 포인트 (pp) 하락했습니다.
• Qwen 2.5-7B: 64K 에서 with_solutions 채움 콘텐츠 하에서 94%(끝) 에서 0%(중간) 로 감소하여 −94pp 하락했습니다.
• DeepSeek-V3.2: with_solutions 채움 콘텐츠 하에서는 거의 면역성을 보였으나 (0pp 감소), questions_only_v2 채움 콘텐츠 하에서는 취약해졌습니다 (64K 에서 −22pp).
• Kimi k2.5: with_solutions 하에서는 최소한의 감소만 보였으나 questions_only_v2 하에서는 상당한 감소를 보였습니다.

2. 채움 콘텐츠는 위치와 상호작용함

채움 콘텐츠의 성격은 위치적 실패를 크게 조절합니다.

• 구조화된 채움 (with_solutions): 취약한 모델 (예: MiMo-v2-Flash, Qwen) 에게 가장 심각한 감소를 유발합니다.
• 미해결 질문 (questions_only_v2): with_solutions 에 면역인 모델 (예: DeepSeek-V3.2, 64K 에서 −22pp 감소) 을 포함한 모든 모델에서 감소를 유발합니다.
• 중립 텍스트: 8K 에서 대부분의 모델에게는 일반적으로 무해하지만, Qwen 은 중립 채움 콘텐츠에서도 64K 에서 상당한 감소 (−30pp) 를 보여 콘텐츠와 관계없이 문맥 길이에 대한 모델 고유의 취약성을 시사합니다.

3. 오류 분석: 채움 - 답변 간섭

진단 분석 결과, 중간 위치 오류의 76% 가 주변 채움 질문의 정답과 일치하는 반면, 끝 위치에서는 22% 에 불과했습니다. 이는 작업이 문맥 중간에 묻혀 있을 때 채움 - 답변 간섭이 지배적인 오류 모드임을 시사합니다.

4. 진단 프로브 및 모델 회복

• Middle-Dup 프로브: 목표 작업의 복사본을 중간 외에 끝에 배치했을 때, 8K 에서 9 개 모델 모두의 정확도가 끝 위치 기준치에서 ±4pp 이내로 회복되었습니다. 이는 모델이 추론 능력을 유지하지만 특정히 중간 위치 때문에 실패함을 확인시켜 줍니다.
• 2 라운드 벤더 업그레이드: 최신 출시 버전 (예: MiMo-V2.5-Pro) 은 with_solutions 채움 콘텐츠 하에서 감소폭이 줄어든 것을 보였습니다 (예: 이전 버전의 −88pp 대비 −32pp) 하지만, questions_only_v2 채움 콘텐츠 하에서는 여전히 상당한 감소 (−16pp ~ −56pp) 를 보였습니다.

5. 교차 도메인 검증

ARC-Challenge 에서 9 개 모델 모두 방향성 있는 끝에서 중간으로의 감소를 보였으나 (범위 −6pp ~ −40pp), 표본 크기 (N=50) 로 인해 통계적 유의성은 제한적이었습니다. Qwen 의 감소만이 보너페로니 유의성을 보였으며, 이는 현상이 도메인 간에 일반화되지만 그 크기는 다양함을 시사합니다.

중요성 및 주장

본 논문은 현재 추론 벤치마크 설계 및 벤더 평가 관행에서 구조적 평가 격차를 드러냈다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 체계적 감사: 위치 인식 평가가 검색에는 성숙되었으나 주류 추론 벤치마크와 벤더 공개 표에서는 크게 부재함을 입증합니다.
2. 공동 요인의 증거: 작업 위치, 채움 콘텐츠, 문맥 길이가 추론 실패를 공동으로 형성함을 보여줍니다. 특히 "중간 위치 감소"는 단순히 문맥 길이의 함수가 아니라 채움 유형과 모델 아키텍처에 의해 크게 조절됨을 입증합니다.
3. 모델 의존적 스펙트럼: 위치적 취약성이 균일하지 않음을 확립합니다. 일부 모델 (예: 특정 조건 하의 DeepSeek-V3.2) 은 거의 면역성을 보이는 반면, 다른 모델 (예: Qwen, MiMo-v2-Flash) 은 장문맥 중간에서 치명적인 실패를 겪습니다.
4. 평가 권장사항: 향후 평가는 위치별 정확도를 보고하고, 경계뿐만 아니라 내부 위치를 테스트하며, 전체 추론 스택을 공개하고, 일반 능력 손실과 위치적 효과를 구분하기 위한 진단 프로브를 포함해야 한다고 제안합니다.

저자들은 작업 위치를 통제하지 않으면 문맥 길이에 따라 커지는 위치적 취약성을 벤치마크가 측정할 수 없으므로, 장문맥 LLM 평가에 치명적인 맹점이 남게 된다고 결론지었습니다.