💬 NLP

Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks

본 논문은 표준적인 절단 방식 하에서 롱 컨텍스트 LLM 벤치마크에서 흔히 관찰되는 성능 저하가 내재적인 컨텍스트 길이의 한계 때문이 아니라, 주로 작업 관련 정보의 우발적인 제거로 인해 발생함을 입증하며, 이는 신호 유지를 보장하는 방해 요소 인지형 절단 방식이 적용될 때 성능이 유지되거나 오히려 향상된다는 점을 통해 증명된다.

원저자: Mohsen Arjmandi

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohsen Arjmandi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

=== 요약 ===
당신이 100페이지에 달하는 거대한 미스터리 소설을 풀려고 한다고 상상해 보세요. 하지만 당신에게는 단 몇 페이지를 읽을 시간밖에 없습니다. 당신은 이런 질문을 던지게 될 것입니다. "만약 내가 책의 대부분을 버린다면, 그래도 미스터리를 풀 수 있을까?" 이것은 '생각하는 기계'(대규모 언어 모델이라고 불리는)를 만드는 과학자들을 밤잠 설치게 하는 질문입니다. 이 기계들은 방대한 양의 텍스트를 읽도록 학습되지만, 텍스트가 길어질수록 때때로 혼란을 겪거나 중요한 세부 정보를 잊어버리곤 합니다. 이를 해결하기 위해, 일부 전문가들은 "적을수록 좋다(Less is more)"라는 단순한 아이디어를 제안합니다. 그들은 만약 우리가 긴 이야기에서 지루하고 무관한 부분들을 기계에게 보여주기 전에 미리 잘라낸다면, 기계가 소음 때문에 산만해지지 않아 실제로 더 일을 잘할 수도 있다고 생각합니다.

하지만 여기에 까다로운 문제가 있습니다. 어떻게 하면 '정답(clues)'을 실수로 버리지 않으면서 "적을수록 좋다"는 것을 테스트할 수 있을까요? 만약 당신이 가위로 책의 중간 부분을 그냥 잘라버린다면, 당신은 탐정이 범인의 이름을 찾아내는 페이지를 실수로 잘라버릴 수도 있습니다. 만약 기계가 미스터리를 풀지 못한다면, 그것은 책이 너무 짧아서일까요? 아니면 단순히 당신이 정답을 버려버렸기 때문일까요? 이 논문은 바로 그 혼란을 파헤치며, 롱 컨텍스트(long-context) 모델들이 실제로 텍스트가 길어서 성능이 떨어지는 것인지, 아니면 우리가 정답을 숨기는 방식으로 테스트하고 있기 때문에 실패하는 것인지를 밝혀내고자 합니다.

거대한 "중간 자르기" 실험

AI 연구 분야에는 짧은 프롬프트가 더 좋다는 인기 있는 이론이 있습니다. 아이디어는 만약 모델에게 거대한 텍ast 벽을 입력하면, 모델이 문제를 해결하는 데 도움이 되지 않는 지루하고 무관한 단어들, 즉 "방해 요소(distractors)"에 압도당한다는 것입니다. 그래서 연구자들은 긴 이야기를 가져와서 중간 섹션을 잘라낸 뒤, 모델이 더 짧은 버전으로 더 나은 성능을 보이는지 테스트하기 시작했습니다.

이 논문이 지적하는 문제는, 이러한 "직설적인" 방식의 절단이 눈을 가리고 "당나귀 꼬리 붙이기" 게임을 하는 것과 같다는 점입니다. 당신은 당나귀를 맞출 수도 있고, 벽을 맞출 수도 있습니다. 많은 테스트에서 이야기의 "중간" 부분은 질문에 답하는 데 필요한 결정적인 단서들을 실제로 포함하고 있습니다. 연구자들이 중간을 잘라냈을 때, 그들은 단순히 방해 요소를 제거한 것이 아니라, 실수로 정답지를 삭제해 버린 것이었습니다.

이 논문의 저자는 더 공정한 테스트를 실행하기로 했습니다. 저자는 네 가지 서로 다른 롱 컨텍스트 벤치마크(AI를 위한 일종의 표준화된 테스트)를 가져와 네 가지 서로 다른 AI 모델(Claude 제품군의 세 가지와 GPT 하나)에 대해 실행했습니다. 그들은 네 가지 서로 다른 "메모리" 수준에서 테스트했습니다: 텍스트의 100%, 75%, 50%, 그리고 아주 적은 25%를 유지하는 방식입니다.

그들은 모든 질문에 대해 테스트를 두 번 실시했습니다:

"직설적인" 방식: 내용에 상관없이 텍스트의 중간을 그냥 잘라냅니다.
"방해 요소 인지형" 방식: 먼저, 스마트 필터를 사용하여 어떤 문장이 "시그널"(퍼즐을 푸는 데 필요한 단서)을 담고 있고 어떤 것이 "방해 요소"(군더더기)인지 정확히 찾아냈습니다. 그런 다음, 단서들을 안전하게 보존하면서 오직 군더더기만을 잘라냈습니다.

충격적인 결과

결과는 극적이었습니다. 마치 똑같은 카드 마술이 한 방식으로는 완벽하게 작동하지만 다른 방식으로는 처참하게 실패하는 것을 보는 것과 같았습니다.

"직설적인" 방식(중간을 자르는 방식)을 사용했을 때:
AI 모델들은 처참하게 무너졌습니다. 텍스트가 짧아질수록 점수가 급격히 떨어졌습니다.

BABILong 테스트에서 "Haiku" 모델의 점수는 0.138 하락했습니다.
"Sonnet" 모델은 0.175 하락했습니다.
"Opus" 모델은 0.433으로 폭락했습니다.
"GPT-5.5" 모델은 무려 0.613이나 폭락했습니다.

이는 기존의 이론이 틀렸음을 보여주는 듯했습니다: "짧은 컨텍스트는 해롭다!" 모델들은 제대로 작동하기 위해 전체의 긴 텍스트를 필요로 하는 것처럼 보였습니다.

하지만, "방해 요소 인지형" 방식(단서를 안전하게 보존하는 방식)으로 전환했을 때:
갑자기 이야기가 뒤집혔습니다. 모델들에게 원래 텍스트의 동일한 양(25%)을 주되 단서를 주의 깊게 보존했을 때, 결과는 완전히 바뀌었습니다.

Haiku와 Sonxt 모델은 실제로 더 좋아졌습니다. 각각 +0.083과 +0.104만큼 점수가 상승했습니다. 그들은 소음으로부터 방해받지 않았기에, 더 적은 텍스트로도 더 많은 퍼즐을 풀 수 있었습니다.
Opus와 GPT-5.5 모델은 더 좋아지지는 않았지만, 나빠지지도 않았습니다. 그들은 최고 성능 수준을 유지했는데, 이는 중요한 단서가 있는 한 추가적인 텍스트가 필요하지 않음을 증명했습니다.

이것이 실제로 의미하는 바

이 논문은 매우 중요한 진실을 밝혀냅니다: "직설적인" 방식의 테스트(그냥 중간을 자르는 것)는 실제로 AI가 긴 텍스트를 얼마나 잘 다루는지 측정하는 것이 아니었습니다. 그것은 단지 연구자들이 얼마나 자주 정답을 실수로 버렸는지를 측정하고 있었을 뿐입니다.

"직설적인" 테스트에서, 25% 유지 수준일 때, 모델들은 BABILong 테스트의 경우 1% 미만의 사례에서만 정답을 제공받았습니다. 그들은 용의자의 이름도 없이 미스터리를 풀라고 요구받은 것입니다. 그러니 실패하는 것이 당연했습니다!

하지만 "방해 요소 인지형" 테스트에서는 단서가 100% 보존되었습니다. 그리고 단서가 존재할 때, 모델들은 텍스트의 아주 작은 부분만 가지고도 퍼즐을 충분히 잘 풀 수 있었습니다.

시사점

이 연구는 "적은 것이 항상 더 좋다"고 말하는 것이 아닙니다. "적은 것이 더 좋다"는 것은 무엇을 남길지 알 만큼 똑똑할 때만 성립한다는 것을 말합니다. 만약 당신이 긴 문서를 무작위로 잘라버린다면, 당신은 AI가 필요로 하는 정보를 파괴할 가능성이 높습니다. 하지만 만약 당신이 "시그널"(중요한 사실)을 식별하고 "방해 요소"(지루한 것들)를 제거할 수 있다면, 더 짧은 프롬프트는 실제로 작은 AI 모델들의 성능을 향상시킬 수 있으며, 더 큰 모델들에게는 해가 되지 않습니다.

저자는 향-후 연구들이 훨씬 더 주의를 기울여야 한다고 결론짓습니다. 정답을 실수로 삭제하는 테스트를 근거로 "짧은 컨텍스트는 나쁘다"라고 말해서는 안 됩니다. 당신은 올바른 것을 테스트하고 있는지 확인해야 합니다. 우리가 더 나은 AI 시스템이 긴 책을 읽을 수 있도록 만들고 싶다면, 책을 맹목적으로 잘라내는 것을 멈추고, 먼저 좋은 부분을 찾는 법을 배우기 시작해야 합니다.

기술 요약: 디스트랙터 인지적 절단 (Distractor-Aware Truncation)

문제 정의

검색 증강 및 메모리 증강 언어 모델에 관한 문헌들은 종-종 "컨텍스트가 적을수록 더 좋다(less context is more)"고 가정하며, 무관한 내용을 제거하는 것이 성능을 향상시킨다고 제안한다. 그러나 이러한 가설을 엄밀하게 검증하는 것은 매우 어렵다. 왜냐하면 표준적인 평가 프로토콜은 다음의 두 가지 서로 다른 효과를 혼동하기 때문이다:

디스트랙터 감소 (Distractor reduction): 작업과 무관한 콘텐츠를 제거함 (검색 시스템의 의도된 이점).
시그널 손실 (Signal loss): 작업과 관련된 콘텐츠를 제거함 (무차별적인 절단의 의도치 않은 결과).

기존 연구들은 일반적으로 프롬프트의 중간 부분을 제거하는 "표준" 절단 프로토콜을 사용한다. 저자는 이 방법이 두 효과를 구분하지 못한다고 주장한다. 많은 벤치마크에서 프롬프트의 중간 부분에는 중요한 시그널(예: 사실, 그래프 엣지, 또는 대화 턴)이 포함되어 있기 때문이다. 결과적으로, 표준 절단 하에서 관찰되는 성능 저하는 모델이 짧은 컨텍스트를 처리하는 실제 능력의 결여나 "적을수록 좋다"는 가설의 실패를 반영하는 것이 아니라, 시그널 손실을 반영하는 것일 수 있다.

방법론

저자는 시그널과 디스트랙터를 명확히 분리하기 위해 디스트랙터 인지적 절단(distractor-aware truncation) 프로토콜을 제안한다. 이 연구는 네 가지 모델(Claude Haiku 4.5, Sonnet 4.6, Opus 4.7, GPT-5.5)을 네 가지 벤치마크(BABI-Long, GraphWalks, MRCR v2, Oolong)와 네 가지 컨텍스트 유지 비율(100%, 75%, 50%, 25%)에 걸쳐 평가한다.

절단 프로토콜

표준 프로토콜 (Standard Protocol): 관련성에 관계없이 프롬프트의 중간에서 콘텐츠를 드롭한다 ( $head(x, \lfloor \alpha L/2 \rfloor) \parallel tail(x, \lceil \alpha L/2 \rceil)$ ). 이는 기존의 표준적인 선행 연구들을 반영한다.
디스트랙터 인지적 프로토콜 (Distractor-Aware Protocol): 각 샘플에 대해, "시그널"을 골드 라벨(gold label)을 결정하기 위한 최소한의 콘텐츠 서브셋으로 정의한다. 이 프로토콜은 해당 시그널을 보존하고 남은 "디스트랙터" 콘텐츠만을 제거한다.
- BABI-Long: 시그널은 bAbI 사실 문장(정규식을 통해 식별됨)으로 정의된다.
- GraphWalks (BFS): 시그널은 BFS 쿼리를 수행하는 데 필요한 깊이 제한 도달 가능 서브그래프(depth-bounded reachable subgraph)이다.
- MRCR v2: 시그널은 데이터셋 필드를 통해 식별된 특정 사용자 쿼리/어시스턴트 응답 "니들(needle)" 쌍으로 구성된다.
- Oolong: 음성 대조군(negative control)으로 사용된다. 집계 작업에는 디스트랙터가 존재하지 않으므로(모든 항목이 기여함), 프로토콜은 특정 콘텐츠를 제거하는 대신 가시적인 서브셋을 기준으로 골드 라벨을 재정의한다.

통계적 설계

본 연구는 동일한 샘플 ID가 두 프로토콜 및 모든 유지 수준에서 평가되는 **쌍체 설계(paired design)**를 채택한다. 통계 분석에는 다음이 사용된다:

sample_id에 기반하여 점수 변화를 귀속시키기 위한 윌콕슨 부호 순위 검정(Wilcoxon signed-rank tests).
다중 비교를 위한 홀름-본페로니 교정(Holm-Bonferroni correction).
평균 차이( $\Delta$ )에 대한 95% 신뢰 구간을 위한 쌍체 부트스트랩(Paired bootstrap) (10,000회 리샘플링).

주요 결과

1. 절단 프로토콜에 따른 상이한 결과

결과는 절단 프로토콜의 선택이 컨텍스트 길이에 대한 결론을 근본적으로 바꾼다는 것을 보여준다:

표준 프로토콜: 컨텍스트 유지율이 100%에서 25%로 감소함에 따라 성능이 단조 감소한다. 주요 벤치마크(BABI-Long 및 GraphWalks)의 8개(벤치마크 $\times$ 모델) 셀 모두에서 통계적으로 유의미한 해악이 관찰되었다 (예: Haiku의 BABI-Long $\Delta$ : $-0.138$, GPT-5.5의 $\Delta$ : $-0.613$).
디스트랙터 인지적 프로토콜: 성능이 보존되거나 향상된다.
- BABI-Long: Haiku와 Sonnet은 25% 유지율에서 통계적으로 유의미한 개선을 보인다 ( $\Delta = +0.083$ 및 $+0.104$ , 각각). Opus와 GPT-5.5는 전체 컨텍스트 천장(ceiling) 상태를 유지한다 ( $\Delta \approx 0$ ).
- GraphWalks: 모든 모델에서 성능이 평탄하게 유지되며, 유의미한 저하가 없다.
- MRCR v2: 표준 절단은 대형 모델에 심각한 해악을 끼치지만 ( $\Delta \approx -0.6$ ), 디스 트랙터 인지적 절단은 이 해악을 거의 제거한다 ( $\Delta \approx -0.1$ ).

2. 실패 메커니즘

저자는 표준 프로토콜의 실패 메커니즘을 정량화한다:

25% 유지율의 표준 프로토콜에서, bAbI 사실 문장은 샘플의 1% 미만에서 보존되며, BFS 골드 서브그래프는 **26%**에서만 보존된다.
디스 트랙터 인지적 프로토콜 하에서는, 시그널이 구축 방식에 의해 보존된다 (필요한 서브셋의 100% 유지).
따라서 기존 연구에서 관찰된 "붕괴(collapse)"는 컨텍스트 윈도우 효과에 대한 측정이라기보다, 중간 제거 방식이 우연히 정답을 살려두는 빈도를 측정한 것이다.

3. 음성 대조군 (Oolong)

디스트랙터가 존재하지 않는 Oolong 벤치마크에서는 두 프로토콜 모두 통계적으로 구별 불가능한 결과(중립적 판결)를 낸다. 이는 방법론적 교정(시그널 보존)이 점수를 인위적으로 부풀리는 것이 아니라, 디스트랙터가 존재하는 작업에서 시그널 손실을 구체적으로 해결한다는 것을 확인시켜 준다.

의의 및 주장

본 논문은 "짧은 컨텍스트가 더 좋다"는 주장이 표준적인 중간 제거 프로토콜을 통해서는 검증될 수도, 반박될 수도 없다고 결론짓는다. 저자는 다음과 같이 주장한다:

방법론적 교정: 컨텍스트 길이 효과를 연구하는 미래의 연구들은 어떻게 시그널과 디스 트랙터를 구분하는지 명시해야 한다. 이를 명시하지 않으면, 결과는 "짧은 컨텍스트가 도움이 된다"(노이즈 제거를 통해)는 가설과 "짧은 컨텍스트가 해롭다"(시그널 제거를 통해)는 가설 사이에서 모호해진다.
검색 시스템의 상한선: 디스 트랙터 인지적 프로토콜은 "오라클 검색기(oracular retriever)"의 통제된 근사치 역할을 한다. 결과는 소형 모델(Haiku, Sonnet)의 경우 완벽한 디스 트랙터 제거가 상당한 성능 향상(예: BABI-Long에서 상대적 개선폭 +42%)을 가져올 수 있음을 시사한다. 이미 천장에 도달한 대형 모델의 경우, 이러한 이득을 얻을 수 있는 여지는 미미하다.
재현성: 이 발견은 두 가지 다른 모델 제공업체(Anthropic 및 OpenAI)에서 재현되었으며, 단일 제공업체에 의한 아티팩트(artifact) 가능성을 배제한다.

저자는 자신의 기여가 방법론적 교정임을 강조한다. 즉, "표준적 붕괴"는 시그널 손실에 의한 아티팩트임을 입증하였으며, 시그널이 보존될 때 짧은 컨텍스트는 본질적으로 성능을 저하시키지 않으며, 특정 경우에는 오히려 성능을 향상시킬 수 있음을 보여주었다.