💬 NLP

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

이 논문은 거대 언어 모델을 지나치게 긴 문맥으로 학습시키는 것이 지식을 매개변수적으로 내재화하는 능력을 저해하여, 모델이 문맥적 단서에 과도하게 의존하게 만들고 결과적으로 지원 없이 지식을 검색해야 하는 작업에서의 성능을 저하시킨다는 것을 보여주는 "정보 풍요의 역설(Information Abundance Paradox)"을 소개한다.

원저자: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 이야기를 쓰거나 수수께끼를 푸는 법을 가르치려 한다고 상상해 보세요. 오랫동안 과학자들은 로봇에게 방대한 양의 책, 코드, 대화 내용을 입력하여, 로봇이 더 많이 읽을수록 더 똑똑해질 것이라고 믿었습니다. 이것이 오늘날 챗봇과 글쓰기 보조 도구의 기반이 되는 거대 언어 모델(LLM)의 세계입니다. 모두가 쫓고 있는 핵심 아이디어는 바로 '컨텍스트(맥락)'였습니다. 즉, 로봇에게 아주 넓은 창을 제공하는 것이죠. 로봇이 한 번에 한 문장씩만 읽는 대신, 페이지 전체, 책 한 권, 또는 대화 기록 전체를 한꺼번에 볼 수 있게 하는 것입니다. 가정은 간단했습니다. 학습할 때 더 많은 정보를 보여주면, 나중에 그 정보를 사용하는 능력이 더 좋아질 것이라는 것이었습니다. 이는 마치 더 큰 교과서로 공부하면 자동으로 더 우수한 학생이 될 것이라고 생각하는 것과 같습니다.

하지만 그 교과서가 너무 도움이 된다면 어떻게 될까요? 만약 공부하는 동안 정답이 눈앞에 바로 놓여 있어서, 당신의 뇌가 아무것도 암기할 필요가 없다고 결정한다면 어떨까요? 당신은 책에서 답을 찾아내는 데는 매우 능숙해질 수 있지만, 시험 중에 누군가 그 책을 가져가 버린다면 완전히 길을 잃게 될지도 모릅의니다. 이것이 존스 홉킨스 대학교의 연구팀이 조사하기로 결정한 까다로운 질문입니다. 그들은 AI 모델에게 학습 중에 '초대형' 창을 제공하는 것이 실제로 더 나은 학습을 돕는지, 아니면 의도치 않게 모델이 스스로의 내부 지식을 구축하는 대신 눈앞에 있는 정보에 전적으로 의존하도록 만드는지를 확인하고 싶었습니다.

정보 과잉의 역설 (The Information Abundance Paradox)

연구진은 정보 과잉의 역설이라고 부르는 현상을 발견했습니다. 이름은 거창하지만, 그 개념은 사실 꽤 흥미롭고 직관에 반합니다. 그들은 AI를 학습시킬 때 컨텍스트 윈도우(학습 중 볼 수 있는 텍스트) 안에 관련 정보가 엄청나게 많으면, 모델이 사실을 암기하려는 노력을 멈춘다는 것을 발견했습니다. 대신, 모델은 주어진 텍스트를 단순히 보고 답을 베껴 쓰는 법을 배웁니다.

학생이 수학 시험을 치는 상황을 생각해 보세요.

과거 방식 (매개변수적 지식): 학생이 열심히 공부하여 공식들을 암기하고 규칙을 배웁니다. 문제를 마주했을 때, 머릿속에 있는 지식을 사용하여 문제를 풉니다.
새로운 방식 (컨텍스츄얼라이제이션/맥락화): 학생이 공부하는 동안 책을 책상 위에 펼쳐 놓을 수 있습니다. 학생은 공식을 외울 필요가 없다는 것을 깨닫습니다. 그냥 페이지를 넘겨서 답을 즉시 찾으면 되니까요. 학생은 책을 '사용하는' 전문가가 됩니다.

역설적인 점은, 이 '오픈북' 학생이 책이 있을 때는 완벽한 점수를 받지만, 책을 가져가 버리면 처참하게 실패한다는 것입니다. 연구진은 AI에게 너무 많은 도움을 주는 맥락을 제공함으로써, 우리가 실수로 AI를 '컨텍스트 중독' 상태로 만들고 있다고 제안합니다. 모델이 강력한 내부 두뇌를 구축하는 것을 멈추고 외부 텍스트에 전적으로 의존하게 만든다는 것입니다.

증거: 크다고 해서 반드시 더 좋은 것은 아니다

이를 증명하기 위해 연구팀은 과학적인 마술 쇼와 같은 일련의 실험을 수행했습니다.

1. 사전 학습 실험 (처음부터 배우기)
그들은 작은 AI 모델들을 가져와 방대한 도서 컬렉션(Project Gutenberg)으로 학습시켰습니다. 모델이 한 번에 볼 수 있는 '윈도우'의 크기를 512단어에서 32,000단어까지 다양하게 조절했습니다.

결과: 처음에는 윈도우가 커질수록 모델이 더 똑똑해졌습니다. 하지만 이상한 일이 벌어졌습니다. 윈도우가 특정 크기(작업에 따라 약 2,000~8,000단어)에 도달하자, 모델의 성능이 오히려 떨어지기 시작했습니다.
비유: 작은 메모장으로 시작하는 학생을 상상해 보세요. 그들은 잘하기 위해 모든 것을 암기해야 합니다. 그다음 더 큰 메모장을 받으면 성적이 더 좋아집니다. 하지만 그러다 거대하고 무한한 스크롤 종이를 받게 됩니다. 갑자기 그들은 아무것도 암기하지 않습니다. 그저 스크롤을 쳐다볼 뿐입니다. 시험이 오고 스크롤이 사라지면, 그들은 아무것도 기억하지 못합니다. 학습을 위한 '최적의 지점(Sweet spot)'은 최대 크기가 아니라 중간에 있었습니다.

2. 미세 조정 실험 (특정 작업 배우기)
다음으로, 연구진은 기존 AI 모델들을 가져와 법률, 의료, 경제와 같은 특정 주제를 가르쳤습니다. 그들은 학습 중에 모델이 접하는 '도움이 되는' 텍xt의 양을 정밀하게 조절했습니다.

결과: 모델들이 많은 도움을 주는 문서들과 함께 학습되었을 때, 그 문서들이 다시 제공된다면 질문에 답하는 데 매우 뛰어난 능력을 보였습니다. 하지만 문서가 제거되거나 문서에 잘못된 정보가 포함되어 있다면 모델은 무너졌습니다.
모델이 학습 중에 더 많은 도움을 주는 맥락을 접할수록, 모델의 견고함(Robustness)은 떨어졌습니다. 모델은 신호가 잡힐 때는 완벽하게 작동하지만, 신호가 끊기면 지도나 태양을 보고 길을 찾지 못하는 GPS처럼 변했습니다.

왜 이런 일이 발생하는가? '효율적인' 뇌

연구진은 AI의 '두뇌' 내부에서 어떤 일이 일어나고 있는지 파악하기 위해 깊이 파고들었습니다. 그들은 이 행동의 두 가지 주요 원인을 찾아냈습니다.

1. 최단 경로의 법칙 (The Path of Least Resistance)
학습은 힘든 작업입니다. 규칙을 암기하고 자신의 뇌(모델의 '가중치')에 저장하는 데는 에너지가 듭니다. 하지만 답이 텍스트에 바로 있다면, 그것을 찾아보는 것이 훨씬 쉽습니다. 연구진은 컨텍스트가 풍부하고 유용할 때, AI가 '더 낮은 복잡도의 솔루션'을 찾는다는 것을 발견했습니다. 이는 일종의 지름길을 찾는 것과 같습니다. AI는 "왜 '비트를 부정하는' 규칙을 굳이 외워야 하지? 그냥 여기 있는 예시를 보면 되는데?"라고 깨달은 것입니다. 그래서 암기를 멈추고 관찰을 시작했습니다.

2. 뇌 에너지의 이동
그들은 또한 AI의 뇌 중 어느 부분이 작업을 수행하는지도 살펴보았습니다.

FFN (피드포워드 네트워크): 이를 모델의 '기억 저장소'라고 생각하세요. 사실과 규칙을 여기에 저장합니다.
어텐션 모듈 (Attention Modules): 이를 정보를 찾기 위해 텍스트를 스캔하는 모델의 '눈'이라고 생각하세요.
발견: AI가 길고 유용한 컨텍스트로 학습될 때, 학습의 '압력'이 이동하는 것을 발견했습니다. 업데이트가 기억 저장소(FFN)로 가는 대신, 완전히 '눈(Attention)'으로 향하게 된 것입니다. 모델은 텍스트를 스캔하는 능력은 키우고, 사실을 저장하는 능력은 떨어뜨리는 방향으로 스스로를 재배선(Re-wiring)하고 있었습니다.

시사점

이 논문은 '무한한 컨텍스트' 모델(한 번에 도서관 전체를 읽을 수 있는 AI)을 만들기 위한 경쟁이 숨겨진 벽에 부딪히고 있을 수 있다고 시사합니다. 이는 단순히 더 많은 데이터나 더 큰 컴퓨터의 문제가 아닙니다. 만약 우리가 이러한 모델들을 학습시킬 때 눈앞에 너무 많은 정보를 제공한다면, 우리는 읽기는 매우 잘하지만 스스로 생각하는 능력은 형편없는 모델을 만들게 될 수도 있습니다.

연구진은 롱 컨텍스트(Long-context) 모델이 나쁘다고 말하는 것이 아닙니다. 단지 '많을수록 좋다'는 식의 단순한 상황이 아니라는 경고를 하는 것입니다. 여기에는 트레이드오프(Trade-off)가 존재합니다. 만약 책 없이도 질문에 답할 수 있는 모델을 원한다면, 실제로 더 적은 컨텍스트로 학습시켜 스스로 내부 지식을 구축하도록 강제해야 할 수도 있습니다. 만약 당신이 단지 문서를 읽고 요약하는 모델을 원한다면 롱 컨텍스트는 훌륭합니다. 하지만 정보가 제공되지 않을 때도 추론할 수 있는 진정한 지능형 비서를 원한다면, '정보 과잉의 역설'은 우리가 AI를 너무 책에 의존하게 만들지 않도록 주의해야 한다고 말하고 있습니다.

기술 요약: 정보 풍요의 역설 (Information Abundance Paradox)

문제 정의

대규모 언어 모델(LLM)은 더 많은 증거를 제공함으로써 성능을 선형적으로 개선할 수 있다는 암묵적인 가정 하에, 수백만 토큰에 달하는 컨텍스트 창(context window)을 갖도록 점점 더 많이 학습되고 배포되고 있습니다. 그러나 경험적 관찰에 따르면, 단순히 컨텍스트 길이를 확장하는 것이 지속적인 발전을 보장하지는 않습니다. 어떤 경우에는 긴 컨텍스트 변체 모델(예: Phi-3 128K, OLMo 3 65K)이 짧은 컨텍스트 모델보다 표준 벤치마크에서 낮은 성능을 보이기도 합니다. 이는 근의-무한(near-infinite) 컨텍스트를 향한 궤적이 단순히 더 긴 컨텍스트 데이터를 공급하는 문제인지, 아니면 컨텍스트 창이 모델의 학습 역학을 근본적으로 변화시키는 것인지에 대한 근본적인 질문을 제기합니다.

본 논문은 컨텍스트 창을 데이터의 중립적인 통로로 보는 관점에 이의를 제기합니다. 대신, 학습 컨텍스트 내에 풍부한 관련 정보가 존재하면 모델의 학습 전략이 파라미터 내부화(weights에 지식을 인코딩하는 것)에서 컨텍스트화(입력에 제공된 증거에 의존하는 것)로 이동할 수 있다고 상정합니다. 이러한 변화는 "컨텍스트 중독(context addiction)"으로 이어질 수 있으며, 이는 모델이 컨텍스트가 존재할 때는 잘 작동하지만, 컨텍스트가 없거나 오도될 경우 성능이 크게 저하되는 현상을 의미합니다.

방법론

저자들은 사전 학습(pretraining)과 지도 미세 조정(SFT)이라는 두 가지 학습 체계에 걸쳐 경험적 실험, 이론적 분석 및 메커니즘 프로빙(mechanistic probing)을 결합하여 이 가설을 조사합니다.

1. 경험적 실험

사전 학습 연구: 저자들은 Llama-2 기반 모델을 네 가지 규모(20M ~ 750M 파라미터)로 고정된 토큰 예산(10B 토큰, Project Gutenberg 데이터)에서 사전 학습합니다. 총 토큰 수와 최적화 단계는 일정하게 유지하면서 학습 컨텍스트 창( $W \in \{512, \dots, 32768\}$ $W \in {512, \dots, 32768}$ )을 체계적으로 변화시킵니다.
- 평가: 파라미터 지식(parametric knowledge)을 측정하기 위해 언어 모델링(LAMBADA, WikiSPAN, PTB), 일반 언어 이해(SuperGLUE), 폐쇄형 다중 선택 질의응답(MCQA)을 통해 모델을 평가합니다.
지도 미세 조정(SFT) 연구: Qwen3 모델(0.6B ~ 14B)을 사용하여 MMLU-Pro 도메인(보건, 경제, 법률, 심리학)에 대해 미세 조정합니다. 컨텍스트 예산(8개 문서)은 고정하되, 컨텍스트의 정보성(target-domain 문서의 개수 $k \in \{0, 4, 8\}$ $k \in {0, 4, 8}$ )을 변화시킵니다.
- 평가: 모델은 세 가지 조건(지지하는 컨텍스트(정확한 증거), 충돌하는 컨텍스트(오도하는 증거), 컨텍스트 없음) 하에서 테스트됩니다.
합성 데이터 사전 학습: 메커니즘을 격리하기 위해, 저자들은 다양한 수의 인컨텍스트 시연(in-context demonstrations)을 포함한 합성 작업(비트 연산, 문자열 변환, mod10 산술, Caesar 암호)으로 모델을 학습시킵니다. 컨텍스트 의존성을 정량화하기 위해 "지지-충돌 간극(supporting-conflicting gap)"을 측정하고, 솔루션 복잡성의 대리 지표로 평균 학습 그래디언트 노름(gradient norm)을 사용합니다.

2. 이론적 분석

저자들은 정보 이론을 사용하여 이 트레이드오프를 공식화합니다. 그들은 파라미터 정보 경계(Parametric Information Frontier, $I_k(\rho)$ )를 컨텍스트 크기 $k$ 가 주어졌을 때 위험 임계값 $\rho$ 를 달성하기 위해 가중치에 저장되어야 하는 최소 작업 정보로 정의합니다. 저자들은 중첩된 입력(nested inputs)에 대해 $m > k$ 일 때 $I_m(\rho) \leq I_k(\rho)$ 임을 증명하며, 이는 긴 컨텍스트가 동일한 성능을 달성하기 위해 가중치에 필요한 최소 정보를 이론적으로 감소시킨다는 것을 보여줍니다.

3. 메커니즘 분석

그래디언트 할당: 저자들은 피드포워드 네트워크(FFN)와 셀프 어텐션(SA) 모듈 간의 그래디언트 노름 비율을 분석합니다. FFN은 파라미터 지식과 관련이 있고, SA는 컨텍스트 라우팅(contextual routing)과 관련이 있습니다.
인과적 개입: 모듈 제한 미세 조정(module-restricted fine-tuning)을 수행하여, FFN만을 업데이트하거나 SA 헤드만을 업데이트함으로써 강건성(robustness)과 컨텍스트 의존성에 미치는 인과적 효과를 관찰합니다.
토큰 수준 어텐션: 추론 중에 컨텍스 토큰에 할당된 어텐션 질량(attention mass)을 측정하여 계산의 변화를 정량화합니다.

주요 결과

1. 역 U자형 성능 곡선 (The Inverted-U Performance Curve)

사전 학습에서 컨텍스트 창을 늘리면 중간 최적점(예: SuperGLUE/MCQA의 경우 ~2048 토큰, 언어 모델링의 경우 ~8192 토큰)까지는 성능이 향상되지만, 그 이후에는 성능이 지속적으로 하락합니다. 이러한 저하는 고정된 토큰 예산과 모델 용량에도 불구하고 발생하며, 이는 긴 컨텍스트가 특정 지점 너머에서는 본질적으로 유익하지 않음을 나타냅니다.

2. SFT에서의 컨텍스트 중독

지도 미세 조정에서, 학습 중 작업 관련 컨텍스트의 양을 늘리면( $k=8$ ) 테스트 시 지지하는 컨텍스트가 있을 때 정확도가 크게 향상됩니다. 그러나 이는 강건성 감소라는 대가를 치릅니다:

컨텍스트 부재 시 성능: 높은 컨텍스트 관련성을 가진 모델은 낮은 컨텍스트 관련성을 가진 모델에 비해 컨텍스트가 없을 때 성능이 현저히 떨어집니다.
충돌하는 컨텍스트: 이러한 모델들은 오도하는 컨텍스트에 더 취약하며, 충돌하는 증거가 제공될 때 정확도가 더 크게 하락합니다.

3. 메커니즘 변화

솔루션 복잡도: 합성 작업에서 "컨텍스트 중독"(큰 지지-충돌 간극)은 긴 컨텍스트가 더 낮은 복잡도의 솔루션(감소하는 평균 학습 그래디언트 노름으로 표시됨)을 가능하게 하는 작업에서 구체적으로 나타납니다. 낮은 복잡도의 컨텍스트 솔루션을 활용할 수 없는 작업(예: mod10 산술)은 이러한 변화를 보이지 않습니다.
그래디언트 재할당: 정보가 풍부한 컨텍스트로 학습하면 그래디언트 압력이 FFN(파라미터 내부화)에서 셀프 어텐션 모듈(컨텍스트화)로 이동합니다. 이러한 변화는 사전 학습과 SFT 모두에서 관찰됩니다.
추론 행동: 풍부한 컨텍스트로 학습된 모델은 추론 시 특히 중간 레이어에서 컨텍스트 토큰에 훨씬 더 많은 어텐션 질량을 할당하며, 이는 제공된 정보에 대한 인과적 의존성을 확인시켜 줍니다.

주요 기여

정보 풍요의 역설: 본 논문은 학습 컨텍스트 내의 풍부한 관련 정보가 모델이 해당 정보를 파라미터적으로 인코딩하려는 동기를 줄여, 내부화에서 컨텍스트화로의 이동을 유발할 수 있다는 가설을 제시합니다.
비단조적 스케일링(Non-Monotonic Scaling)의 경험적 증거: 본 연구는 컨텍스트 창을 확장하는 것이 항상 이득이 되는 것은 아니라는 강력한 증거를 제공합니다. 중간 최적점을 넘어서면 긴 학습 컨텍스트가 폐쇄형(closed-book) 성능과 강건성을 저해할 수 있습니다.
메커니즘적 설명: 본 연구는 이 현상을 구동하는 구체적인 신경 메커니즘을 식별합니다: 즉, 최적화 압력이 FFN에서 어텐션 모듈으로 이동하고, 가중치보다는 컨텍스트에 의존하는 더 낮은 복잡도의 솔루션을 채택하는 것입니다.
이론적 공식화: 본 논문은 긴 컨텍스트가 목표 위험을 달{%}성하기 위해 필요한 최소 파라미터 정보를 감소시킨다는 이론적 증명을 제공하여, 왜 모델이 지식을 "망각"하고 컨텍스트 의존성을 높이는지를 설명합니다.

의의 및 주장

본 논문은 근의-무한 컨텍스트 창을 향한 추진력이 단순히 데이터의 문제로만 이해되어서는 안 된다고 주장합니다. 대신, 컨텍스트 창은 학습 모드를 결정하는 하이퍼파라미터 역할을 합니다.

현재 패러다임에 대한 도전: 연구 결과는 "더 긴 컨텍스트 데이터"가 항상 정답은 아니라는 가정을 반박합니다. 저자들은 컨텍스트 길이를 확장하는 것이 재사용 가능한 파라미터 지식을 컨텍스트 의존적 능력과 맞교환할 수 있음을 시사합니다.
강건성에 대한 시사점: 매우 정보가 풍부한 긴 컨텍스트로 학습된 모델은 "컨텍스트 중독" 상태가 되어, 컨텍스트가 없거나 손상되었을 때 실패할 수 있습니다. 이는 컨텍스트 가용성이 보장되지 않는 배포 시나리오에서 매우 중요한 의미를 갖습니다.
설계 지침: 최적의 학습 전략은 컨텍스트 길이를 조절하여 모델의 학습 모드가 컨텍스트화 쪽으로 너무 치우치지 않도록 균형을 맞춰야 하며, 이는 파라미터 지식을 보존할 수 있는 커리큘럼이나 제약 조건을 필요로 할 수 있습니다.

저자들은 긴 컨텍스트 처리가 강력한 능력이기는 하지만, 모델이 무엇을 내부화하고 추론 시 정보에 얼마나 강력하게 의존하는지를 근본적으로 변화시키므로, 컨텍스트 윈도우에 대한 스케일링 법칙(scaling laws)의 재평가가 필요하다고 결론짓습니다.