💬 NLP

Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory

이 논문은 중간 잔차 상태(intermediate residual states)를 캐싱하고 상위 레이어를 재계산함으로써 트랜스포머 레이어의 비균등한 활용을 이용하는 메모리 메커니즘인 CoMem을 소개하며, 이를 통해 일정한 연산 및 메모리 비용으로 무제한 컨텍스트 메모리를 달로 달성하는 동시에 롱 컨텍스트 벤치마크에서 풀 컨텍스트 베이스라인들을 크게 능가하는 성과를 거두었습니다.

원저자: Hanzuo Liu, Xuan Qi, Chunyu Liu, Haotian Zhong, Yulong Wang, Rayying, Key, Alex Lamb, Mingyu Gao

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hanzuo Liu, Xuan Qi, Chunyu Liu, Haotian Zhong, Yulong Wang, Rayying, Key, Alex Lamb, Mingyu Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수만 권의 책을 순식간에 읽을 수 있는 초지능 로봇을 상상해 보세요. 이 로봇은 '거대 언어 모델(Large Language Model)'이라 불리는 인공지능의 한 종류입니다. 이야기를 이해하기 위해 로봇은 지금까지 읽은 모든 단어를 기억해야 합니다. 로봇의 기억을 거대한 화이트보드라고 생각해 보세요. 예전의 로봇들은 새로운 단어를 읽을 때마다 지금까지 본 모든 단어에 대해 화이트보드에 새 노트를 작성해야 했습니다. 이야기가 아주 길어지면 화이트보드는 공간이 부족해지거나, 로봇이 자신의 노트를 읽느라 너무 지쳐서 매우 느려지게 됩니다. 이것이 바로 과학자들이 해결하려고 노력 중인 큰 문제입니다. 어떻게 하면 로봇이 공간이나 시간 문제 없이 방대한 양의 정보를 기억하게 할 것인가 하는 점이죠.

이 로봇이 생각하는 방식의 비밀은 마치 다층 건물과 같은 '층(layers)'에 있습니다. 낮은 층들은 단어의 기본적인 의미를 이해하는 데 탁월합니다(예를 들어, "사과"가 과일이라는 것을 아는 것). 높은 층들은 로봇이 더 똑똑해지는 곳으로, 이 기본적인 의미를 사용하여 특정 질문에 답하거나 다음에 일어날 일을 예측합니다. 보통 로봇은 질문에 답하고 싶을 때마다 바닥층에서 꼭대기 층까지 전체 이야기를 모두 처리해야 합니다. 이 논문은 영리한 지름길을 제안합니다. 만약 우리가 로봇이 중간 층까지만 전체 이야기를 읽게 하고, 그 "반쯤 구워진(half-baked)" 이해 상태를 저장한 뒤, 실제로 답변이 필요할 때만 꼭대기 층에서 나머지 작업을 마무리하게 한다면 어떨까요?

이것이 바로 CoMem(Comprehension Memory)이라는 새로운 방법의 연구진이 발견한 핵심입니다. 그들은 로봇이 방대한 문서의 모든 세부 사항을 한꺼번에 기억하려고 애쓰는 대신, 정보를 저장하고 검색하는 데 훨씬 더 똑똑해질 수 있다는 것을 발견했습니다. 연구진은 텍스트 덩어리에 대한 로봇의 "이해"가 뇌의 중간 부분(중간 층들)에 도달했을 때 이미 대부분 준비된다는 사실을 깨달았습니다. 따라서 CoMem은 마치 책 전체를 책상 위에 올려두지 않는 사서처럼 작동합니다. 사서는 장의 앞부분을 읽고 핵심 내용을 짧은 메모지에 적어 선반에 붙여둡니다. 여러분이 질문을 하면, 사서는 책 전체를 꺼내는 대신 관련 있는 몇 개의 메모지만 집어 들고, 머릿속으로 남은 장을 마저 읽은 뒤 답변을 해줍니다.

이 논문은 이러한 "깊이의 분업(depth division of labor)"이 놀라울 정도로 잘 작동한다는 것을 보여줍니다. 텍ales의 절반만 처리하고 그 중간 결과물을 캐싱(저ging)함으로써, 로봇은 엄청난 양의 공간을 절약할 수 있습니다. 테스트 결과, Qwen3-8B 모델을 사용했을 때 CoMem은 128k 토큰 컨텍스트를 처리하는 데 단 18.26 GB의 메모리만 사용한 반면, 전통적인 방식은 89.36 GB가 필요했습니다. 이는 엄청난 차이입니다! 또한 CoMem은 질문에 답할 준비를 하는 과정에서 7.83배의 속도 향상을 달 수 있어 로봇을 훨씬 빠르게 만들었습니다.

하지만 연구진은 이것이 마법이 아니라는 점을 주의 깊게 지적합니다. 중간에 읽기를 멈춘다고 해서 완벽한 답을 기대할 수는 없습니다. 너무 일찍 멈추면 로봇이 세부 사항을 잊어버리고, 너무 늦게 멈추면 속도 이점을 잃게 됩니다. 연구진은 로봇이 의미를 충분히 이해하면서도 아직 특정 질문에 특화되지 않은 중간 층(구체적으로 36개 층 중 12번째 층)에서 "스위트 스팟(최적의 지점)"을 찾아냈습니다. 또한 단순히 메모를 저장하는 것만으로는 부족하며, 로봇이 점들을 연결하기 위해 여전히 모든 관련 메모를 한꺼번에 볼 수 있어야 한다는 점도 발견했습니다.

결과는 인상적이지만 특정적입니다. 로봇이 거대한 텍스트 속에서 "건초더미 속의 바늘(특정 사실)"을 찾을 수 있는지 확인하는 RULER 테스트에서, CoMem은 표준 방식이 78.80점을 기록한 것에 비해 97.05점을 기록하며 앞섰습니다. 긴 대화 테스트인 LoCoMo에서 CoMem은 38.27점을 기록하여 표준 방식의 34.59점을 능가했습니다. 이 논문은 이 접근 방식이 메모를 조직화하는 강력한 방법임을 시사하지만, 모든 작업에 완벽한 해결책은 아닙니다. 예를 들어, 로봇은 여전히 특정 유형의 복잡한 질문(BABILong 테스트의 일부 "qa2" 작업 등)에서 어려움을 겪는데, 이는 이 방법이 효율성 면에서는 큰 진전이지만 로봇을 모든 면에서 완벽하게 만들지는 못한다는 것을 보여줍니다.

요약하자면, CoMem은 질문을 던질 때마다 로봇에게 도서관 전체를 다시 읽으라고 강요할 필요가 없다는 것을 시사합니다. 업무를 나누어—낮은 층들이 이해라는 힘든 일을 맡고, 높은 층들이 구체적인 답변을 담당하게 함으로써—우리는 더 많이 기억하고, 더 빠르게 생각하며, 에너지를 덜 사용하는 로봇을 만들 수 있습니다. 이것은 마치 백팩에 백과사전 전체를 담아 다닐 필요 없이, 필요할 때 어떤 페이지를 꺼내야 할지만 알면 된다는 사실을 깨닫는 것과 같습니다.

기술 요약: CoMem (Comprehension Memory)

문제 정의

긴 문맥(long-context) 언어 모델링은 두 가지 주요 병목 현상에 직면해 있습니다: 셀프 어텐션(self-attention)의 이차 함수적(quadratic) 프리필(prefill) 비용과 키-값(KV) 캐시의 선형적 메모리 증가입니다. 기존의 효율적인 방법들은 대개 토큰 축(token axis)을 따라 KV 상태를 제거하거나 압축(토큰의 일부를 유지)하거나 외부 텍스트 단위를 검색하는 방식으로 이를 해결하려 합니다. 그러나 이러한 접근 방식은 복잡한 추론을 수행하는 데 필요한 충실도(fidelity)와 메모리 효율성 사이의 균형을 맞추는 데 어려움을 겪는 경우가 많습니다. 또한, 많은 방법이 특화된 메모리 네트워크를 학습시키거나 전체 문맥을 압축하는 데 의존하며, 이는 상당한 오버헤드나 충실도 저하를 초래할 수 있습니다.

저자들은 트랜스포머 레이어가 **역할 분담(division of labor)**을 수행한다고 주장합니다. 즉, 의미론적 정보는 하위 및 중간 레이어에서 접근 가능해지는 반면, 상위 레이어는 현재의 쿼리와 예측을 위한 표현을 전문화하는 데 점점 더 특화됩니다. 현재의 방법들은 이러한 깊이 기반(depth-based) 구조를 활용하여 메모리를 구성하는 데 충분히 활용하지 못하고 있습니다.

방법론: CoMem

CoMem(Comprehension Memory)은 긴 문맥 메모리를 토큰 축뿐만 아니라 **깊이 축(depth axis)**을 따라 재구성합니다. 이는 제한된 토큰 선택과 깊이 분할 계산 재사용을 결합합니다.

핵심 메커니즘

쓰기 단계 (깊이 분할 - Write Phase):
- 입력 문맥은 서로 분리된 청크(예: 512 토큰) 단위로 스트리밍됩니다.
- 각 청크는 특정 중간 레이어 $j$ (분할 깊이, "split depth")까지만 처리됩니다.
- 전체 깊이의 KV 상태를 저장하는 대신, CoMem은 각 청크 내 토큰에 대한 잔차 텐서(residual tensor) $h_j$ (은닉 상태)를 레이어 $j$ 에서 캐싱합니다.
- 이 텐서들은 청크 텍스트를 키(key)로 하는 외부 인덱스에 저장됩니다.
- 저장 효율성: Qwen3-8B 기준으로, $h_j$ 를 저장하는 것은 토큰당 전체 bf16 KV 쌍을 저장하는 것보다 1/18의 바이트만 필요합니다.
읽기 단계 (제한된 검색 및 재계산 - Read Phase):
- 쿼리가 수신되면, 셀렉터(BM25 사용)가 관련성이 높은 상위- $k$ 개의 청크 세트를 검색합니다.
- 캐싱된 청크들의 잔차 텐서 $h_j$ 는 "싱크(sink)" 토큰 및 현재 쿼리와 함께 패킹(pack)됩니다.
- 모델은 이 고정된 크기의 패크에 대해 전체 교차 청크 어텐션(full cross-chunk attention)을 사용하여 상위 레이어 $[j:L]$ 만을 **재계산(recompute)**합니다.
- 복잡도: 고정된 검색 예산( $k$ )과 청크 크기에 대해, 모델 측의 온라인 읽기 연산 및 메모리 워킹 셋(working set)은 전체 저장된 문맥 길이에 독립적입니다.

학습 및 적응

백본(Backbone): 베이스 모델(Qwen3-8B)은 동결(frozen)된 상태를 유지합니다.
자기 증류(Self-Distillation): 읽기 단계에서 하위 레이어를 건너뜀으로써 발생하는 충실도 손실을 완화하기 위해, 가벼운 LoRA(Rank-32)를 자기 증류를 통해 학습시킵니다. 학생 모델(분할 지점 $j=12$ )은 상위-64 로짓 서포트(logit support)에 대해 동결된 교사 모델(지점 $j=0$ )의 로짓을 일치하도록 학습합니다.
학습 데이터: LoRA는 작업별 지도 학습이나 검색 데이터 없이 일반 PG-19 텍스트로 학습되어, 모델이 "깊이 분할" 능력을 일반화할 수 있도록 합니다.

주요 기여

재사용 축으로서의 깊이: 본 논문은 의미론적 접근성이 중간 깊이 근처에서 정점에 도달하며, "제로샷 가독성 경계"(캐싱된 상태를 재계산 없이 직접 사용할 수 있는 지점)가 모델 규모에 따라 달라짐을 입증합니다. CoMem은 이 깊이 분할( $j$ )을 사전 계산된 작업과 쿼리 시 비용 사이의 조절 가능한 노브(knob)로 취급합니다.
제한된 깊이 분할 메모리: CoMem은 토큰당 하나의 잔차 상태를 캐싱하고 정확히 상위 트랜스포머를 재개합니다. 이는 제한된 검색과 전체 교차 청크 어텐션을 결합하여, Qwen3-8B에서 KV 캐시 대비 1/18의 저장 공간만 사용합니다.
제어된 품질-효율성 트레이드오프: 저자들은 더 깊은 곳을 캐싱할수록 쿼리당 계산량은 줄어들지만 충실도 손실이 발생하며, 자기 증류가 이를 실질적으로 복구한다는 증거를 제시합니다. 이 방법은 검색의 이점과 깊이 재사용의 비용을 분리합니다.

실험 결과

Qwen3-8B를 사용하여 채팅 템플릿이 없는 통합 프로토콜로 평가되었습니다:

벤치마크 성능:
- RULER: CoMem은 97.05를 기록하여, 풀 컨텍스트 KV-Direct 베이스라인(78.80)을 능가했습니다.
- LoCoMo (대화 메모리): CoMem은 38.27점을 기록하여 KV-Direct(34.59)보다 우수했습니다. 이 우위는 대화 클러스터 리샘플링 및 독립적인 심사관 감사 하에서도 지속되었습니다.
- LongEval & LongBench: CoMem은 베이스라인과 대등하거나 이를 상회했습니다 (LongEval 69.0; LongBench 매크로 F1 12.15).
효율성 (NVIDIA H20, 128k 문맥 기준):
- 메모리: CoMem은 피크 메모리로 18.26 GB를 사용하는 반면, 풀 컨텍스트 KV-Direct는 89.36 GB를 사용합니다.
- 속도: CoMem은 전체 쓰기 포함 프리필 시간에 7.83배의 속도 향상을 달성했습니다.
- 디코드(Decode): 재개된 밴드 디코드는 64k까지 밀집 추론(dense inference)의 11% 이내 성능을 유지하며, 128k에서는 1.07배 더 빨라집니다.
Ablation 연구:
- 검색 vs. 깊이: 깊이 재사용 없이 제한된 선택만 사용하는 경우 대화 메모리는 개선되지만, 깊이 재사용이 효율성을 위해 필수적입니다.
- 증류(Distillation): 자기 증류는 $j=12$ 에서 고정된 분할로 인해 손실된 약 13.75 LoCoMo 포인트를 복구합니다.
- 교차 청크 어텐션: 다중 팩트 모호성 해소를 위해서는 전체 교차 청크 어텐션이 필수적이며, 블록 대각(block-diagonal) 재사용은 심각한 성능 저하를 일으킵니다.

의의 및 주장

본 논문은 긴 문맥 메모리가 토큰 축뿐만 아니라 레이어 축을 따라 효과적으로 조직될 수 있다고 주장합니다. CoMem은 다음을 입증합니다:

의미론적 정보는 중간 깊이에서 접근 가능하므로, 쿼리에 종속되지 않은 상태를 캐싱한 후 상위 레이어를 재계산하여 특화할 수 있습니다.
제한된 검색 전략과 깊이 분할 계산을 결합하면 온라인 추론 비용을 저장된 문맥 길이로부터 분리할 수 있습니다.
가벼운 자기 증류는 하위 레이어를 건너뜀으로써 발생하는 충실도 손실을 복구하여, 백본을 재학습하지 않고도 높은 정확도를 가능하게 합니다.

저자들은 CoMem이 모든 윈도우 내 작업에 대한 최첨단 정확도 솔루션이라기보다는, 품질-메모리-계산 간의 트레이드오프를 제공하는 효율성 방법론임을 강조합니다. 그들은 네이티브 윈도우(40,960 토큰)를 초과하는 문맥에 대한 결과가 "확장되지 않은 스트레스 참조(unextended stress references)"임을 명시하며, YaRN과 같은 위치 확장 기술을 사용하는 모델보다 우월하다고 주장하지 않습니다. 이 방법은 기존의 토큰 축 압축 및 검색 방법과 보완적인 접근 방식으로 제시됩니다.