🤖 AI

ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

ReContext는 외부 메모리나 컨텍스트 프루닝(context pruning)을 필요로 하지 않고, 내부적인 관련성 신호에 기반하여 관련 증거를 재귀적으로 선택하고 다시 재생함으로써 컨텍스트 접근과 효과적인 활용 사이의 간극을 메움으로써 대규모 언어 모델의 긴 컨텍스트 추론 능력을 향상시키는 훈련이 필요 없는 추론 방법이다.

원저자: Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: 길을 잃어버리는 "건초더미 속의 바늘"

천재적인 학생(AI)에게 128,000권의 책이 담긴 도서관(방대한 텍스트 컨텍스트)을 주고 아주 구체적인 질문 하나를 던진다고 상상해 보세요. 답은 분명히 그 책들 중 하나에 들어 있습니다.

하지만 학생이 답을 하려고 할 때, 압도당하고 맙니다. 답이 바로 저기 있는데도, 학생은 수백만 개의 다른 페이지들에 정신이 팔려 버립니다. 학생은 추측을 하거나, 말을 지어내거나(환각 현상), 혹은 답이 더미 깊숙한 곳에 숨겨져 있다는 이유로 단서를 완전히 놓쳐버릴 수도 있습니다.

논문에서는 이를 접근(access)(AI가 도서관 전체를 '읽을' 수 있음)과 활용(utilization)(AI가 적절한 페이지를 '찾거나' '사용'하지 못함) 사이의 간극이라고 부릅니다.

해결책: ReContext ("형광펜 & 플래시카드" 시스템)

저자들은 ReContext라고 불리는 새로운 방법을 제안합니다. 이 방법은 AI를 재학습시키거나 외부 데이터베이스를 추가할 필요가 없습니다. 대신, AI가 글을 읽는 동안 생각을 정리할 수 있도록 도와주는 스마트한 학습 보조 도사 역할을 합니다.

작동 방식은 다음과 같습니다.

1. "내부 나침반" (관련성 신호)

AI가 질문을 읽을 때, 자연스럽게 어떤 단어에는 더 많은 주의를 기울이게 됩니다. 이것은 마치 AI의 뇌 속에 가장 중요한 단어를 향해 움직이는 자기 나침반과 같습니다.

혁신 요소: ReContext는 이 내부 나침반의 신호에 귀를 기울입니다. 스스로 추측하는 것이 아니라, AI가 이미 어떤 부분을 가장 밀접하게 "바라보고" 있는지 관찰합니다.

2. "형광펜" (증거 선별)

AI는 128,000 토큰의 텍스트를 스캔합니다. 그 내부 나침반을 사용하여 질문과 가장 관련이 있어 보이는 상위 128개의 토큰(전체의 아주 작은 부분)을 찾아냅니다.

비유: AI가 500페이지짜리 소설을 읽고 있다고 상상해 보세요. 모든 단어를 다시 읽는 대신, 형광펜을 사용하여 답을 포함하고 있는 핵심적인 50개의 문장에 표시를 하는 것입니다.

3. "플래시카드" (증거 구체화)

단순히 단어에 표시만 하는 것으로는 부족합니다. AI가 맥락을 이해하려면 그 단어가 포함된 전체 문장이 필요합니다. ReContext는 이 형광펜으로 칠해진 단어들을 가져와서, 그 단어들이 속한 전체 문장을 추출합니다.

결과: 이를 통해 실제 증거가 담긴 깔-끔한 "플래시카드" 목록을 만듭니다.

4. "재귀적 루프" (마법 같은 단계)

이 부분이 가장 독특합니다. AI는 이 플래시카드를 딱 한 번만 읽는 것이 아닙니다. 루프(반복)를 돌며 수행합니다:

1라운드: 전체 도서관을 읽고, 첫 번째 세트의 플래시카드를 뽑아 질문 옆에 둡니다.
2라운드: 도서관을 다시 읽습니다. 하지만 이번에는 방금 만든 플래시카드도 함께 봅니다. 이제 증거를 보고 있기 때문에, AI의 "내부 나침반"은 처음에 놓쳤던 새로운 관련 문장들을 가리킬 수 있습니다. AI는 이 새로운 문장들을 플래시카드 더미에 추가합니다.
3라운드: 이 과정을 반복하며 점점 더 강력한 증거 더미를 구축합니다.

마지막으로, AI는 전체 도서관(맥락을 잃지 않기 위해)과 플래시카드 더미(중요한 내용을 눈앞에 두기 위해)를 모두 사용하여 답을 생성합니다.

왜 다른 방식과 다른가?

다른 방법들은 이 문제를 두 가지 방식으로 해결하려 하지만, 각각 결함이 있습니다:

압축(Compression): 도서관을 요약본으로 줄이려고 합니다. 문제점: 정답에 필요한 정확한 문장을 버릴 수도 있습니다.
외부 메모리(External Memory): 검색을 위한 별도의 데이터베이스를 구축합니다. 문제점: 추가적인 학습과 복잡한 시스템이 필요합니다.

ReContext는 다릅니다:

전체 원본 도서관을 열어둡니다 (데이터 손실 없음).
AI 자신의 뇌 신호를 사용합니다 (외부 학습 불필요).
임시 작업 공간(플래시카드)을 만듭니다 (이야기의 나머지 부분을 삭제하지 않고 진실을 강조함).

"연상 기억" 이론

이 논문은 **연상 기억(Associative Memory)**이라는 개념을 사용하여 왜 이 방식이 작동하는지에 대한 멋진 이론을 제공합니다.

도서관은 "기억 저장소"입니다.
질문은 "단서"(기억을 떠올리게 하는 냄새와 같은 것)입니다.
플래시카드는 "재활성화된 흔적"입니다.

답을 하기 직전에 AI에게 플래시카드(증거)를 보여줌으로써, 이 방법은 퍼즐을 풀기 위해 필요한 특정 기억의 흔적을 "재활성화"하여 훨씬 더 정확한 답을 내놓게 만듭니다.

결과

연구팀은 방대한 양의 텍스트(최대 128,000 단어)를 다루는 8가지의 어려운 작업에서 이를 테스트했습니다. 그들은 세 가지 인기 있는 AI 모델(Qwen 및 Llama)을 사용했습니다.

결과: ReContext는 일관되게 AI를 더 똑똑하게 만들었습니다. 평균 정확도를 유의미하게 향상시켰으며(주요 테스트에서 24%에서 30%로 상승), 이는 AI 분야에서 매우 큰 도약입니다.
효율성: 이 과정은 약간의 시간(학생이 플래시카드를 만드는 데 몇 분을 쓰는 것과 같음)을 추가하지만, AI의 뇌를 다시 쓰려는 다른 복잡한 방법들보다 훨씬 빠릅니다.

요약하자면

ReContext는 AI 모델이 긴 문서 속에서 길을 잃지 않도록 도와주는, 별도의 학습이 필요 없는 기술입니다. 이 방식은 AI가 텍스트에서 가장 중요한 부분을 "하이라이트"하고, 그 하이라이트를 요약 노트(치트 시트)로 만든 뒤, 최종 답을 내기 전에 그 노트를 몇 번 검토하게 하는 방식입니다. 이는 마치 학생에게 돋보기와 인덱스 카드 뭉치를 주어, 건초더미를 통째로 버리지 않고도 그 안에서 바늘을 찾을 수 있게 해주는 것과 같습니다.

기술 요약: ReContext – 장기 문맥 추론을 위한 LLM 하네스로서의 재귀적 증거 재생 (Recursive Evidence Replay as LLM Harness for Long-Context Reasoning)

1. 문제 정의

대규모 언어 모델(LLM)의 컨텍스트 창 크기가 증가하고 있음에도 불구하고, 단순한 접근성을 넘어선 장기 문맥 활용(long-context utilization) 측면에서 결정적인 병목 현상이 남아 있습니다. 최근 연구들에 따르면, 모델이 128K 이상의 토큰을 수용할 수 있음에도 불구하고 입력 내에 존재하는 관련 증거를 일관되게 찾아내고 활용하는 데 자주 실패하며, 이는 오류와 환각(hallucination)으로 이어집니다. 이러한 "문맥 활용(context harnessing)" 격차는 병목 현상이 단순히 문맥을 읽는 것에 있는 것이 아니라, 추론 과정 중에 가장 관련 있는 정보를 동적으로 관리, 조직 및 업데이트하는 데 있음을 시사합니다.

기존의 접근 방식들은 다음과 같은 방법들을 통해 이를 해결하려고 시도합니다:

어텐션 개입 (Attention Intervention): 모델의 저수준 동작(예: 어텐션 로짓)을 수정하는 방식으로, 이는 침습적이며 백본(backbone) 로직을 변경해야 합니다.
검색 및 외부 메모리 (Retrieval and External Memory): 외부 검색 시스템을 추가하는 방식이지만, 미세한 세부 정보를 놓칠 위험이 있습니다.
압축 (Compression): 프루닝(pruning)이나 요약을 통해 입력을 단축하지만, 이는 필요한 정보를 폐기할 위험이 있습니다.

이러한 방법들은 외부 구성 요소에 의존하거나, 모델의 디코딩 로직을 변경하거나, 원래 문맥의 무결성을 희생합니다. 따라서 학습이나 외부 메모리 없이도 원본 입력에 대한 완전한 접근을 유지하면서, 생성을 가이드하기 위해 관련 증거를 동적으로 표면화할 수 있는 메커니로니즘이 필요합니다.

2. 방법론: RECONTEXT

저자들은 장기 문맥 추론을 개선하기 위해 설계된 학습이 필요 없는 추론 방법인 RECONTEXT(Recursive Evidence Replay as LLM Harness for Long-Context Reasoning)를 제안합니다. 핵심 철학은 **증거 조직(evidence organization)**과 **정답 생성(answer generation)**을 분리하는 것입니다.

핵심 워크플로우

증거 선별 (내부 신호 추출):
- 긴 문맥 $C$ 와 질문 $q$ 가 주어지면, 모델은 초기 읽기 패스(read pass)를 수행합니다.
- 모델은 모델 내부의 관련성 신호(구체적으로, 질문 조건부 접미사(question-conditioned suffix) 토큰에서 문맥 토큰으로 향하는 어텐션 가중치)를 활용하여 문맥 토큰의 관련성을 점수화합니다.
- 스코어링 함수는 선택된 레이어와 헤드 전반에 걸쳐 소수의 큐 토큰(질문 접미사)으로부터의 어텐션을 집계하여 각 토큰에 대한 관련성 점수 $r_i$ 를 계산합니다.
증거 구체화 (Evidence Materialization):
- 높은 점수를 받은 토큰들을 원래 텍스트의 포함 문장 또는 로컬 스팬(span)으로 매핑합니다.
- 이 스팬들을 추출하여 근거가 되는 증거 풀(evidence pool) $E$ 를 형성합니다. 결정적으로, 이 풀은 모델이 생성한 것이 아니라 원본 텍스트로부터 구성되므로 사실적 근거(factual grounding)를 보장합니다.
재귀적 재생 (Recursive Replay):
- 이 방법은 $R$ 라운드에 걸쳐 재귀적 선택 프로세스를 채택합니다.
- 각 라운드 $j$ 에서 프롬프트는 전체 원본 문맥 $C$ , 이전 라운드에서 축적된 증거 풀 $E^{(j-1)}$ , 그리고 질문 $q$ 로 구성됩니다.
- 모델은 이 증강된 프롬프트를 읽습니다. 증거 풀의 존재는 은닉 상태(hidden states)를 조건화하여, 모델이 업데이트된 상태를 기반으로 새로운 관련성 점수를 계산할 수 있게 합니다.
- 새로운 관련 스팬은 (재생된 텍스트가 아닌) 원본 문맥에서 선택되며, 이미 존재하지 않는 경우 증거 풀에 추가됩니다.
- 이 과정은 고정된 라운드 수만큼 반복되어, 정돈된 증거 스캐폴드(scaffold)를 구축합니다.
최종 생성:
- 최종 답변은 전체 원본 문맥, 최종적으로 정리된 증거 풀, 그리고 질문을 포함하는 프롬프트로부터 생성됩니다.
- 전체 문맥은 계속 접근 가능한 상태로 유지됩니다. 증거 풀은 배제 필터가 아니라 강조 메커니즘 역할을 합니다.

이론적 프레임워크

본 논문은 RECONTEXT를 **연상 기억(associative memory)**의 관점에서 프레임화합니다:

문맥 (Context): 메모리 저장소.
질문 (Question): 인출 큐(retrieval cue).
어텐션 (Attention): 큐-흔적 연합(cue-trace association)의 대리 지표.
재생 (Replay): 생성 시점 근처에서의 선택된 흔적의 재활성화.

저자들은 **단조 개선(monotonic improvement)**을 입증하는 이론적 증명(Theorem 1)을 제공합니다. 저자들은 특정 가정(직교 임베딩, 관련 쿼리) 하에서, 가장 관련 있는 증거를 프롬프트에 재귀적으로 추가하는 것이 각 단계에서 모델의 은닉 표현과 정답 임베딩 사이의 코사인 유사도를 엄격하게 증가시킨다는 것을 보여줍니다.

3. 주요 기여

RECONTEXT 방법: 원본 문맥을 온전히 보존하면서 모델 내부의 관련성 신호를 명시적인 재귀적 증거 풀로 변환하는 학습이 필요 없는 추론 방법입니다. 이는 백본 파라미터를 수정하거나 입력을 프루닝하지 않습니다.
이론적 분석: 증거 선택을 큐-흔적 연합으로, 재생을 흔적 재활성화로 정형화한 연상 기억 해석과 함께, 은닉 표현 정렬의 단조 개선에 대한 증명을 제공합니다.
포괄적 평가: 세 가지 백본 모델(Qwen3-4B, Qwen3-8B, Llama3-8B)에 대해 8개의 장기 문맥 데이터셋(128K 문맥 길이)을 대상으로 광범적인 실험을 수행했습니다.

4. 실험 결과

성능: RECONTEXT는 세 가지 백본 모두에서 강력한 베이스라인(Vanilla, AttnSharp, DySCO, A-MEM, DAC)을 일관되게 능가합니다.
- 모든 세 모델에서 최고 평균 순위를 달이트합니다.
- Vanilla 베이스라인 대비 평균 정확도를 0.24에서 0.30으로, 즉 24.6%의 상대적 이득을 달성했습니다.
- Qwen3-4B의 경우, 보고된 모든 지표(예: NQ 정확도를 0.02에서 0.08로 개선)에서 최고 점수를 기록했습니다.
강건성 (Robustness):
- 짧은 문맥: 64K 문맥 예산에서도 RECONTEXT는 모든 지표에서 상위 2위 안에 머물렀으며, 이는 이득이 특정 문맥 길이에 국한되지 않음을 보여줍니다.
- 사고 모드 (Thinking Mode): "사고(chain-of-thought)"가 활성화되었을 때도 RECONTEXT는 가장 강력하거나 그에 근접한 성능을 유지하며, 이는 명시적인 중간 추론을 수행할 때도 유용성이 지속됨을 나타냅니다.
효율성:
- RECONTEXT는 읽기 및 재생 단계로 인해 Vanilla보다 느리지만, 디코딩 로직을 변경하는 방법(예: DySCO)보다는 현저히 빠릅니다.
- 메모리 오버헤드는 최소 수준(128개 미만의 증거 토큰 추가)이며, GPU 메모리 소비량은 Vanilla와 유사하게 유지됩니다.
절제 연구 (Ablation Studies):
- 재귀 깊이 ( $R$ ): 1라운드에서 2라운드로 이동하면 성능이 크게 향상됩니다. 최적의 깊이는 작업마다 다릅니다 (예: NQ는 $R=4$ , PopQA는 $R=2$ ).
- 토큰 예산 ( $K$ ): 후보 세트가 클 때( $K=32$ ) PopQA와 InfMC에서 이득을 보았으나, NQ에서는 더 작은 세트( $K=8$ )가 최적이었으며, 이는 재현율(recall)과 노이즈 사이의 트레이드오프를 시사합니다.
- 소스 선택: 증거 토큰을 전체 재생 프롬프트에서 선택하는 것보다 원본 문맥에서 엄격하게 선택하는 것이 더 우수한 성능을 보였으며, 이는 스캐폴드를 토큰의 새로운 소스가 아닌 조건화 메커니즘으로 유지하려는 설계 의도를 검증합니다.

5. 의의 및 주장

본 논문은 장기 문맥 추론이 단순히 문맥 창을 확장하거나 입력을 압축하는 것뿐만 아니라, 프롬프트에 이미 존재하는 증거를 더 잘 조직함으로써 개선될 수 있음을 RECONTEXT를 통해 입증한다고 주장합니다.

관심사의 분리: 증거 조직과 정답 생성을 분리함으로써, RECONTEXT는 모델이 전체 문맥이라는 안전망을 유지하면서도 압축된 지지 문장들에 근거하여 답변을 생성할 수 있도록 합니다.
학습이 필요 없는 효율성: 복잡한 검색 시스템이나 침습적인 어텐션 수정 없이도, 모델 자체의 내부 신호를 활용하는 실용적이고 학습이 필요 없는 대안을 제공합니다.
일반화 가능성: 이 방법은 다양한 모델 제품군과 규모에서 일관된 이득을 보여주며, 이는 "문맥 활용" 문제가 현재의 LLM 아키텍처의 일반적인 한계이며 추론 시점의 스캐폴딩을 통해 완화될 수 있음을 시사합니다.

저자들은 내부 어텐션 신호에 대한 접근이 필요하다는 점(폐쇄형 API 사용 시 제한됨)과 직접 디코딩에 비해 추론 지연 시간이 발생한다는 점을 언급하며 한계를 인정하지만, 여-전히 학습이 필요 없고 메모리 효율적임을 강조합니다.