기술 요약: 재귀적 언어 모델 (RLMs)

문제 제기

최첨단 대규모 언어 모델 (LLM) 은 임의의 길이를 가진 프롬프트를 처리하는 데 있어 중대한 한계에 직면해 있습니다. 컨텍스트 창 제한 내에서도 이러한 모델들은 "컨텍스트 부패 (context rot)"를 보이는데, 이는 프롬프트 길이와 작업 복잡도가 증가함에 따라 성능이 급격히 저하되는 현상입니다. 긴 컨텍스트 처리를 위한 기존 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 아키텍처/훈련 수정: 선형 어텐션 (linear attention) 이나 상태 공간 (state spaces) 등을 통해 더 긴 시퀀스를 처리하도록 모델을 재훈련하는 방법.
2. 추론 시간 발판 (Inference-Time Scaffolds): 컨텍스트 압축 (요약) 이나 검색 에이전트와 같은 방법. 그러나 압축은 초기 세부 사항을 안전하게 잊을 수 있다고 가정하기 때문에 프롬프트 전체에 대한 밀집된 접근이 필요한 작업에는 종종 불충분합니다. 검색 및 하위 에이전트 위임 접근 방식은 종종 기반 모델의 제한된 출력 길이 또는 재귀에 대한 프로그래밍적 제어 부재로 인해 제약을 받습니다.

저자들은 프롬프트 길이를 수배로 확장하기 위해서는 프롬프트를 신경망의 정적 입력이 아닌, 모델이 기호적으로 상호작용할 수 있는 외부 환경의 동적 부분으로 취급하는 패러다임의 전환이 필요하다고 주장합니다.

방법론: 재귀적 언어 모델 (RLMs)

이 논문은 **재귀적 언어 모델 (RLMs)**을 소개합니다. 이는 사용자 프롬프트를 모델의 컨텍스트 창에 직접 입력하는 대신, 지속 가능한 외부 환경 (구체적으로 Python REPL) 으로 이전시키는 일반적인 추론 패러다임입니다.

핵심 메커니즘

1. 환경 초기화: 프롬프트 $P$가 주어지면, RLM 은 $P$를 문자열 변수로 저장하는 읽기 - 평가 - 출력 루프 (REPL) 환경을 초기화합니다.
2. 기호적 상호작용: 기반 LLM($M$) 은 이 REPL 내에서 코드를 작성하도록 프롬프트됩니다. 이 모델은 $P$에 대한 메타데이터 (예: 길이) 를 제공받지만, 컨텍스트 창에는 전체 텍스트를 받지 않습니다.
3. 프로그래밍적 분해: LLM 은 $P$를 검사, 분해, 변환하는 코드를 작성합니다. 핵심적으로, 이 모델은 프롬프트 변수의 특정 슬라이스나 청크에 대해 하위 LLM(또는 하위 RLM) 을 프로그래밍적으로 호출할 수 있습니다.
4. 재귀적 실행: 시스템은 생성된 코드를 실행합니다. 중간 결과는 REPL 변수에 저장됩니다. LLM 은 이러한 실행의 출력 (컨텍스트에 맞게 잘린 상태) 을 반복적으로 관찰하고 최종 답변이 생성될 때까지 추가 코드를 생성합니다.
5. 종료: 프로세스는 LLM 이 REPL 에서 Final 변수를 설정할 때 중단되며, 이는 응답으로 반환됩니다.

주요 설계 선택

저자들은 RLM 을 논문 내 알고리즘 2 의 "비효율적인" 발판과 구별하기 위해 세 가지 중요한 설계 선택을 강조합니다:

• 기호적 핸들 (Symbolic Handles): 프롬프트는 컨텍스트 창 내의 텍스트가 아닌 환경 내의 변수이므로, 복사 없이 조작이 가능합니다.
• 간접 출력: 모델은 컨텍스트 창 크기에 제한되는 "완료 (Finish)" 행동을 통해 최종 답변을 직접 생성하지 않고, REPL 내의 변수를 통해 구성합니다.
• 기호적 재귀: 환경 내에서 실행되는 코드는 루프 내에서 $P$의 변환에 대해 LLM 을 프로그래밍적으로 호출할 수 있어, 몇 가지 하위 작업을 구두로 표현하는 것을 넘어 $\Omega(|P|)$ 또는 심지어 $\Omega(|P|^2)$의 의미론적 작업을 가능하게 합니다.

실험 설정

저자들은 GPT-5 와 같은 최첨단 폐쇄형 모델과 Qwen3-Coder-480B-A35B 와 같은 오픈 모델을 사용하여 복잡성 규모가 다양한 네 가지 작업에 대해 RLM 을 평가했습니다:

• S-NIAH (Single Needle-in-a-Haystack): 입력 길이에 대한 일정한 복잡도.
• BrowseComp-Plus: 1,000 개 문서에 대한 멀티 홉 QA (선형 복잡도).
• OOLONG: 데이터셋의 의미론적 라벨링 및 집계 (선형 복잡도).
• OOLONG-Pairs: 답변을 구성하기 위해 청크 쌍을 집계 (이차 복잡도).
• LongBench-v2 CodeQA: 코드 저장소 이해.

기저선 (Baselines) 으로는 직접 LLM 호출, CodeAct 에이전트 (하위 호출 유무), 컨텍스트 압축 에이전트, 검색 에이전트, 코딩 에이전트 (OpenCode, Claude Code) 가 포함되었습니다.

주요 결과

• 확장성: RLM 은 기반 모델의 컨텍스트 창 (예: GPT-5 의 272k 제한) 을 훨씬 초과하는 1,000 만 토큰을 초과하는 입력을 성공적으로 처리했습니다.
• 성능 향상:
  • OOLONG-Pairs(이차 복잡도) 에서 기반 모델은 거의 0% 에 가까운 성능 ($\le 0.1\%$ F1) 을 보인 반면, RLM 은 GPT-5 기준 58.0%, Qwen3-Coder 기준 23.1% 를 달성했습니다.
  • 벤치마크 전반에 걸쳐 RLM 은 기반 모델 및 일반적인 발판보다 상당한 마진으로 우위를 점했습니다 (예: 압축 대비 중앙값 +26%, GPT-5 기준 하위 호출이 있는 CodeAct 대비 +130%).
  • RLM 은 "컨텍스트 부패"에 대한 견고성을 보여주어 입력 길이가 증가함에 따라 성능을 유지한 반면, 기반 모델의 성능은 급격히 저하되었습니다.
• 비용 효율성: 여러 하위 호출의 오버헤드에도 불구하고 RLM 의 추론 비용은 기반 모델 호출 및 기타 발판과 비슷하거나 더 저렴했습니다.
• 파인튜닝: 1,000 개의 궤적을 대규모 모델에서 증류하여 RLM-Qwen3-8B를 소규모 실험으로 파인튜닝했습니다. 이 모델은 기반 Qwen3-8B 보다 중앙값 28% 더 높은 성능을 보였으며, 세 가지 긴 컨텍스트 작업에서 바닐라 GPT-5 의 품질에 근접했습니다. 이는 RLM 행동이 최소한의 데이터로도 학습될 수 있음을 보여줍니다.
• 추론 능력: LongCoT-mini 벤치마크에서 분해 힌트가 포함된 RLM 은 기반 모델 대비 해결률을 69.5% 향상시켜 복잡한 추론 그래프를 효과적으로 조율했습니다.

중요성 및 주장

이 논문은 RLM 이 모델 파라미터나 컨텍스트 창 크기를 증가시키는 것과 구별되는 언어 모델을 위한 새로운 확장 축을 대표한다고 주장합니다. 프롬프트를 외부 객체로 취급하고 기호적 재귀를 가능하게 함으로써 RLM 은 표준 Transformer 와 기존 에이전트 발판의 표현력 한계를 극복합니다.

주요 주장은 다음과 같습니다:

1. 작업 무관한 확장성: RLM 은 작업별 엔지니어링 없이 임의의 긴 입력을 처리할 수 있는 일반적인 프레임워크를 제공합니다.
2. 효율성: 이 패러다임은 표준 추론과 비교 가능한 비용으로 긴 컨텍스트를 밀집하게 처리할 수 있게 합니다.
3. 학습 가능성: 저자들은 모델이 명시적으로 RLM 으로 행동하도록 훈련될 수 있다는 초기 증거를 제시하며, "RLM 으로서의 추론"이 일반 성능과 효율성을 향상시킬 수 있는 학습 가능한 능력일 수 있음을 시사합니다.
4. 한계: 저자들은 구현의 순차적 특성으로 인한 높은 지연 시간, 훈련되지 않은 모델에서 최종 답변과 생각을 구분하는 것의 취약성, 관리되지 않을 경우 "폭발"할 수 있는 하위 호출 비용 등 현재의 한계를 인정합니다. 또한 비동기 실행과 샌드박스화된 REPL 이 최적화를 위한 향후 방향이라고 언급합니다.

이 연구는 RLM 이 수천만에서 수억 토큰에 이르는 장기 작업 (long-horizon tasks) 을 처리할 수 있는 범용 언어 모델을 향한 유망한 길을 제시한다고 결론지었습니다.