💬 NLP

InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning

InftyThink+는 전략적 요약과 모델 제어 반복 경계를 통해 반복적 추론을 최적화함으로써 기존의 긴 사고 사슬(long chain-of-thought) 방식에 비해 정확도, 효율성 및 일반화 능력을 크게 향상시키는 엔드 투 엔드 강화 학습 프레임워크입니다.

원저자: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuchen Yan, Liang Jiang, Jin Jiang, Shuaicheng Li, Zujie Wen, Zhiqiang Zhang, Jun Zhou, Jian Shao, Yueting Zhuang, Yongliang Shen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 엄청나게 거대하고 믿기지 않을 정도로 어려운 퍼즐을 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 아주 똑똑하지만 기억력이 매우 짧고, 한 번에 너무 많은 조각을 머릿속에 담으려 하면 지쳐버리는 유능한 조수(AI)가 있습니다.

여기 이 논문이 다루는 문제가 있습니다:

기존 방식 (Vanilla Reasoning): 당신은 조수에게 퍼즐 전체를 한 번에 해결하라고 요청합니다. 조수는 "1단계, 2단계, 3단계..." 하며 생각을 시작합니다. 하지만 기억력이 제한되어 있기 때문에, 100단계를 수행하는 동안 1단계에서 무엇을 했는지 결국 잊어버리게 됩니다. 또한, 조수가 생각을 오래 지속할수록 컴퓨터가 그 생각을 처리하는 데 더 느려지고 비용도 많이 듭니다. 조수는 작업을 마치기도 전에 메모리가 바닥나거나, 자신의 긴 생각 목록 때문에 혼란에 빠질 수 있습니다.
새로운 방식 (InftyThink+): 이 "장(chapter)" 방식은 퍼즐을 작은 장들로 나눕니다. 몇 단계가 지나면, 조수는 잠시 멈추고 지금까지 알아낸 내용을 **요약(summary)**하여 작성한 뒤, 지저분하고 상세한 메모들은 버립니다. 그런 다음, 오직 그 요약본과 원래의 퍼즐만을 가지고 다음 장을 시작합니다. 이는 조수의 기억을 신선하게 유지하고 컴퓨터를 빠르게 작동하게 합니다.

핵심 혁신: 조수에게 '언제 멈출지' 결정하는 법을 가르치기

이 논문은 **InftyThink+**라는 새로운 시스템을 소개합니다.

이 "장(chapter)" 방식을 사용했던 이전의 시도들은 마치 선생님이 조수에게 내용과 상관없이 무조건 500단어마다 글쓰기를 멈추라고 강요하는 것과 같았습니다. 때로는 조수가 멋진 아이디어를 떠올리는 도중에 흐름이 끊기기도 했고, 때로는 너무 일찍 멈추기도 했습니다. 또한 그들은 어떻게 좋은 요약을 작성해야 하는지도 몰랐습니다.

**InftyThink+는 강화 학습(RL)**을 사용하여, 마치 간식으로 강아지를 훈련시키듯 시행착오를 통해 조수에게 세 가지 핵심 기술을 가르칩니다.

언로 요약할 것인가 (When to Summarize): 지금 멈춰서 요약을 작성해야 할까, 아니면 계속 진행해야 할까? AI는 단순히 타이머가 울릴 때가 아니라, 가장 중요한 정보를 포착했을 때 정확히 멈추는 법을 배웁니다.
무엇을 보존할 것인가 (What to Preserve): 다음 단계에 필요한 세부 사항은 무엇인가? AI는 중요한 단서는 남기고 불필요한 내용은 버리며 요약을 작성하는 법을 배웁니다.
어떻게 계속할 것인가 (How to Continue): 요약본으로부터 이야기를 어떻게 이어갈 것인가? AI는 자신의 요약본을 읽고 논리적 흐름을 잃지 않고 매끄럽게 이야기를 이어가는 법을 배웁니다.

작동 원리 (훈련 과정)

논문은 두 단계의 훈련 레시피를 설명합니다.

"콜드 스타트" (형식 익히기): 먼저, AI에게 게임의 기본 규칙을 가르칩니다. AI에게 퍼즐을 작성하고, 멈추고, 요약을 쓰고, 다시 시작하는 예시들을 보여줍니다. 이것은 학생에게 걸작을 쓰라고 요구하기 전에 에세이의 형식을 먼저 가르치는 것과 같습니다.
"강화 학습" (전략 익히기): AI가 형식을 익히고 나면, 이제 본격적으로 풀어놓습니다.
- 만약 AI가 퍼즐을 올바르게 풀면, "간식"(보상)을 받습니다.
- 만약 AI가 빠르고 효율적으로 문제를 풀면, 추가적인 간식을 받습니다.
- 만약 AI가 형편없는 요약을 쓰거나 잘못된 시점에 멈춘다면, 간식을 받지 못합니다.
- 수천 번의 시도를 거치면서, AI는 완벽한 전략을 찾아냅니다: "나는 여기서 멈춰서, 이렇게 요약을 쓰고, 저렇게 계속해야 가장 많은 간식을 얻을 수 있어."

결과: 더 똑똑하게, 더 빠르게, 더 강력하게

이 논문은 이 방식을 어려운 수학 문제(AIME 경시 대회 수준)에 테스트했습니다. 결과는 다음과 같습니다:

더 똑똑해짐: AI는 문제 해결 능력이 눈에 띄게 향상되었습니다. 한 어려운 테스트에서 정확도가 기존 방식보다 21% 상승했습니다. 기존 방식으로는 끝내지 못했던 문제들도 해결해 냈습니다.
더 빨라짐: AI가 100페이지짜리 역사를 기억하려고 애쓸 필요가 없었기 때문에, 문제를 훨씬 더 빠르게 해결했습니다. 어떤 경우에는 표준 방식보다 30%에서 40% 더 빨랐습니다.
더 효율적임: 훈련 자체도 더 빨랐습니다. 컴퓨터가 AI를 가르치기 위해 수행해야 하는 과부하가 적었으며, 이는 연구자들이 더 적은 에너지와 시간으로 더 나은 모델을 훈련할 수 있음을 의미합니다.

결 요약

**InftyThink+**를 프로젝트 매니저가 되는 법을 배우는 AI라고 생각하십시오. 프로젝트의 전체 역사를 머릿속에 담아두려다 시스템이 다운되거나 무언가를 잊어버리는 대신, AI는 잠시 멈추고, 명확한 "상태 보고서"(요약)를 작성하고, 그 보고서를 바탕으로 앞으로 나아가는 법을 배웁니다. 보고서를 언제 작성할지, 그리고 그 안에 무엇을 담을지를 배움으로써, AI는 천재적인 문제 해결사이자 매우 효율적인 작업자가 됩니다.

기술 요약: InftyThink+

1. 문제 정의

대규모 추론 모델(LRMs)은 추론 시간의 사고 사슬(Chain-of-Thought, CoT)을 확장함으로써 탁월한 성능을 입증해 왔습니다. 그러나 이 패러다임은 추론 궤적이 매우 길어질 때 세 가지 근본적인 장벽에 직면합니다:

이차 비용(Quadratic Cost): 트랜스포머의 셀프 어텐션 메커니즘은 $O(L^2)$ 의 계산 복잡도를 유발하여, 매우 긴 추론 궤적을 수행하는 것을 매우 비싸게 만듭니다.
컨텍스트 제한(Context Limits): 추론은 모델의 최대 컨텍스트 창에 의해 하드 바운드됩니다. 만약 문제가 이 제한을 초과하는 사고 사슬을 필요로 한다면, 생성은 조기에 종료되어 복잡한 문제를 해결할 수 없는 상태가 됩니다.
중간 손실(Lost-in-the-Middle): 추론 궤적이 길어짐에 따라, 컨텍스트 제한을 초과하지 않더라도 중요한 초기 정보에 접근하기 어려워지는 성능 저하 현상이 발생합니다.

주기적인 요약을 사용하는 반복적 추론과 같은 기존 솔루션들은 이러한 문제들을 완화하려고 시도합니다. 그러나 현재의 방법들은 언제 요약할지, 무엇을 보존할지, 그리고 어떻게 추론을 재개할지를 결정하기 위해 지도 미세 조정(SFT)이나 고정된 휴리스틱에 의존합니다. 이러한 접근 방식은 장기적인 결과로 이어지는 순차적 의사결정을 최적화하지 못합니다. 잘못된 요약은 후속 추론을 망칠 수 있으며, 불필요한 반복은 컴퓨팅 자원을 낭비합니다. 본 논문은 이러한 트레이드오프를 해결하기 위해서는 SFT가 제공할 수 없는 궤적 수준의 최적화(trajectory-level optimization)가 필요하다고 주장합니다.

2. 방법론: InftyThink+

저자들은 전체 반복 추론 궤적을 최적화하는 엔드 투 엔드 강화 학습(RL) 프레임워크인 **InftyThink+**를 제안합니다. 이 방법은 명시적으로 모델이 생성한 요약으로 연결되는 여러 반복 라운드로 추론을 분해함으로써, 추론 깊이와 컨텍스트 길이를 분리하는 InftyThink 패러다임을 기반으로 합니다.

2.1. InftyThink 패러다임

모델이 단일 연속적인 긴 CoT를 생성하는 "바닐라(Vanilla)" 패러다임과 달리, InftyThink는 라운드 단위로 작동합니다:

반복 $i$ : 모델은 원래의 쿼리 $q$ 와 이전 반복의 요약 $s_{i-1}$ 을 조건으로 삼습니다.
생성: 모델은 추론 세그먼트 $r_i$ 와 업데이트된 요약 $s_i$ 를 생성합니다.
종료: 모델이 최종 결론 $c$ 를 생성하기로 자율적으로 결정할 때까지 이 과정이 반복됩니다.
제한된 컨텍스트: 각 반복은 제한된 컨텍스트 창(쿼리 + 최신 요약) 내에서 작동하여, 컨텍스트 오버플로를 방지하고 단계별 계산 비용을 줄입니다.

2.2. 2단계 학습 체계

InftyThink+는 포맷 습득과 전략 최적화를 분리하기 위해 2단계 학습 과정을 채택합니다:

콜드 스타트 (지도 미세 조정, SFT):
- 목표: 모델에게 기본적인 InftyThink 포맷(추론 세그 segments 및 요약 생성)을 가르칩니다.
- 데이터 변환: 기존의 바닐라 추론 데이터 $(q, r, c)$ 를 반복적인 인스턴스로 변환합니다. 추론 궤적 $r$ 은 토큰 제한 $\eta$ 에 따라 세그먼트 $\{r_1, \dots, r_n\}$ 로 분할됩니다. 범용 LLM은 현재 세그먼트와 이전 요약을 조건으로 하여 요약 $\{s_1, \dots, s_{n-1}\}$ 을 생성합니다.
- 학습: 모델은 이러한 변환된 인스턴스 상에서 구문적으로 유효한 반복 출력을 생성하도록 미세 조정됩니다. 이 단계는 언제 요약할지 또는 무엇을 보존할지를 최적화하는 것이 아니라, 오직 절차적 포맷을 확립하는 데 집중합니다.
강화 학습 (궤적 수준 최적화):
- 목표: 궤적 수준의 피드백을 통해 전략적 결정(압축 타이밍, 요약 내용, 지속 전략)을 최적화합니다.
- 롤아웃(Rollout): 쿼리 $q$ 에 대해, 모델은 여러 차례의 추론 라운드로 구성된 궤적 $O_i = \{o_1, \dots, o_{n_i}\}$ 를 생성합니다. 롤아웃은 모델이 결론을 출력하거나, 유효한 포맷을 생성하지 못하거나, 최대 반복 횟수 $\phi$ 에 도달하면 종료됩니다.
- 보상 설계:
  - 태스크 보상 ( $R_{task}$ ): 최종 정답의 정확도에 기반한 이진(binary) 보상입니다.
  - 효율성 보상 ( $R_{eff}$ ): 과도한 반복을 징벌하여 가능한 한 적은 단계로 문제를 해결하도록 유도하는 이차 감소 함수 $1 - (\frac{n_i-1}{\phi})^2$ 입니다.
  - 총 보상: $R(O_i) = R_{task}(O_i) \cdot R_{eff}(O_i)$ . 이 곱셈 형식은 효율성이 정답을 맞혔을 때만 보상받도록 보장합니다.
- 정책 최적화: 저자들은 **그룹 상대 정책 최적화(GRPO)**를 사용합니다. 결정적으로, 어드밴티지(advantages)는 궤적 수준에서 계산되어 궤적 내의 모든 토큰에 공유됩니다. 이를 통해 초기 반복(예: 고품질의 첫 번째 요약)이 최종 정답에 기여했다면, 요약 자체에 정답이 포함되어 있지 않더라도 양(+)의 그래디언트 신호를 받을 수 있습니다.
- 안정성: 프레임워크는 추론 엔진과 학습 엔진 간의 불일치로 인한 학습 불안정성을 완화하기 위해 토큰 수준의 그래디언트 마스킹 기술인 IcePop을 채택합니다.

3. 주요 기여

반복적 추론을 위한 엔드 투 엔드 RL: 본 논문은 반복적 추론 패러다임에 직접 강화 학습을 적용하여, 모델이 고정된 휴리스틱이나 모방에 의존하는 대신 요약 및 지속을 위한 최적의 전략을 학습할 수 있게 하는 최초의 프레임워크를 소개합니다.
InftyThink+ 프레임워크: 다음을 포함하는 완전한 학습 레시피를 제공합니다:
- 반복 포맷을 확립하기 위한 콜드 스타트 단계.
- 초기 결정에 크레딧을 부여하기 위한 공유 어드밴티지를 갖춘 궤적 수준 최적화.
- 정확도와 추론 비용 사이의 균형을 맞추기 위한 효율성 인식 보상 형성.
실증적 검증: 광범위한 실험을 통해 InftyThink+가 SFT 기반의 반복적 추론 및 표준 롱 컨텍스트 RL 베이스라인보다 우수함을 입증했습니다.

4. 실험 결과

실험은 DeepSeek-R1-Distill-Qwen-1.5B 및 Qwen3-4B-Base를 대상으로 수행되었습니다.

정확도 향상:
- AIME24에서 InftyThink+는 베이스라인 대비 정확도를 21% 향상시켰으며, 기존 롱-CoT RL보다 확실한 격차로 앞섰습니다 (표준 RL 대비 9% 추가 이득).
- GPQA Diamond와 같은 분포 외(OOD) 벤치마크에서 베이스라인 대비 5%의 정확도 향상 및 바닐라 방식 대비 4%의 이득을 달성했습니다.
효율성 이득:
- 추론 지연 시간: AIME25에서 InftyThink+는 바닐라 방식에 비해 추론 지연 시간을 32.8% 감소시켰습니다.
- 학습 속도: 프레임워크는 단계당 계산 오버헤드를 줄임으로써 RL 학습 시간에서 18.2%의 가속화를 실현했습니다.
일반화: 이 방법은 더 큰 모델(Qwen3-4B)과 코드 및 과학적 추론을 포함한 분포 외 작업에서도 잘 일반화되었습니다.

5. 의의 및 주장

본 논문은 궤적 수준의 최적화가 효과적인 반복적 추론을 위해 필수적임을 보여준다고 주장합니다. 핵심 통찰은 반복적 추론의 효과가 단순히 포맷 자체에서 오는 것이 아니라, 각 단계에서 (압축할 시점, 보존할 내용, 지속 방법 등) 최적의 전략적 결정을 내리는 모델의 능력에서 온다는 점입니다.

InftyThink+는 포맷 학습(SFT를 통해)과 전략 최적화(RL을 통해)를 분리함으로써, 다음과 같은 적응적 행동을 학습할 수 있는 모델을 가능하게 합니다:

추론 깊이와 컨텍스트 길이의 분리: 제한된 계산 비용을 유지하면서 무한한 추론을 가능하게 합니다.
정확도-효율성 트레이드오프 최적화: 효율성 인식 보상을 통해, 모델은 정확도를 희생하지 않으면서 추론을 더 일찍 종료하는 법을 배웁니다.
학습 안정성 및 속도 개선: 롤아웃 중 어텐션의 이차 복잡도를 줄임으로써 이를 달합니다.

저자들은 InftyThink+를 정적인 컨텍스트 창과 휴리스틱 기반 압축의 한계를 넘어, 대규모 언어 모델의 확장 가능하고 효율적이며 효과적인 롱 호라이즌(long-horizon) 추론을 향한 중요한 진전으로 자리매김하고 있습니다.