🤖 AI

Shattering the Autoregressive Curse: Dynamic Epistemic Entropy Orchestrated Erasable Reinforcement Learning for LLMs

본 논문은 동적 인식 엔트로피(dynamic epistemic entropy)를 활용하여 논리적 결함의 정밀한 절제와 KV 캐시의 재사용을 통해 자기 치유 능력을 가능하게 함으로써, 장기적 추론 과정에서의 자기회귀적 저주(autoregressive curse)를 극복하고 선형적 메모리 오버헤드로 수학적 벤치마크에서 최첨단 성능을 달 achieving하는 새로운 강화 학습 프레임워크인 $\text{E}^3\text{RL}$ 을 소개한다.

원저자: Ziliang Wang, Kang An, Faqiang Qian, Jialu Cai, Cijun Ouyang, Yuhang Wang, Qibing Ren, Yichao Wu

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziliang Wang, Kang An, Faqiang Qian, Jialu Cai, Cijun Ouyang, Yuhang Wang, Qibing Ren, Yichao Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 길고 복잡한 수학 문제를 풀기 위해 한 번에 한 단어씩 자신의 생각을 적어 내려가고 있다고 상상해 보십시오. 이것이 현재의 대규모 언어 모델(LLM)이 작동하는 방식입니다. 즉, 이들은 오직 이전에 나온 단어들에만 기반하여 다음 단어를 예측하는 "자기 회귀적(autoregressive)" 방식으로 작동합니다.

이 논문은 이 방식에 치명적인 결함이 있다고 주장하며, 저자들은 이를 **"자기 회귀의 저주(Autoregressive Curse)"**라고 부릅니다.

문제점: "일방통행"의 함정

당신이 일방통행 도로를 운전하고 있다고 상상해 보십시오. 만약 초기에 작은 실수라도 한다면—예를 들어, 첫 번째 교차로에서 길을 잘못 든다면—당신은 뒤로 돌아갈 수 없습니다. 당신은 계속 앞으로 나아가야만 합니다. 시작점이 잘못되었기 때문에, 그 시점부터 당신이 내리는 모든 회전 역시 잘못될 것입니다. 결국, 당신은 막다른 길에서 길을 잃게 됩니다.

AI의 세계에서도, 만약 모델이 수학 증명의 첫 몇 문장에서 작은 논리적 오류를 범한다면, 그 오류는 증폭됩니다. 모델은 그 실수를 바탕으로 계속해서 내용을 쌓아 올리며, 결국 전체 답안이 무너지고 맙니다. 전통적인 AI 방식은 보통 답이 맞는지 확인하기 위해 맨 마지막까지 기다립니다. 만약 틀렸다면, 그들은 전체 긴 답안을 통째로 버리고 처음부터 다시 시작합니다. 이는 주방에서 실수 하나를 했다고 집 전체를 태워버리는 것과 같이 매우 낭비적인 일입니다.

해결책: E3RL ("자가 치유" 편집기)

저자들은 E3RL(Dynamic Epistemic Entropy Orchestrated Erasable Reinforcement Learning)이라는 새로운 방법을 제안합니다.

E3RL을 일방통행 도로가 아니라, "백스페이스(Backspace)" 키와 "자기 점검" 미터를 가진 작가라고 생각하십시오.

작동 방식은 다음과 같습니다:

1. 여정을 "장(Chapter)" 단위로 나누기
전체 이야기를 한 번에 써 내려가는 대신, E3RL은 추론 과정을 작은 덩어리나 "세그먼트"(책의 장과 같은 단위)로 나눕니다. 각 장을 다 쓴 후, 모델은 잠시 멈춥니다.

2. "신뢰도 미터" (인식적 엔트로피)
매 장이 끝날 때마다, 모델은 자신의 "신뢰도 미터"를 확인합니다. 기술적으로 이것은 **인식적 엔트로피(Epistemic Entropy)**라고 불립니다.

낮은 엔트로피: 모델이 차분하고 자신감이 있습니다. 자신이 무엇을 말하고 있는지 정확히 알고 있습니다.
높은 엔트로피: 모델이 혼란스럽거나, 불안하거나, 불확실성으로 인해 "들떠 있는" 상태입니다. 이는 마치 작가가 "잠깐, 이 단락은 말이 안 되는데, 왜 그런지도 모르겠어"라고 깨닫는 것과 같습니다.

3. "지우고 다시 쓰기" 버튼
만약 신뢰도 미터가 급증하면(높은 엔트로피), 모델은 끝까지 기다리지 않고 즉시 "지우기(Erase)" 버튼을 누릅니다.

모델은 문제가 된 특정 장만 삭제합니다.
이전의 올바른 장들은 그대로 유지합니다(좋은 부분의 메모를 보관하는 것과 같은 "Key-Value 캐시"를 저장합니다).
그리고 그 특정 장을 다시 쓰려고 시도하며, 이번에는 제대로 해내기를 바랍니다.

4. 실수로부터 배우기
모델은 강화 학습(Reinforcement Learning)을 통해 학습합니다: "내가 혼란을 느낄 때는 멈춰서 다시 써야 한다. 내가 자신감이 있을 때는 계속 진행해야 한다." 시간이 흐르면서 모델은 전체 답안을 망치기 전에 자신의 오류를 포착하는 데 매우 능숙해집니다.

이것이 왜 중요한가

이 논문은 이 방법이 다음과 같은 몇 가지 이유로 게임 체인저가 될 것이라고 주장합니다:

외부 교사가 필요 없음: 대부분의 AI 시스템은 모든 단계의 작업을 채점하기 위해 인간이나 별도의 컴퓨터 프로그램이 필요합니다. 하지만 E3RL은 자신의 내부 혼란 미터를 사용하여 언제 멈출지를 스스로 결정합니다. 이는 스스로 가르치는 방식입니다.
시간과 비용 절약: 1,000단어짜리 답변 중 첫 번째 단락에서 실수 하나를 했다고 해서 전체를 버리는 대신, E3RL은 잘못된 단락만을 다시 씁니다. 이는 훈련 과정을 훨씬 빠르고 저렴하게 만듭니다.
수학에 더 강함: 저자들은 이 방법을 어려운 수학 경시 대회(AIME 및 AMC 등)에서 테스트했습니다. 그들은 이 방법이 작은 규모의 AI 모델(40억 및 80억 파라미터)이 기존의 최고 기록을 보유했던 훨씬 더 큰 모델들을 능가할 수 있게 해준다는 것을 발견했습니다.

핵심 요약

이 논문은 AI에게 실시간으로 멈추고, 자신의 신뢰도를 확인하며, 자신의 실수를 삭제할 수 있는 능력을 부여함으로써, "일방향적 사고"의 저주를 깰 수 있다고 제안합니다. 이는 더 견고하고, 효율적이며, 복잡하고 긴 호흡의 문제를 길을 잃지 않고 해결할 수 있는 "자가 치유"형 추론 과정을 만들어냅니다.

기술 요약: 동적 인식론적 엔트로피에 의해 조율되는 삭제 가능 강화 학습 (E3RL)

1. 문제 정의: 자기회귀의 저주 (The Autoregressive Curse)

본 논문은 대규모 언어 모델(LLM)에서 나타나는, 특히 장기 추론(long-horizon reasoning) 과업에서 두드러지는 '자기회귀적 저주'라는 결정적인 구조적 결함을 식별한다. 표준적인 자기회귀 생성 방식에서는 모델이 단방향적이고 인과적인 흐름을 따르는데, 이 과정에서 초기 단계의 인식론적 섭동(epistemic perturbations, 즉 최적의 토큰으로부터 발생하는 작은 오류나 편차)이 돌이킬 수 없이 수용된다. 자기회귀 체인의 곱셈적 특성으로 인해, 이러한 국소적 로그 확률 격차는 로그 공간에서 가산적으로 누적되어 확률 공간에서 지수적인 왜곡을 유발한다.

결과적으로, 단 하나의 초기 실수는 마르코프 결정 과정(Markov decision process)을 따라 돌이킬 수 없이 전파되며, 추론 궤적 전체를 붕괴로 몰아넣는 연쇄적인 실패를 촉발한다. 기존의 해결책들은 다음과 같은 상당한 한계에 직면해 있다:

외부 프로세스 보상 모델 (PRMs): 단계별 스코어링을 위해 외부 시스템에 의존하는 방식은 높은 주석 비용을 발생시키며, 동적으로 진화하는 상태 공간에 직면했을 때 분포 변화(distribution shifts) 문제를 겪으며 종종 보상 해킹(reward hacking)으로 이어진다.
전역 재샘플링 (Global Resampling): 시퀀스 생성이 완료될 때까지 기다렸다가 전체 궤적을 거부하고 재샘플링하는 방식은 계산 비용이 매우 높다. 이 방식은 고립된 국소적 편차 때문에 올바른 접두사(prefix)까지 무차별적으로 폐기함으로써, 미세한 신용 할당(credit assignment)을 방해하고 기하급적인 메모리 오버헤드를 발생시킨다.

2. 방법론: E3RL

이러한 한계를 극 overcome하기 위해, 저자들은 **동적 인식론적 엔트로피에 의해 조율되는 삭제 가능 강화 학습 (E3RL)**을 제안한다. 이 프레임워크는 비마르코프적 삭제 연산자(non-Markovian erasure operator)를 도입하여 강화 학습의 그래디언트 흐름을 재구조화하며, 이를 통해 모델이 외부 신호 없이도 스스로를 교정할 수 있도록 한다.

핵심 구성 요소:

분절 생성 (Segmented Generation):
출력을 하나의 돌이킬 수 없는 체인으로 취급하는 대신, E3RL은 생성 과정을 $N$ 개의 중복되지 않는 길이 $L$ 의 세그먼트로 나눈다. 이는 모델이 후속 단계의 조건부 컨텍스트(conditioning context)가 되기 전에 각 세그먼트를 평가, 수용, 삭제 또는 재생성할 수 있는 명시적인 체크포인트를 생성한다.
인식론적 엔트로피 모니터링 (Epistemic Entropy Monitoring):
E3RL은 모델의 내재적인 국소 자기회귀 교차 엔트로피를 인식론적 불확실성의 종합적인 좌표로 활용한다. 모델은 다음 세 가지 신호를 기반으로 각 세그먼트에 대한 포괄적인 불확실성 지표( $U_n$ )를 계산한다:
- 기초 불확실성 ( $\tilde{H}_n$ ): 전체적인 세그먼트 불확실성을 측정하기 위해 토큰 수준의 인지 엔트로피를 매끄럽게 평균한 값.
- 그래디언트 이상 ( $\Delta H_n$ ): 급격한 변동이나 국소적 추론 결함을 감지하기 위한 세그먼트 내 엔트로피 변화율.
- 극값 편차 ( $H^{\max}_n$ ): 폭발적인 인지 위기를 식별하기 위한 세그먼트 내 최대 엔트로피.
적응형 임계값 및 삭제 (Adaptive Thresholding and Erasure):
시스템은 세그먼트 삭제 여부를 결정하기 위해 동적 임계값( $\Theta_{n, e_n}$ )을 사용한다. 이 임계값은 다음과 같다:
- 매크로 적응형 (Macro-adaptive): 문제의 모호성을 반영하기 위해 그룹 수준의 엔트로피 분산을 기반으로 조정됨.
- 마이크로 적응형 (Micro-adaptive): 무한 재샘플링 루프를 방지하기 위해 삭제 시도 횟수( $e_n$ )에 따라 지수적으로 증가함.
- 이력 의존형 (History-dependent): 이전 세그먼트들의 평균 불확실성에 의해 조절됨.
  만약 $U_n > \Theta_{n, e_n}$ 이라면, 해당 세그먼트는 삭제되며 모델은 동일한 접두사로부터 이를 재생성한다. 이때 효율성을 유지하기 위해 과거의 키-값(KV) 캐시 스트림을 재사용한다.
세그먼트 수준 이점 할당 (Segment-Level Advantage Assignment):
E3RL은 그룹 상대 정책 최적화(GRPO)를 세그먼트 수준으로 확장한다. 인과적 백트래킹(causal backtracking)을 사용하여 최종 시퀀스 수준의 보상을 특정 세그먼트에 귀속시킨다. 이점(advantage)은 유지된 세그먼트들의 정규화된 보상을 기반으로 계산되며, 이를 통해 그래디언트 신호가 효과적인 추론 궤적 부분에만 적용되도록 보장한다.

3. 주요 기여

자가 치유 메커니즘 (Self-Healing Mechanism): E3RL은 내재적 엔트로피를 사용하여 국소적인 논리적 결함을 감지하고 제거함으로써 외부 보상 모델에 대한 의존성을 없애고, 추론 과정에 자가 치유 능력을 부여한다.
효율적인 메모리 점유 (Efficient Memory Footprint): 분기 상태를 유지하는 트리 기반 탐색 방법과 달리, E3RL은 KV 캐시를 재사용하고 샘플당 하나의 활성 궤적만을 유지하여 선형 메모리 오버헤드($O(GMTd)$)를 보장한다.
세그먼트 수준 신용 할당 (Segment-Level Credit Assignment): 이 방법은 세그먼트 수준에서 이점을 할당하는 새로운 메커니즘을 도입하여, 전역 재샘플링의 "전부 아니면 전무(all-or-nothing)" 식의 실패를 방지하고 샘플 효율성을 개선한다.
비마르코프적 삭제 (Non-Markovian Erasure): 롤백 및 재시도(rollback-and-retry) 연산자를 도입함으로써, E3RL은 표준 자기회귀 생성의 엄격한 시간적 인과 관계를 깨뜨리고 국소적 오류 수정을 가능하게 한다.

4. 실험 결과

저자들은 Qwen3-4B 및 Qwen3-8B 아키텍처를 사용하여 DeepMath-103k 데이터셋에서 E3RL을 훈련시켰다. 성능은 AMC 2023, AIME 2024/2025/2026, MATH 500, Minerva, OlympiadBench의 7개 수학 추론 벤치마크에서 평가되었다.

성능 향상: E3RL은 강력한 베이스라인(Vanilla, GRPO, DAPO, GSPO, SAPO) 대비 상당한 개선을 달了했다.
- AIME 2024에서 4B 모델은 이전 SOTA 결과 대비 5.349%, 8B 모델은 6.514% 향상되었다.
- E3RL은 모든 벤치마크에서 Avg@32 및 Pass@32 지표에 대해 일관되게 베이스라인을 능가했다.
훈련 역학 (Training Dynamics): 모델은 더 높은 훈련 정확도를 보였으며, 더 적은 추론 세그먼트로 더 긴 응답을 생성했다. 이는 유용한 접두사의 효과적인 보존과 불안정한 파편의 제거를 나타낸다.
절제 연구 (Ablation Studies):
- 기초 불로사항(base uncertainty) 구성 요소를 제거했을 때 파괴적인 성능 저하가 발생하여, 삭제 메커니즘의 토대로서의 역할을 확인했다.
- 그래디언트 이상(gradient anomaly) 또는 **극값 편차(extremum deviation)**를 제거하면 성능이 감소하여, 국소적 폭발 및 진동을 감지하는 데 필수적임을 보여주었다.
- 그룹 역학(group dynamics) 또는 **빈도 페널티(frequency penalties)**를 제거하면 임계값 설정이 최적화되지 못하고 교착 상태에 빠질 수 있음을 보여, 시스템 설계의 타당성을 입증했다.
하이퍼파라미터 민감도: 연구 결과, Erase@5 예산(세그먼트당 최대 5회 재시도 허용)과 16 × 512 세그먼트 구성(512 토큰의 16개 세그먼트)이 교정 정밀도와 추론 연속성 사이의 균형을 맞추는 최적의 결과임을 확인했다.

5. 의의 및 주장

본 논문은 E3RL이 장기 시퀀스 추론에서 "자기회귀의 저주를 산산조각 낸다"고 주장한다. 국소적인 논리적 결함을 정밀하게 제거하면서 역사적 계산을 재사용할 수 있게 함으로써, E3RL은 장기 추론의 탐색 효율성을 재편한다.

저자들은 이 연구가 차세대 자가 치유 인공 일반 지능(AGI)을 위한 이론적 및 시스템적 토대를 구축한다고 단언한다. 이는 효과적인 장기 추론이 외부 감독이나 막대한 계산 오버헤드 없이도, 구조적으로 호환 가능한 정책 최적화와 신뢰할 수 있는 국소 불확실성 추정에 달려 있음을 입증한다. 이 방법은 내재적 오류 수정을 수행할 수 있는 견고한 자기회귀 시스템을 향한 실질적인 진보를 제공한다.