💬 NLP

Native Parallel Reasoner: Reasoning in Parallelism via Self-Distilled Reinforcement Learning

본 논문은 자기 증류 점진적 학습, 병렬 인식 정책 최적화, 그리고 재구성된 실행 엔진을 통해 대규모 언어 모델이 자가 진화를 통해 진정한 병렬 추론 능력을 획득하도록 하는 교사 없는 프레임워크인 네이티브 병렬 추론기 (NPR) 를 소개하며, 이를 통해 autoregressive 디코딩으로 되돌아가지 않고도 상당한 성능 향상과 최대 4.6 배의 추론 속도 향상을 달성합니다.

원저자: Tong Wu, Yang Liu, Jun Bai, Zixia Jia, Shuyi Zhang, Ziyong Lin, Yanting Wang, Song-Chun Zhu, Zilong Zheng

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tong Wu, Yang Liu, Jun Bai, Zixia Jia, Shuyi Zhang, Ziyong Lin, Yanting Wang, Song-Chun Zhu, Zilong Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 재능 있지만 매우 전통적인 학생이 있다고요. 이 학생은 문제 해결에 뛰어나지만, 책을 왼쪽에서 오른쪽으로 읽듯이 한 단계씩 해결합니다. 그들은 결코 앞을 내다보지 않으며, 결코 두 가지 다른 해결책을 동시에 시도하지 않습니다. 이것이 현재 대부분의 AI 모델이 작동하는 방식입니다: 그들은 직선적으로 생각합니다.

이 논문은 Native Parallel Reasoner(NPR, 네이티브 병렬 추론기) 라는 새로운 시스템을 소개합니다. NPR 을 책을 읽는 학생이 아니라, 단일 방에서 일하는 탐정 팀으로 생각하세요. 탐정 A 가 단서를 끝낼 때까지 탐정 B 가 기다리는 대신, 그들은 모두 미스터리의 서로 다른 부분을 동시에 해결한 후 사건을 해결하기 위해 함께 모입니다.

다음은 이 논문이 이 "팀"이 세 가지 주요 단계를 통해 어떻게 함께 일하도록 가르쳤는지 설명한 내용입니다:

1. 현재 AI 의 문제점

저자들은 현재 AI 가 병렬적으로 사고하려 할 때 세 가지 큰 두통이 있다고 말합니다:

잘못된 도구: AI 를 실행하는 데 사용되는 소프트웨어 엔진은 직선을 위해 설계되었습니다. 이를 분기하도록 강요하는 것은 기차 선로에서 자동차를 운전하려는 것과 같습니다; 이는 고장 나거나 멈춥니다.
낭비되는 노력: 병렬 사고에 대한 초기 시도는 어색했습니다. 다섯 명의 사람에게 수학 문제를 해결하라고 요청했지만, 그들이 필기용지를 공유하는 대신 각자가 문제를 처음부터 다시 써야 했던 것과 같습니다. 이는 그들을 더 느리게 만들었지, 더 빠르게 만들지 않았습니다.
"선생님"의 함정: 이전 방법들은 학생에게 병렬 사고를 보여주는 초지능 "선생님" AI 에 의존했습니다. 하지만 학생은 단순히 선생님의 직선적 사고를 모방하여 이를 병렬 형식에 억지로 끼워 넣었습니다. 걷기만 하는 사람에게 "더 빨리 걸으라"고 말하며 마라톤을 뛰게 하려는 것과 같았습니다. 그들은 새로운 이동 방식을 고안해 낼 수 없었습니다.

2. 해결책: 3 단계 훈련 캠프

NPR 시스템은 교사가 필요 없이 AI 가 진정한 병렬 사고자가 되도록 가르칩니다. 그들은 AI 가 스스로 가르치는 "자기 증류 (self-distilled)" 방식을 사용합니다.

1 단계: 규칙 학습 ("형식" 단계)
AI 를 혼란스러운 예술가로 상상해 보세요. 이 단계에서 연구자들은 보상 시스템을 제공합니다: "만약 당신이 그림을 특정하고 조직적인 격자에 그리면 금별을 받습니다. 무작위로 낙서하면 벌점을 받습니다." AI 는 아직 문제를 어떻게 해결할지 알지 못합니다; 그것은 단지 자신의 생각을 "Map-Process-Reduce"(계획 -> 실행 -> 요약) 형식이라는 구조화된 "지도"로 조직하는 법을 배울 뿐입니다. 그것은 병렬 사고의 형태를 배웁니다.
2 단계: 워밍업 ("연습" 단계)
이제 AI 가 규칙을 알았으니, 연습을 시작합니다. 연구자들은 AI 가 수천 개의 답변을 생성하게 하지만, 나쁜 것들 (틀리거나 규칙을 따르지 않는 것들) 은 버립니다. 완벽하고 구조화된 답변만 유지하여 AI 를 "파인튜닝 (fine-tune)"하는 데 사용합니다. 이는 코치가 팀에게 완벽한 포메이션을 암기할 수 있도록 연습 세션에서 최고의 플레이만 보여주는 것과 같습니다.
3 단계: 실제 경기 ("강화" 단계)
이것이 큰 도약입니다. AI 는 이제 어려운 문제를 해결해야 하는 실제 경기장에 투입됩니다. 그것은 다양한 병렬 전략을 시도합니다. 만약 빠르게 해결책을 찾으면 보상을 받습니다. 만약 막히면 다른 분기를 시도하도록 배웁니다. 결정적으로, 연구자들은 AI 가 "하나씩" 사고하는 방식으로 다시 미끄러지지 않도록 하고, 팀이 공간 부족에 시달리지 않도록 메모리를 관리하는 "NPR 엔진"(새로운 유형의 소프트웨어) 이라는 특별한 심판을 구축했습니다.

3. 결과: 더 빠르고 더 똑똑해짐

이 논문은 이 새로운 "탐정 팀"을 수학 경시대회와 논리 퍼즐과 같은 여덟 가지 유형의 어려운 추론 테스트에서 테스트했습니다.

진정한 병렬성: 때로는 병렬인 척하지만 실제로는 직선적으로 사고하는 다른 모델들 (가짜) 과 달리, NPR 은 100% 진정한 병렬 사고를 수행했습니다. 결코 속이지 않았습니다.
속도: 실제로 병렬로 사고했기 때문에 훨씬 더 빨랐습니다. 가장 어려운 문제에서 기존 직선 모델보다 4.6 배 더 빠릅니다. 이는 한 사람이 목적지까지 걸어가는 것과 여러 대의 자동차가 동시에 그곳으로 운전해 가는 것의 차이와 같습니다.
정확도: 인간 교사나 다른 병렬 방법으로 훈련된 모델들보다 더 많은 문제를 정확하게 해결했습니다.

핵심 교훈

이 논문은 AI 가 자신의 주의를 분할하고 여러 경로를 동시에 작업하는 방법을 스스로 가르치게 함으로써, 복잡한 퍼즐을 해결하는 데 더 똑똑할 뿐만 아니라 훨씬 더 빠른 AI 를 만들 수 있다고 주장합니다. 그들은 단순히 AI 가 병렬처럼 보이게 강요한 것이 아니라, 마침내 올바르게 운동된 근육처럼 네이티브 (본질적) 인 병렬 사고 능력을 진화시키도록 도왔습니다.

기술 요약: 네이티브 병렬 추론기 (NPR)

1. 문제 제기

대규모 언어 모델 (LLM) 의 진화는 의미적 유창성에서 심층적이고 다단계에 걸친 에이전트 추론으로 초점을 이동시켰습니다. '테스트 시간 확장 (test-time scaling)'은 모델을 더 긴 순차적 체인을 통해 복잡한 문제를 해결하게 하지만, 병렬로 다양한 추론 궤적을 탐색할 수 있는 능력은 여전히 중요한 격차로 남아 있습니다. 기존 접근 방식은 세 가지 주요 결함을 안고 있습니다:

알고리즘 및 아키텍처 비호환성: 표준 추론 엔진과 강화 학습 (RL) 알고리즘은 네이티브 분기에 적합하지 않습니다. 추론 엔진은 종종 병렬 집계 제어를 실패하게 하고, RL 알고리즘은 분기를 유발하는 특수 토큰에 대해 그래디언트를 클리핑하여 엄격한 구조적 제약의 학습을 방해합니다.
비효율적인 수동 병렬화: 초기의 병렬화 내재화 시도는 독립적 샘플링을 통한 수동으로 제작된 분할 정복 규칙에 의존합니다. 이러한 방법들은 공유된 키 - 값 (KV) 상태를 활용하지 못해 중복 재계산을 초래하고, 금지할 만한 선형 지연 비용을 유발합니다.
지도 증류에 대한 의존성: Multiverse와 같은 프레임워크는 병렬화를 구현하지만, 더 강력한 '교사' 모델에서 증류된 데이터에 크게 의존합니다. 이는 학생 모델이 병렬 형식 내에서 교사의 순차적 위상 구조를 모방하도록 강요하여, 새로운 모델 고유의 병렬 전략의 발견을 막는 '지능 천장 (Intelligence Ceiling)'을 부과합니다.

2. 방법론: 네이티브 병렬 추론기 (NPR)

NPR 은 LLM 이 진정한 병렬 추론 능력을 스스로 진화시킬 수 있도록 설계된 교사 없는 프레임워크입니다. 이는 외부 감독 없이 3 단계 점진적 훈련 패러다임과 특수화된 추론 엔진을 통해 모델을 순차적 모방에서 네이티브 병렬 인지 방식으로 전환시킵니다.

2.1. 3 단계 훈련 패러다임

이 프레임워크는 외부 감독 없이 형식 발견에서 엄격한 위상적 제약으로 이동합니다:

1 단계: 형식 준수 강화 학습 (NPR-ZERO)
- 목표: 외부 주석 없이 시드 지시 미세 조정 모델 (예: Qwen3-4B-Instruct) 에서 구조화된 병렬 형식을 유도합니다.
- 메커니즘: 형식 준수 (통과 시 0.0, 실패 시 -2.0) 와 정확도 (정답 시 +1.0, 오답 시 -1.0) 를 결합한 보상 함수를 사용하는 표준 DAPO(그룹 상대 정책 최적화) 를 활용합니다.
- 출력: 병렬 형식 출력을 생성하지만 여전히 순차적 가시성 (시뮬레이션된 병렬성) 에 의존하는 생성기 (NPR-ZERO).
2 단계: 거부 샘플링 및 병렬 워밍업 (NPR-BETA)
- 목표: 네이티브 병렬 아키텍처로의 격차를 해소하고 병렬 원시 연산을 안정화합니다.
- 메커니즘:
  - 거부 샘플링: 질문당 $K$ 개의 후보 궤적을 생성합니다. 결과 정확성(Ground Truth 일치) 과 구조적 병렬성(스키마 준수) 을 기준으로 필터링합니다.
  - 병렬 SFT: 증류된 데이터셋을 표준 부정 로그 가능도를 사용하여 모델을 훈련합니다.
  - 아키텍처: Multiverse에서 영감을 받은 병렬 어텐션 마스크와 위치 인코딩을 구현하여, 단일 순전파에서 여러 추론 경로가 공존하면서도 효율적인 KV 캐시 재사용을 가능하게 합니다. 구조적 태그를 위한 특수 토큰을 초기화하고 노출합니다.
3 단계: 네이티브 병렬 RL (NPR)
- 목표: 능력을 일반화하고 시행착오를 통해 적응적 분해 전략을 학습합니다.
- 메커니즘: **병렬 인식 정책 최적화 (PAPO)**를 구현합니다.
  - 병렬 롤아웃: 궤적이 'Map–Process–Reduce' 흐름을 따르도록 보장하기 위해 NPR 엔진을 사용합니다.
  - 구조적 필터링: 최적화 전에 malformed 시퀀스를 필터링하기 위해 어텐션 마스크와 위치 ID 인코딩을 사용하여 보상 신호를 정확도만으로 축소합니다.
  - 배치 수준 이점 정규화: 엄격한 필터링으로 인한 분산 붕괴를 처리하기 위해 그룹 수준 분산을 배치 수준 분산으로 대체합니다.
  - 그래디언트 보존: 구조에 중요한 특수 토큰에 대한 그래디언트 클리핑을 제거하고 안정성을 보장하기 위해 중요도 샘플링을 배제하여 엄격한 온-정책 (on-policy) 목적을 채택합니다.

2.2. NPR 엔진

대규모 병렬 RL 을 지원하기 위해 저자들은 안정성 문제를 해결하기 위해 (SGLang 기반) 롤아웃 인프라를 재설계했습니다:

메모리 안전성: 이중 해제 및 메모리 누수를 방지하기 위해 기회주의적 KV 캐시 재활용을 명시적이고 예산 인식적인 회수로 대체합니다.
토큰 예산 관리: 가장 긴 단일 지점뿐만 아니라 모든 지점에 걸친 글로벌 토큰 장부를 추적하도록 길이 계정을 지점 인식적으로 확장합니다.
상태 유효성 검사: 구조적 불변성을 강제하고 정의되지 않은 상태를 방지하기 위해 경량 사전 분기 유효성 검사기를 추가합니다.
반복 패널티: 제어 태그를 중립적으로 유지하면서 <step> 블록 내에서 지역적 반복을 방지하기 위해 선택적 반복 패널티 (1.02) 를 적용합니다.

2.3. 출력 스키마

모델은 단순화된 'Map–Process–Reduce' 스키마를 사용하여 추론을 생성합니다:

<guideline>: 독립적인 전략 (Map) 을 정의하는 <plan> 항목을 포함합니다.
<step>: 하위 작업을 독립적이고 병렬로 실행합니다 (Process).
<takeaway>: 발견 사항을 종합하고 다음 행동이나 최종 답을 결정합니다 (Reduce).

3. 주요 기여

자기 증류 점진적 훈련: 외부 교사 모델의 필요성을 제거하고 '콜드 스타트' 형식 발견에서 엄격한 위상적 제약으로 모델을 전환하는 교사 없는 파이프라인.
병렬 인식 정책 최적화 (PAPO): 실행 그래프 내에서 분기 정책을 직접 최적화하여 구조적 토큰에 대한 그래디언트를 보존하고 배치 수준 이점 정규화를 활용하는 새로운 알고리즘.
강건한 NPR 엔진: 메모리 누수, 토큰 예산 오산, 상태 정의 부재를 해결하여 안정적이고 대규모 병렬 RL 훈련을 가능하게 하는 리팩토링된 추론 백엔드.
100% 진정한 병렬성: 이전 베이스라인이 종종 자기회귀 (AR) 디코딩으로 후퇴하는 것과 달리, NPR 일관된 진정한 병렬 실행을 보여줍니다.

4. 실험 결과

이 프레임워크는 8 가지 추론 벤치마크 (AIME24/25, HMMT25, OlympiadBench, Minerva-Math, ZebraLogic, AMC23, MATH500) 에 걸쳐 Qwen3-4B(Instruct 및 Non-Thinking 변형 모두) 에서 평가되었습니다.

성능 향상: Qwen3-4B 로 훈련된 NPR 은 베이스라인 대비 최대 **24.5%**의 성능 향상을 달성했습니다.
- Multiverse-4B와 비교하여 NPR-BETA(병렬 SFT) 는 평균 점수를 +8.9 점 (50.1 $\to$ 59.0) 향상시켰습니다.
- 순차적 RL(SR) 과 비교하여 NPR(병렬 RL) 은 평균 점수를 +3.0 점 (62.0 $\to$ 65.0) 향상시켰습니다.
추론 가속화: NPR 은 자기회귀 디코딩 대비 최대 4.6 배의 추론 속도 향상을 달성했습니다. 속도 향상은 작업 난이도에 따라 확장되었습니다 (예: AIME25 에서 4.6 배 vs AMC23 에서 2.9 배).
병렬 트리거율: NPR 은 8 개 데이터셋 전반에 걸쳐 100% 의 병렬 추론 트리거율을 달성한 반면, Multiverse 베이스라인은 상당한 변동성을 보였습니다 (예: ZebraLogic 에서 45.8% 로 하락).
데이터 효율성: 자기 증류된 데이터셋은 Multiverse에서 생성된 궤적보다 평균 10.1 점 더 우수하여, 네이티브 분포에서 학습하는 것이 우월하다는 가설을 검증했습니다.

5. 중요성 및 주장

이 논문은 NPR 이 자기 진화적이고 효율적이며 확장 가능한 에이전트 추론의 새로운 기준을 확립한다고 주장합니다.

진정한 병렬성: 이 프레임워크는 LLM 이 병렬 형식으로 강제된 순차적 위상 구조를 모방하지 않고도 협력적 폭을 네이티브 병렬 아키텍처에 직접 내재화할 수 있음을 입증합니다.
확장성: 외부 교사 모델에 대한 의존성을 제거하고 안정된 대규모 병렬 RL 을 가능하게 함으로써, 모델이 적응적으로 작업을 분해할 수 있는 초지능으로 가는 확장 가능한 경로를 제공합니다.
효율성: 이 연구는 여러 해결 경로를 탐색할 때 병렬 추론이 순차적 디코딩보다 훨씬 더 강력할 뿐만 아니라 훨씬 더 빠르다는 것을 보여주어, 병렬성이 본질적으로 비용이 많이 든다는 관념에 도전합니다.

저자들은 네이티브 병렬 추론이 현재 순차적 사고 연쇄 (chain-of-thought) 패러다임의 한계를 넘어 더 일반적이고 확장 가능한 지능을 위한 유망한 방향이라고 결론지었습니다.