🤖 machine learning

ReLaX: Reasoning with Latent Exploration for Large Reasoning Models

이 논문은 강화 학습 기반의 대형 추론 모델이 겪는 과도한 결정론적 경향을 해결하기 위해 koopman 연산자 이론을 활용해 잠재 역학을 선형화하고, 이를 기반으로 한 ReLaX 프레임워크를 제안하여 추론 능력을 향상시킨다는 내용입니다.

원저자: Shimin Zhang, Xianwei Chen, Yufan Shen, Ziyuan Ye, Jibin Wu

게시일 2026-03-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shimin Zhang, Xianwei Chen, Yufan Shen, Ziyuan Ye, Jibin Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"ReLaX"**라는 새로운 인공지능 학습 방법을 소개합니다. 이걸 쉽게 이해하려면, 인공지능이 문제를 풀 때 머릿속에서 일어나는 일을 **'마음의 흐름'**이나 **'사고의 뒤편'**으로 상상해 보세요.

1. 문제: "너무 똑똑해져서 고집이 세진 AI"

최근 인공지능 (LLM) 들은 수학이나 논리 문제를 풀 때, 정답을 맞히는 훈련을 많이 받습니다. 그런데 이 훈련을 너무 많이 하면 AI 가 '고집이 세지는' 문제가 생깁니다.

비유: 마치 학생이 시험을 볼 때, "어? 이 문제 답은 A 인 것 같아"라고 생각하다가, "아니, A 가 맞을 거야"라고 확신하며 다른 가능성 (B, C, D) 을 아예 생각하지 않게 되는 상황입니다.
결과: AI 는 처음에는 다양한 생각을 시도하다가 (탐색), 나중에는 한 가지 방법만 고집하며 (탐색 부족) 실수를 반복하거나 새로운 문제를 풀지 못하게 됩니다. 이를 논문에서는 **'엔트로피 붕괴 (Entropy Collapse)'**라고 부릅니다.

기존의 해결책은 AI 가 말을 할 때 단어 하나하나를 무작위로 섞어서 다양하게 만들려고 했습니다. 하지만 이는 표면적인 변화일 뿐, AI 의 '머릿속 사고 과정' 자체는 여전히 경직되어 있었습니다.

2. 해결책: ReLaX (잠재 공간에서의 유연한 사고)

이 논문은 **"단어를 섞는 게 아니라, AI 의 '머릿속 흐름'을 유연하게 만들어야 한다"**고 주장합니다.

핵심 아이디어: AI 가 답을 말하기 전에 머릿속에서 일어나는 복잡한 계산 과정 (잠재 상태) 을 분석하고, 그 흐름이 너무 딱딱해지지 않도록 도와주는 것입니다.
비유:
- 기존 방법: 작가가 글을 쓸 때, "오늘은 '사과' 대신 '배'를 써보자"라고 단어만 바꾸는 것.
- ReLaX 방법: 작가가 글을 쓰기 전, "오늘은 감정을 더 풍부하게 표현해볼까? 아니면 논리를 더 깊게 파고들까?"라고 사고의 방향성 자체를 유연하게 바꿔주는 것.

3. 어떻게 작동할까? (쿠퍼만 연산자와 DSD)

논문의 기술적인 핵심은 **'쿠퍼만 연산자 (Koopman Operator)'**라는 수학적 도구를 사용하는 것입니다.

비유: AI 의 머릿속은 복잡한 미로처럼 비선형적이고 예측하기 어렵습니다. 쿠퍼만 연산자는 이 복잡한 미로를 직선으로 펴서 지도처럼 보여주는 도구입니다.
DSD (동적 스펙트럼 분산): 지도를 펴고 나서, AI 의 사고 흐름이 얼마나 **다양하게 퍼져 있는지 (분산)**를 측정하는 점수입니다.
- 점수가 낮으면: AI 가 한 가지 길만 고집하며 고집이 센 상태.
- 점수가 높으면: AI 가 다양한 길을 탐색하며 유연한 상태.

ReLaX 는 이 DSD 점수를 AI 의 학습 목표에 포함시킵니다. "너무 한 가지 길만 고집하지 마, DSD 점수를 높여서 다양한 사고를 해봐!"라고 가르치는 것입니다.

4. 결과: 더 똑똑해진 AI

이 방법을 적용한 실험 결과, ReLaX 는 기존 방법들보다 훨씬 뛰어난 성과를 보였습니다.

시각적 추론: 그림을 보고 문제를 풀 때, 단순히 글자만 읽는 게 아니라 그림의 세부적인 부분까지 유연하게 이해했습니다.
수학 추론: 복잡한 수학 문제에서도 다양한 해결책을 시도하다가 가장 좋은 답을 찾아냈습니다.
핵심: AI 가 단순히 말을 바꾸는 게 아니라, 사고의 깊이를 유지하면서 유연하게 문제를 해결할 수 있게 되었습니다.

요약

ReLaX는 인공지능이 "고집이 세져서" 새로운 것을 배우지 못하는 문제를 해결하기 위해, 단어 수준이 아니라 AI 의 '머릿속 사고 흐름'을 유연하게 만들어주는 혁신적인 방법입니다.

마치 운전면허를 딸 때, 단순히 핸들을 꺾는 법 (단어) 만 가르치는 게 아니라, 도로 상황을 유연하게 판단하는 사고방식 (잠재 흐름) 을 훈련시키는 것과 같습니다. 덕분에 AI 는 더 똑똑하고, 유연하며, 다양한 문제를 잘 해결하게 되었습니다.

1. 문제 정의 (Problem Statement)

대규모 추론 모델 (LRMs) 의 성능 향상을 위해 검증 가능한 보상을 이용한 강화학습 (RLVR) 이 최근 각광받고 있습니다. 그러나 기존 RLVR 접근법은 다음과 같은 근본적인 한계를 겪고 있습니다.

과도한 결정론적 행동 (Over-determinism): RLVR 은 정책 (policy) 이 특정 해답으로 빠르게 수렴하도록 유도하여, 토큰 생성 단계의 엔트로피가 급격히 감소합니다 (Entropy Collapse).
탐색 - 활용의 불균형: 초기 탐색이 부족하면 모델은 최적해가 아닌 국소 최적해 (local optimum) 에 갇히게 되어 추론 능력이 정체됩니다.
토큰 수준의 개입의 한계: 기존 연구들은 토큰 생성 확률의 엔트로피를 인위적으로 높이는 방법 (토큰 수준의 다양성 증대) 을 주로 사용했습니다. 하지만 이는 모델의 내부 계산 과정 (latent dynamics) 의 경직성을 해결하지 못하며, 특히 멀티모달 모델 (MLLM) 의 경우 시각 및 텍스트 간의 복잡한 내부 계산과 단순한 텍스트 출력 간의 불일치를 해결하지 못해 효과가 제한적입니다.

2. 방법론 (Methodology)

저자들은 토큰 수준의 통계가 아닌, 잠재 공간 (Latent Space) 의 동역학을 제어함으로써 더 효과적인 탐색을 유도할 것을 제안합니다. 이를 위해 ReLaX (Reasoning with Latent eXploration) 프레임워크를 개발했습니다.

가. koopman 연산자 이론과 선형화 (Koopman Operator Theory)

LRMs 의 비선형적이고 고차원인 잠재 상태 (hidden states) 의 동역학을 분석하기 위해 Koopman 연산자 이론을 도입했습니다.
이 이론은 비선형 시스템을 무한 차원의 관측 가능 함수 공간에서 선형 진화로 변환할 수 있게 합니다.
ResKoopNet을 사용하여 신경망 사전 (Neural Koopman Dictionary) 을 학습시켜, 모델의 마지막 레이어 은닉 상태 동역학을 정확하게 선형화하고 근사합니다.

나. 동적 스펙트럼 분산 (Dynamic Spectral Dispersion, DSD)

선형화된 Koopman 연산자의 고유값 (eigenvalues) 분포를 분석하여 모델의 내부 계산 유연성을 정량화하는 새로운 지표인 DSD를 제안했습니다.
DSD 정의: Koopman 고유값 크기의 분산 (Variance) 으로 정의됩니다.
- 높은 DSD: 다양한 동적 모드를 의미하며, 모델이 경직된 패턴에 수렴하지 않고 유연한 추론을 수행함을 나타냅니다.
- 낮은 DSD: 동역학이 단일 모드로 수렴하여 탐색 능력이 저하됨을 의미합니다.
DSD 는 모델의 표면적 토큰 통계가 아닌, 내부 계산 과정의 이질성 (heterogeneity) 을 직접 측정합니다.

다. ReLaX 프레임워크 (GRPO 와의 통합)

DSD 기반 정규화 (Regularization): GRPO(Group Relative Policy Optimization) 목적 함수에 DSD 를 활용한 정규화 항을 추가합니다.
- 이점 (Advantage) 기반 가중치: 긍정적인 보상 (Advantage > 0) 을 얻은 경로에 대해서만 DSD 를 장려하여, 무의미한 탐색을 방지합니다.
- 적응형 KL 정규화: DSD 가 임계값을 초과하여 과도하게 분산된 경로에 대해서는 KL 발산을 통해 학습 안정성을 유지합니다.
최종 목적 함수:
$J(\theta) = J_{GRPO}(\theta) + \alpha \cdot \tilde{L}_{xp} + \beta \cdot \sum DKL$
여기서 $\tilde{L}_{xp}$ 는 DSD 기반의 탐색 정규화 항이며, $\alpha$ 와 $\beta$ 는 각각 탐색 강도와 안정성 조절 파라미터입니다.

3. 주요 기여 (Key Contributions)

DSD 지표 제안: LRM 의 잠재 추론 동역학 이질성을 포착하는 새로운 지표로, 토큰 수준의 엔트로피보다 근본적인 정책 탐색 능력을 평가합니다.
ReLaX 프레임워크 개발: Koopman 연산자 이론을 기반으로 한 DSD 정규화를 RLVR 목적 함수에 통합하여, 탐색과 활용의 균형을 효과적으로 조절하는 새로운 학습 패러다임을 제시했습니다.
성능 입증 및 SOTA 달성: 텍스트 전용 및 멀티모달 추론 벤치마크에서 기존 토큰 수준 방법론들을 압도하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

저자들은 3B 및 7B 크기의 다양한 LLM(Qwen2.5, Llama3.2 등) 과 VLM(Qwen2.5-VL) 을 대상으로 광범위한 실험을 수행했습니다.

멀티모달 추론 (VLM):
- 7 개의 멀티모달 벤치마크 (MMMU, MathVista, DynaMath 등) 에서 ReLaX-VL-7B는 평균 53.2 점으로 기존 최상위 모델 (VL-Rethinker-7B, 52.5 점) 을 능가하며 새로운 SOTA를 기록했습니다.
- 3B 모델에서도 7B 급 모델들의 성능을 능가하는 결과를 보였습니다.
텍스트 전용 수리 추론 (LLM):
- MATH500, AMC, AIME 등 6 개의 수학 추론 벤치마크에서 기존 RLVR 알고리즘 (SimpleRL, DAPO, FR3E 등) 보다 우수한 성능을 보였습니다.
- 특히 Qwen2.5-7B-Base 모델에서 이전 SOTA 인 FR3E 대비 4.3 점, Qwen2.5-7B-Math 모델에서 6.3 점 향상되었습니다.
학습 역학 분석:
- 기존 GRPO 는 학습 초기에 엔트로피와 DSD 가 급격히 감소하며 수렴하는 반면, ReLaX 는 높고 안정적으로 조절된 엔트로피와 다양한 잠재 동역학을 유지하며 지속적인 성능 향상을 보였습니다.
정성적 분석:
- ReLaX 는 토큰 수준의 엔트로피 증가만 유도하는 방법 (예: R1-zero-Div) 과 달리, 수학적 원리를 활용한 의미 있는 검증을 수행하는 반면, 기존 방법은 코드 실행 환경이 없음에도 코드를 생성하는 등 할루시네이션 (hallucination) 을 보였습니다.
- 멀티모달 작업에서 시각적 단서의 변화에 대해 ReLaX 는 일관된 추론을 보인 반면, KL-Cov 와 같은 기존 방법은 시각적 오해를 일으켰습니다.

5. 의의 및 결론 (Significance)

잠재 공간 탐색의 중요성: 이 연구는 LRM 의 추론 능력 향상을 위해 토큰 공간 (Token Space) 이 아닌 잠재 공간 (Latent Space) 의 동역학을 제어하는 것이 더 근본적이고 효과적인 해결책임을 증명했습니다.
멀티모달 모델의 확장성: 텍스트 중심의 방법론이 한계를 보였던 멀티모달 모델에서도 ReLaX 가 뛰어난 일반화 능력을 보여주어, 복잡한 크로스-모달 (cross-modal) 계산의 유연성을 확보하는 데 기여했습니다.
미래 방향: Koopman 연산자 이론을 RL 에 적용하여 모델의 내부 계산 구조를 해석하고 제어하는 새로운 길을 열었으며, 이는 향후 더 강력하고 안정적인 추론 모델 개발의 중요한 방향성을 제시합니다.

요약하자면, ReLaX는 모델이 "무작위하게" 답을 찾는 것이 아니라, 내부 계산 과정의 유연성 (Latent Dynamics) 을 유지하며 효과적으로 탐색하도록 유도함으로써, RLVR 의 성능 정체 문제를 해결하고 대규모 추론 모델의 능력을 한 단계 끌어올린 획기적인 방법론입니다.