🤖 machine learning

UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma

이 논문은 양의 어드밴티지에 대해서는 클리핑되지 않은 안정적인 그래디언트를 허용하는 동시에 음의 어드밴티지에 대해서는 클리핑 안전장치를 유지함으로써 대규모 언어 모델을 위한 강화 학습에서의 탐색-안정성 딜레마를 해결하고, 이를 통해 다양한 알고리즘과 아키텍처 전반에서 추론 정확도를 크게 향상시키는 범용 플러그 앤 플레이 목적 함수인 Unbounded Positive Asymmetric Optimization (UP)을 소개한다.

원저자: Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin

게시일 2026-07-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chongyu Fan, Pengfei Liu, Jingjia Huang, Sijia Liu, Yi Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 조심성 있는 학생(AI)에게 매우 어려운 수학 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 이 학생은 자신이 배웠던 교과서("이전 정책")를 가지고 있지만, 퍼즐들이 너무 새롭고 복잡해서 교과서에는 답이 없습니다. 당신은 학생이 새로운, 창의적인 사고 방식을 시도하도록 독려해야 합니다.

이것이 대규모 언어 모델(LLM)을 위한 **강화 학습(Reinforcement Learning, RL)**의 핵심 과제입니다: 어떻게 하면 AI가 배운 것을 잊어버리지 않으면서도, 거칠고 새로운 아이디어를 탐색하도록 장려할 수 있을까요?

문제점: "외줄 타기" 딜레마

이 논문은 **탐색-안정성 딜레마(Exploration-Stability Dilemma)**라고 불리는 좌절스러운 줄다리기를 식별합니다.

너무 거칠게 나가는 것의 위험(불안정성): 만약 당신이 제한 없이 AI가 어떤 새로운 경로든 시도하게 내버려 둔다면, AI는 드물게 정답을 찾아낼 수도 있습니다. 하지만 그 과정에서 잘못된 추측에 엄청나게 큰 가중치를 부여하는 실수를 저지를 수도 있습니다. 이는 마치 자동차가 통제 불능으로 가속하여 폭주하는 것처럼 학습을 붕괴시킬 수 있습니다.
너무 안전함의 위험(탐색 저해): 이러한 폭주를 막기 위해, 현재의 방법들은 "클리핑(clipping)" 메커니즘을 사용합니다. 이것을 안전한 목줄이라고 생각하세요. 만약 AI가 기존 교과서로부터 너무 많이 생각을 바꾸려 하면, 목줄이 AI를 다시 잡아당깁니다.
- 결함: 논문은 이 목줄이 너무 조여져 있다고 주장합니다. AI가 정답이지만 매우 희귀한 경로(낮은 신뢰도의 천재적인 아이디어)를 찾아냈을 때조차, 목줄은 보상이 충분히 학습되기 전에 차단해 버립니다. 이는 마치 선생님이 "시도는 좋았지만, 규칙 때문에 80점 이상은 줄 수 없어"라고 말하는 것과 같습니다. 실제로는 학생이 문제를 완벽하게 풀었음에도 말이죠.

이들은 이 한계를 **"확률 용량(Probability Capacity, Cap)"**이라고 부릅니다. 그들은 현재의 방식이 AI의 성장 잠재력을 제한하여, 결과적으로 천재적인 해결책을 발견할 가능성을 죽이고 있음을 보여줍니다.

해결책: UP (Unbounded Positive Asymmetric Optimization)

저자들은 UP라는 새로운 방법을 제안합니다. UP를 "좋은" 추측과 "나쁜" 추측을 매우 다르게 취급하는 스마트한 양방향 교통 시스템이라고 생각하세요.

1. 좋은 아이디어를 위한 "초록불" (Unbounded Positive)

AI가 정답(양의 이득)으로 이어지는 움직임을 보일 때, UP는 안전한 목줄을 완전히 제거합니다.

비유: AI가 서퍼라고 상상해 보세요. 만약 서퍼가 완벽한 파도를 잡았다면(정서적 추론 경로), UP는 속도 제한 없이 그 파도를 타고 해변까지 끝까지 달릴 수 있게 해줍니다.
작동 원리: UP는 새로운 움직임을 이전의 교과서와 비교하는 대신, AI의 현재 상태와 비교하도록 고정합니다. 이를 통해 AI는 자신의 가장 좋은 아이디어가 처음에는 얼마나 희귀해 보였는지와 상관없이, 학습 과정이 무너지지 않으면서도 그 아이디어를 공격적으로 강화할 수 있습니다.

2. 나쁜 아이디어를 위한 "빨간불" (Asymmetric Safety)

AI가 오답(음의 이득)으로 이어지는 움직임을 보일 때, UP는 안전한 목줄을 단단히 유지합니다.

비유: 만약 서퍼가 사고가 날 것처럼 보이는 기술을 시도한다면, 안전망(클리핑 메커니즘)이 즉시 그를 붙잡습니다.
이유: 이는 AI가 자신의 실수로부터 공격적으로 학습함으로써 스스로의 지식 기반을 파괴하는 것을 방지하기 위함입니다. 이는 학습이 안정적으로 유지되도록 보장합니다.

이것이 왜 중요한가

저자들은 "좋은 것에는 제한을 두지 않고(Unbounded), 나쁜 것에는 제한을 두는(Clipped)" 방식으로 이 딜레마를 해결했다고 주장합니다.

플러그 앤 플레이(Plug-and-Play): 자동차 전체를 새로 만들 필요 없이, 엔진만 교체하면 됩니다. 저자들은 다양한 유형의 AI "엔진"(GRPO, DAPO, GSPO와 같은 알고리즘)과 다양한 "섀시"(Dense, MoE, Vision-Language 모델 등)에 대해 UP를 테스트했습니다.
어디서나 작동함: AI가 순수 수학 문제를 풀든, 시각적 기하학 퍼즐을 풀든, 혹은 멀티모달 작업을 수행하든, UP는 일관되게 AI가 더 나은 솔루션을 더 빠르게 찾도록 도왔습니다.
결과: 실험에서 UP를 사용하는 AI는 단순히 더 빨리 배우는 것에 그치지 않고, 학습 과정이 무너지지 않으면서도 더 많은 정답을 찾아냈고(높은 정확도), 더 창의적인 경로를 탐색했습니다(높은 엔트로피).

요약하자면

현재의 AI 학습은 핸드브레이크가 부분적으로 걸린 채로 운전하는 자동차와 같습니다. 새로운 길을 탐색하기 위해 충분히 빨리 갈 수 없지만, 브레이크를 완전히 놓으면 사고가 날 수 있습니다.

UP는 스마트 크루즈 컨트롤을 설치하는 것과 같습니다:

안전하고 올바른 경로를 주행하고 있다면, 당신이 가진 잠재력을 모두 발휘할 수 있도록 핸드브레이크를 완전히 해제하여 가속할 수 있게 합니다.
만약 **낭떠러지(잘못된 경로)**를 향해 운전하기 시작한다면, 즉시 브레이크를 밟아 당신을 안전하게 지킵니다.

이를 통해 AI는 천재적인 해결책을 찾기 위해 대담해질 수 있으면서도, 동시에 실제로 그 해결책을 배울 수 있을 만큼 안정적일 수 있습니다.

기술 요약: 무제한 양의 비대칭 최적화 (Unbounded Positive Asymmetric Optimization, UP)

1. 문제 정의: 탐색-안정성 딜레마 (The Exploration-Stability Dilemma)

강화 학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 표준 패러다임이 되었습니다. GRPO(Group Relative Policy Optimization) 및 DAPO(Dynamic sAmpling Policy Optimization)와 같은 현대적인 프레임워크들은 샘플 효율성을 높이기 위해 중요도 샘플링(Importance Sampling, IS)을 활용하지만, 이들은 근본적인 탐색-안정성 딜레마에 직면합니다.

순수 IS의 불안정성: 클리핑(clipping)되지 않은 순수 IS는 파괴적인 학습 불안정성을 초래하기 쉽습니다. 희귀한 롱테일(long-tail) 추론 경로를 평가할 때, 과거 정책( $\pi_{old}$ )이 특정 정답 행동에 부여한 확률이 극도로 작다면 중요도 샘플링 비율( $r_{i,t}$ )이 폭발할 수 있습니다. 이는 안정적인 표현(representation)을 파괴하는 병리적인 그래디언트(gradient)로 이어집니다.
클리핑에 의한 탐색 저해: 이러한 불안정성을 완화하기 위해 표준 알고리즘들은 클리핑 메커니즘(예: 비율을 $[1-\epsilon, 1+\epsilon]$ 범위 내로 제한)을 사용합니다. 그러나 저자들은 이러한 보수적인 클리핑이 구조적으로 탐색을 억제한다고 주장합니다.
확률 용량 (Probability Capacity, Cap): 논문은 **확률 용량(Cap)**이라는 개념을 공식화하며, 이를 그래디언트가 절단되기 전 양의 이점(positive advantages)에 대해 허용되는 최대 확률 증가량으로 정의합니다. 저자들은 보수적인 클리핑이 Cap을 과거 정책( $\pi_{old}$ )에 선형적으로 비례하도록 제한한다는 것을 입증했습니다. 신뢰도는 낮지만 정답인 추론 경로(즉, $\pi_{old}$ 가 작은 경우)의 경우, 업데이트 예산이 매우 엄격하게 제한되어(예: 고작 0.0028의 증가), 그래디언트가 조기에 소멸됩니다. 이는 모델이 유망한 롱테일 궤적을 강화하는 것을 방해합니다.

2. 방법론: 무제한 양의 비대칭 최적화 (Unbounded Positive Asymmetric Optimization, UP)

이 딜레마를 해결하기 위해, 저자들은 양의 이점과 음의 이점을 비대칭적으로 처리함으로써 최적화 과정을 재구조화하는 보편적이고 플러그 앤 플레이(plug-and-play) 방식의 목적 함수인 **무제한 양의 비대칭 최적화(UP)**를 제안합니다.

핵심 메커니즘

스톱-그래디언트(Stop-Gradient)를 통한 자기 앵커링 비율 (Self-Anchored Ratio):
양의 이점(정답 롤아웃)의 경우, UP는 표준 IS 비율( $\pi_{new}/\pi_{old}$ )을 스톱-그래디언트 연산자($sg$)를 사용하는 자기 앵커링 비율로 대체합니다:
$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(\cdot)}{sg(\pi_\theta(\cdot))}$
- 이론적 함의: 역전파(backpropagation) 과정에서 분모가 상수로 취급되기 때문에, 이 목적 함수의 그래디언트는 수학적으로 안정적인 비클리핑 REINFORCE 그래디언트( $\nabla \log \pi_\theta$ )와 동일해집니다.
- 결과: 이 공식은 IS 유발 불안정성의 근본 원인(분모에서의 폭발하는 $\pi_{old}$ )을 완전히 제거하는 동시에 무제한 업데이트를 허용합니다. 이는 정답 경로에 대한 클리핑 제약을 효과적으로 제거하여, 확률 용량을 $1 - \pi_\theta$ 까지 극대화합니다.
비대칭 설계:
- 양의 이점 ( $\hat{A} > 0$ ): 클리핑 없이 정답인 저신뢰도 추론 경로를 공격적으로 강화하기 위해 무제한의 자기 앵커링 공식이 적용됩니다.
- 음의 이점 ( $\hat{A} \leq 0$ ): 오답 롤아웃의 경우, 기존의 클리핑 메커니즘(예: DAPO 또는 GRPO의 방식)을 유지합니다. 이는 무제한 메커니즘이 잘못된 행동에 대해 공격적인 그래디언트 상승을 일으켜 원래의 표현을 파괴하는 것을 방지하는 구조적 안전장치 역할을 합니다.

기존 프레임워크와의 통합

UP 프레임워크는 다양한 최적화 입도(granularity)에 적용 가능한 범용 플러그인으로 설계되었습니다:

토큰 레벨 (Token-Level): UP-DAPO 및 UP-GRPO는 클리핑된 양의 브랜치를 무제한 로그 정책(log-policy) 목적 함수로 교체하면서 음의 브랜치는 클리핑된 상태를 유지합니다.
시퀀스 레벨 (Sequence-Level): UP-GSPO는 이 로직을 시퀀스 레벨 중요도 샘플링으로 확장하여, 길이 정규화된 시퀀스 이점에 무제한 공식을 적용합니다.

3. 주요 기여

확률 용량(Cap)의 공식화: 논문은 현재의 RL 알고리즘에 존재하는 구조적 병목 현상을 수학적으로 드러내기 위해 Cap을 도입하였으며, 보수적인 클리핑이 정답이지만 신뢰도가 낮은 경로의 업데이트를 어떻게 조기에 절단하는지 입증했습니다.
이론적 재구조화: 스톱-그래디언트 연산자를 통해 현재 상태에 정책을 앵커링함으로써, UP는 이론적으로 IS 메커니즘을 재구조화하여 양의 이점에 대한 트러스트 리전(trust region) 병목 현상을 우회하고, 비클리핑 그래디언트를 REINFORCE의 안정성과 일치시킵니다.
범용 플러그 앤 플레이 목적 함수: UP는 다양한 알고리즘(DAPO, GSPO, GRPO), 모델 아키텍처(Dense, MoE, Vision-Language), 그리고 학습 모달리티(Language, Multimodal)에 적용 가능한 범용적 향상 도구로서 검증되었습니다.

4. 실험 결과

다양한 벤치마크(AIME24, AMC23, MATH500, Minerva, OlympiadBench, Geometry3K)와 모델 제품군(Qwen3 시리즈)에 대해 광범에한 실험이 수행되었습니다.

성능 향상:
- UP-GRPO는 다섯 가지 도전적인 추론 벤치마크에서 GSPO(60.15%), ASPO, REINFORCE++를 포함한 11개의 강력한 베이스라인을 능가하며 가장 높은 평균 Pass@1 정확도(61.31%)를 달성했습니다.
- UP-DAPO는 표준 DAPO 대비 유의미한 개선을 보였으며, AIME24에서 Avg@32 기준 47.71% 대비 51.15%의 피크 성능을 기록했습니다.
- UP-GSPO는 MoE 모델(Qwen3-30B-A3B-Base)의 AIME24 정확도를 절대치 기준 3.02% 향상시켰습니다.
- UP-GRPO를 시각-언어 모델(Qwen3-VL-8B)에 적용했을 때 Geometry3K 정확도가 3.30% 향상되었습니다.
탐색 및 안정성:
- 향상된 탐색: UP 변형 모델들은 훈련 전반에 걸쳐 일관되게 상승하는 정책 엔트로피(policy entropy)를 유지한 반면, 베이스라인(GRPO, GSPO 등)은 엔트로피 붕괴를 보였습니다. 이는 UP가 대안적인 추론 궤적을 탐색하는 능력을 성공적으로 보존함을 나타냅니다.
- 안정성: 양의 이점에 대해 클리핑을 제거했음에도 불구하고, UP는 베이스라인과 비슷하거나 더 낮은 수준의 그래디언트 노름(gradient norm) 및 KL 발산(KL divergence) 수준을 유지했습니다. 이는 비대칭 설계가 훈련 불안정성을 방지하면서 탐색을 극대화함을 확인시켜 줍니다.
절제 연구 (Ablation Studies):
- (자기 앵커링 비율 없이) DAPO에서 상단 클립 경계(upper clip bound)만 제거했을 경우 즉각적인 그래디언트 폭발이 발생하여, 스톱-그래디언트 연산자의 필요성을 입증했습니다.
- 양의 이점과 음의 이점 모두에 무제한 업데이트를 적용했을 경우(대칭적 무제한) 파괴적인 불안정성이 발생하여, 비대칭 설계의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 UP가 역사적으로 RL 기반 추론을 제한해 온 보수적인 클리핑 제약에서 벗어날 수 있는 수학적 토대를 제공한다고 주장합니다. 정답 롤아웃과 오답 롤아웃의 처리를 분리함으로써, UP는 모델이 최적화 안정성을 희생하지 않으면서도 롱테일 추론 능력을 공격적으로 내재화할 수 있도록 합니다.

저자들은 UP를 단순한 휴리스틱 개선이 아니라, IS 기반 RL에 내재된 탐색-안정성 딜레마를 해결하는 보편적 패러다임으로 규정합니다. 실험 결과는 "양의 무제한(unbounded positive)" 접근 방식이 다양한 아키텍처와 모달리티 전반에서 LLM의 추론 능력을 향상시키기 위한, 이전에 충분히 탐구되지 않았던 핵심적인 방향임을 시사합니다.