🤖 machine learning

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero 는 외부 판정자의 개입 없이 내재적"Hint- $\delta$ "보상을 활용하여 제안자 모델이 도전적인 질문과 힌트를 생성하도록 훈련시키고, 생성자 모델이 이를 DPO 를 통해 학습함으로써 외부 판정자의 한계를 우회하는 개방형 LLM 자기 개선이 가능한 공진화 프레임워크입니다.

원저자: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 한 명의 천재 학생 (생성자, Generator) 이 더 똑똑해지려 애쓰고 있지만, 교사도, 교과서도, 정답지도 없는 방에 갇혀 있다고요. 보통 학생이 배우려면 "틀렸어, 대신 이렇게 해봐"라고 말해주는 교사가 필요합니다. 교사가 없으면 학생은 그냥 추측하거나 같은 실수를 반복하며 막히게 됩니다.

이 논문은 인간 교사나 외부의 '심사관' 없이 AI 모델이 학습할 수 있는 새로운 방식을 소개합니다. 연구진은 이 시스템을 G-Zero라고 부릅니다.

다음은 간단한 비유를 통해 작동 원리를 설명한 것입니다:

두 명의 등장인물: '코치'와 '학생'

외로운 학생 한 명이 아니라, G-Zero 는 두 개의 AI 모델이 루프 (loop) 안에서 협력합니다:

생성자 (The Generator, 학생): 우리가 개선하려는 모델입니다. 질문을 답하려 합니다.
제안자 (The Proposer, 코치): 학생이 어디서 약한지, 그리고 어떻게 도와야 할지 파악하는 역할을 하는 두 번째 모델입니다.

비밀 무기: "힌트-δ (Hint-δ)" (불꽃)

자기 학습의 가장 큰 문제는 다음과 같습니다: 정답지도 없는데 모델이 어떻게 더 나아지고 있는지 알 수 있을까요?

G-Zero 는 힌트-δ라는 교묘한 트릭으로 이 문제를 해결합니다. 과정은 다음과 같습니다:

도전: 코치 (제안자) 가 까다로운 질문과 힌트를 준비합니다.
시험: 학생 (생성자) 은 힌트 없이 질문을 답하려 합니다. 이를 '고군분투 답변 (Struggle Answer)'이라고 부르겠습니다.
전환: 이제 학생이 다시 시도하되, 이번에는 힌트와 함께 답합니다. 이를 '아하! 답변 (Aha! Answer)'이라고 부르겠습니다.
측정: 시스템은 학생의 뇌에서 발생하는 '충격'이나 **전환 (shift)**을 측정합니다. 힌트가 학생으로 하여금 정답을 훨씬 더 잘 이해하게 만들었나요?
- 학생이 이미 능숙했다면, 힌트는 큰 변화를 주지 않습니다. (낮은 점수)
- 힌트가 무용지물이었다면, 학생은 크게 변하지 않습니다. (낮은 점수)
- 적정 지점: 질문이 어렵고 동시에 힌트가 학생이 정답을 풀 수 있게 해주는 딱 필요한 것이었다면, 학생의 뇌는 극적으로 전환됩니다. 이는 높은 점수를 만듭니다.

비유: 퍼즐을 풀려고 한다고 상상해 보세요.

쉽게 푼다면 힌트는 큰 도움이 되지 않습니다.
힌트가 터무니없다면 여전히 풀 수 없습니다.
하지만 막혔을 때, 누군가 정확히 빠진 논리 조각을 속삭여 준다면, 당신의 뇌는 '딸깍!' 소리를 내며 깨닫습니다. 그 '딸깍' 소리가 바로 힌트-δ입니다. 이는 힌트가 가치 있었고 질문이 도전적이었음을 증명합니다.

학습 루프: 어떻게 더 나아지는가

시스템은 두 단계로 반복 실행됩니다:

1 단계: 코치가 약점을 찾는 데 더 똑똑해집니다.
코치는 학생을 당황하게 만드는 질문을 찾고, 그것을 해결하는 힌트를 제공할 때 보상을 받습니다. 코치는 쉬운 질문을 하거나 나쁜 힌트를 주는 것을 멈추고 학습합니다. 대신 학생의 '맹점'을 사냥하는 법을 배웁니다.

2 단계: 학생은 '아하!' 순간들에서 배웁니다.
학생은 두 가지 답변 쌍을 보여줍니다: 거절된 '고군분투 답변'과 선택된 '아하! 답변'입니다. 학생은 힌트를 사용한 버전을 선호하도록 훈련됩니다.

마법: 시간이 지나면 학생은 힌트의 스타일과 논리를 학습합니다. 결국 학생은 더 이상 힌트가 필요 없이 고품질 답변을 스스로 생성할 수 있게 됩니다. 학생은 코치의 지도를 내면화한 것입니다.

이것이 중요한 이유

외부 심사관 불필요: 보통 AI 는 인간이나 매우 똑똑한 AI 가 "이 답변은 좋다"라고 말해줘야 합니다. 이는 한계를 만듭니다. AI 는 심사관보다 더 똑똑해질 수 없기 때문입니다. G-Zero 는 심사관을 완전히 제거합니다. AI 는 자신의 이해도가 얼마나 전환되는지에 따라 스스로 판단합니다.
창의적 작업에도 작동: 이전 방법들은 명확한 정답/오답이 있는 수학이나 코드에만 작동했습니다. G-Zero 는 단일 '정답'이 없는 이야기 쓰기, 조언 제공, 대화와 같은 개방형 작업에서도 작동합니다.
자기 개선: 논문은 이 루프를 단 두 번 돌린 후에도 모델들이 수학, 코딩, 작문에서 크게 향상되었음을 보여줍니다. 외부 데이터는 전혀 없었음에도 불구하고요.

함정 (한계점)

논문은 코치와 학생 사이의 이 '군비 경쟁'이 때로는 잘못될 수 있다고 지적합니다. 코치가 너무 교묘해지면 학생이 혼란을 겪거나 시스템이 붕괴 ('collapse') 할 수 있습니다. 또한 시스템은 가장 쉽고 가장 어려운 예시를 걸러내고 '딱 알맞은' 난이도에 집중할 때 가장 잘 작동한다는 것을 발견했습니다.

요약

G-Zero 를 스스로 더 잘 운전하는 법을 배우는 자율주행차라고 생각하세요. "와, 내가 도로를 이렇게 바라봤을 때, 그 커브를 훨씬 더 잘 이해했구나"라고 깨닫는 것입니다. 운전 강사가 필요하지 않습니다. 단지 작은 관점의 변화가 이해의 큰 향상으로 이어지는 순간들을 알아차리기만 하면 됩니다. 그런 명료함의 순간들을 쫓음으로써 AI 는 스스로 더 똑똑해지도록 가르칩니다.

기술 요약: G-Zero

1. 문제 제기

자기 진화형 대규모 언어 모델 (LLM) 은 프로그램적 오라클이 강화 학습 (RLVR) 을 위한 기준 정답을 제공하는 검증 가능 영역 (예: 수학, 코드) 에서 상당한 성과를 입증해 왔습니다. 그러나 이러한 모델들은 객관적 검증자가 존재하지 않는 개방형 영역 (예: 창의적 글쓰기, 대화, 지시 따르기) 에서는 어려움을 겪습니다.

이러한 검증 불가능한 작업을 위한 현재의 접근법은 대체 보상 신호를 생성하기 위해 LLM-as-a-Judge 메커니즘에 크게 의존합니다. 본 논문은 이러한 패러다임의 두 가지 치명적인 한계를 지적합니다:

능력 병목 현상: 진화하는 모델의 성능 상한선은 근본적으로 심사자 모델의 능력에 의해 제한됩니다.
보상 해킹: 모델들은 응답 품질을 진정으로 향상시키기보다는 심사자의 스타일적 취약점 (예: 편향, 포맷 선호도, 장황함) 을 악용하는 경향이 있습니다.

본 논문이 다루는 핵심 질문은 다음과 같습니다: 외부 심사자나 대리 보상 신호의 병리 현상을 내면화하지 않고도, 검증 불가능한 영역에서 자기 진화를 확장할 수 있는 방법은 무엇인가?

2. 방법론: G-Zero 프레임워크

G-Zero 는 외부 검증자 없이, 완전히 내부 분포 역학에서 감독 신호를 도출하는 검증자 없는 공진화 프레임워크입니다. 이는 **제안자 (Proposer, $\pi_P$ )**와 생성자 (Generator, $\pi_G$ ) 두 모델 간의 상호작용을 통해 작동합니다.

2.1 내재적 신호: Hint- $\delta$

핵심 혁신은 생성자가 자체적으로 생성한 힌트에 조건부일 때, 생성자의 분포에서 발생하는 예측적 변화를 정량화하는 내재적 보상 신호인 Hint- $\delta$ 입니다.

메커니즘: 쿼리 $q$ 에 대해 생성자는 보조 없는 응답 $a_{hard}$ 를 생성합니다. 그 후 힌트 $h$ 가 제공되면, 생성자는 힌트 조건부 응답 $a_{assisted}$ 를 생성합니다.
계산: Hint- $\delta$ 는 보조 없는 분포와 힌트 조건부 분포 간의 토큰별 평균 로그 확률 차이입니다:
$\delta(q, h, a_{hard}) = \frac{1}{T} \sum_{t=1}^{T} \left[ \log \pi_G(a_t | q, a_{<t}) - \log \pi_G(a_t | q, h, a_{<t}) \right]$
특성: 큰 $\delta$ 값은 쿼리가 생성자에게 진정으로 도전적이어서 (보조 없는 응답이 결함이 있음) AND 힌트가 필요한 누락 정보를 제공할 때만 발생합니다. 이 신호는 응답 길이에 불변이며 생성자 자신의 로그 확률만으로 계산되므로 외부 심사자 편향을 제거합니다.

2.2 공진화 루프

이 프레임워크는 두 단계를 포함하는 반복 라운드로 작동합니다:

1 단계: 제안자 훈련 (GRPO)

목표: 생성자의 $\delta$ 를 극대화하는 도전적인 쿼리 ( $q$ ) 와 정보 풍부한 힌트 ( $h$ ) 를 생성하도록 $\pi_P$ 를 훈련합니다.
최적화: **그룹 상대 정책 최적화 (GRPO)**를 사용합니다.
보상 함수: $r(q, h) = \delta(q, h, a_{hard}) - P_{length} - P_{BLEU}$ $r (q, h) = δ (q, h, a_{ha r d}) - P_{l e n g t h} - P_{B L E U}$ .
- $P_{length}$ : 장황한 보상 해킹을 방지하기 위해 문자 예산 (~200 자) 을 초과하는 힌트에 페널티를 부과합니다.
- $P_{BLEU}$ : 반복적인 쿼리 생성을 방지하여 탐색 범위를 보장하기 위해 페널티를 부과합니다.
결과: 제안자는 생성자의 "맹점"을 타격하여 점점 더 어려운 작업들의 커리큘럼을 생성합니다.

2 단계: 생성자 훈련 (DPO)

목표: 힌트가 제안한 구조적 및 논리적 개선을 내면화하도록 $\pi_G$ 를 훈련합니다.
데이터 큐레이션:
- 제안자가 $(q, h)$ 쌍을 생성합니다.
- 생성자는 힌트 없는 $a_{hard}$ 와 힌트 있는 $a_{assisted}$ 를 생성합니다.
- 필터링 전략: 높은 $\delta$ $δ$ 를 추구하는 제안자와 달리, 생성자 훈련 데이터셋 ( $D_{R+1}$ $D_{R + 1}$ ) 은 $\delta$ $δ$ 분포의 하위 절반에 해당하는 쌍을 유지합니다.
  - 근거: 높은- $\delta$ 쌍은 종종 "정답 누출" (힌트가 해결책을 미리 알려줌) 을 나타내어 DPO 의 암묵적 KL 제약 조건을 위반합니다. 낮은- $\delta$ 쌍은 힌트가 사소한 수정이 아닌 미묘한 구조적 정련을 유도하는 "구분하기 어려운" 신호를 나타냅니다.
최적화: 길이 정규화 손실을 사용한 **직접 선호도 최적화 (DPO)**를 사용합니다.
- 선택된 ( $y_w$ ): $a_{assisted}$ (힌트 기반).
- 거부된 ( $y_l$ ): $a_{hard}$ (보조 없음).
- 참고 모델: 라운드 시작 시점의 $\pi_G$ 고정 스냅샷.

3. 이론적 분석

본 논문은 G-Zero 의 이상화된 표준 DPO 변형에 대한 이론적 보장을 제공합니다.

가정: 프레임워크는 선형 보상 구조, Bradley-Terry 선호도 모델, 그리고 제안자가 (BLEU 보상을 통해) 충분한 탐색 범위를 유도하는 동시에 $\delta$ -필터가 의사 레이블 노이즈 ( $\eta_\delta$ ) 를 낮게 유지한다는 가정을 합니다.
결과 (정리 1): 이러한 조건 하에서, 서브옵티멀리티 갭 $J(\pi^*) - J(\pi_{t_0})$ 이 샘플 복잡도와 노이즈 수준과 관련된 항에 의해 제한되는 반복 $t_0$ 가 존재합니다. 구체적으로, 이 경계는 제안자가 유도한 탐색 범위와 $\delta$ -인증된 의사 레이블 점수 노이즈에 의존합니다. 이는 외부 검증자 없이도 공진화 루프가 근사 최적 정책에 수렴할 수 있음을 증명합니다.

4. 실험 결과

실험은 두 라운드의 자기 진화를 거친 Qwen3-8B-Base와 Llama-3.1-8B-Instruct에서 수행되었습니다.

개방형 작업:
- AlpacaEval 2.0 (Chat): G-Zero 는 상당한 향상을 이루었습니다. Llama-3.1 의 경우, 길이 제어 승리율은 24.12%(베이스) 에서 27.86%(2 라운드) 로 증가했습니다.
- IFEval (지시 따르기): 두 모델 모두 엄격한 및 느슨한 지시 준수 측면에서 개선이 관찰되었습니다.
검증 가능 작업 (전이):
- 수학 (AIME24/AIME25): 주로 검증 불가능한 개방형 데이터로 훈련되었음에도 불구하고, G-Zero 는 상당한 추론 개선을 보여주었습니다.
  - Qwen3-8B-Base: 2 라운드 후 AIME25 점수가 7.19% 에서 12.40% 로 급등했습니다.
  - Llama-3.1-8B-Instruct: AIME25 는 0.42% 에서 0.63% 로 개선되었습니다 (베이스가 매우 낮았지만, 향상은 일관적이었습니다).
R-Zero 와의 비교:
- 검증자 기반 방법인 R-Zero 는 수학 분야에서 강력한 향상을 보였으나, 대화 및 지시 따르기 작업에서는 능력 붕괴를 겪었습니다 (예: Qwen3 Chat 은 8.94% 에서 8.04% 로 하락).
- G-Zero 는 모든 지표 (Chat, IFEval, Math) 에서 성능을 유지하거나 개선하여, 심사자 기반 방법에서 관찰되는 트레이드오프 없이 강력한 일반화 능력을 입증했습니다.

주요 분석 결과:

구조적 전이: 훈련 데이터는 검증 불가능한 작업 (조언, 글쓰기) 이 70% 이상을 차지했습니다. 수학에서의 추론 개선은 도메인별 암기가 아니라, 이러한 개방형 작업들로부터의 논리적 깊이와 구성적 복잡성의 내면화에 기인한 것으로 분석되었습니다.
공진화 군비 경쟁: 2 라운드에서 Hint- $\delta$ 의 분포가 오른쪽으로 이동했는데, 이는 생성자가 개선됨에 따라 제안자가 학습 신호를 유지하기 위해 더 복잡하고 영향력 있는 힌트를 성공적으로 생성했음을 나타냅니다.

5. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

검증자 없는 공진화 프레임워크: G-Zero 는 모델 자신의 예측 변화에서 도출된 내재적 신호 (Hint- $\delta$ ) 로 외부 심사자를 대체함으로써, 개방형 영역에서의 지속적인 자기 개선을 가능하게 합니다.
이론적 특성화: 저자들은 공진화 루프를 형식화하고 최선 반복 서브옵티멀리티 보장을 증명하여, 제안자가 탐색을 보장하고 필터가 데이터 품질을 유지한다면 자기 진화가 이론적으로 타당함을 보여줍니다.
교차 영역 전이의 실증적 검증: 이 연구는 모델들이 검증 불가능한 개방형 작업으로부터 논리적 추론 패턴을 내면화하여 수학 같은 엄격하고 검증 가능한 영역으로 성공적으로 전이할 수 있음을 입증합니다. 이는 자기 진화가 확장되기 위해 검증 가능 오라클이나 외부 심사자가 필요하다는 통념에 도전합니다.

결론:
G-Zero 는 자율적 LLM 자기 진화를 위한 확장 가능하고 견고한 경로를 제공합니다. 내부 분포 역학에서 감독 신호를 도출함으로써, 이는 외부 심사자의 능력 상한선과 보상 해킹 취약점을 우회하며, 모델들이 오직 내재적 피드백만을 사용하여 역량을 향상시킬 수 있음을 입증합니다.