$V_1$: Unifying Generation and Self-Verification for Parallel Reasoners

이 논문은 생성과 검증의 효율적인 통합을 위해 불확실성 기반의 토너먼트 순위 매김 알고리즘과 생성기-검증기 공동 학습 강화학습 프레임워크를 제안하여, 복잡한 추론 작업에서 기존 방법보다 뛰어난 성능과 효율성을 달성한 $V_1$ 프레임워크를 소개합니다.

핵심

🧠 배경: "혼자서 고민하는 것" vs "친구들과 토론하는 것"

지금까지 AI 는 어려운 문제를 풀 때, 주로 "한 번에 여러 가지 답안 (생각의 흐름) 을 만들어낸 뒤, 그중 가장 그럴듯해 보이는 하나를 고르는" 방식을 썼습니다. 마치 시험을 볼 때 답안지 16 장을 모두 작성하고, 그중에서 점수가 가장 높아 보이는 것을 고르는 것과 비슷하죠.

하지만 여기서 큰 문제가 생깁니다.

• 기존 방식 (점수 매기기): AI 가 각 답안을 따로따로 보며 "이거 10 점, 저거 8 점"이라고 점수를 매깁니다. 문제는 AI 가 혼자서 점수를 매길 때, "정답인지 틀린지"를 절대적인 기준으로 잘 판단하지 못한다는 것입니다. (예: 엉뚱한 답에도 10 점, 진짜 정답에도 8 점을 주는 식의 혼란)
• 새로운 발견: 연구팀은 AI 가 **"서로 비교"**할 때는 훨씬 똑똑해진다는 사실을 발견했습니다. "이 답과 저 답 중 뭐가 더 나아?"라고 물어보면, AI 는 훨씬 정확하게 판단합니다.

이 논문의 제목인 V1은 바로 이 **"비교를 통한 자기 검증"**을 핵심으로 한 새로운 시스템입니다.

---

🚀 V1 의 두 가지 핵심 무기

이 시스템은 크게 두 단계로 나뉩니다.

1. V1-Infer: "토너먼트 방식의 치열한 대결" (시험장에서 쓰는 전략)

AI 가 16 개의 답안을 만들어냈을 때, 기존 방식은 각 답안을 따로 평가합니다. 하지만 V1-Infer 는 토너먼트 (Swiss System) 방식을 사용합니다.

• 비유: 16 명의 선수가 있는 축구 토너먼트를 상상해 보세요.
  • 기존 방식: 심판이 각 선수의 경기 영상을 따로 보고 "A 는 8 점, B 는 7 점"이라고 점수를 줍니다.
  • V1-Infer 방식: 선수들을 서로 붙입니다. "A 와 B 중 누가 더 잘했나?", "C 와 D 중 누가 더 잘했나?"라고 직접 대결을 시킵니다.
  • 핵심 전략 (불확실성 가이드): 모든 경기를 다 할 필요는 없습니다. V1-Infer 는 **"누가 이길지 가장 애매한 경기"**에 집중합니다. (예: 10 점과 9 점 차이인 두 선수를 붙여 승부를 가리는 것). 이렇게 하면 적은 노력으로 가장 확실한 정답을 골라낼 수 있습니다.

결과: 수학 문제나 코딩 문제에서 정답을 찾을 확률이 기존보다 최대 10% 까지 높아졌습니다. 특히 어려운 문제일수록 이 차이가 큽니다.

2. V1-PairRL: "생각과 비판을 동시에 훈련하는 학교" (학습 단계에서의 전략)

기존에는 AI 가 문제를 풀기만 훈련하고, 나중에 따로 '심판 (검증자)'을 훈련시켰습니다. 하지만 V1-PairRL 은 한 명의 AI 가 '문제 풀이'와 '심판'을 동시에 배웁니다.

• 비유:
  • 기존: 학생이 시험을 보고, 나중에 다른 선생님이 채점해 주는 방식. 학생은 채점 기준을 잘 모를 수 있습니다.
  • V1-PairRL: 학생이 문제를 풀면서 동시에 "내 풀이가 왜 맞는지, 왜 틀린지"를 스스로 평가하는 법을 배웁니다.
  • 공생 관계: 학생이 풀이를 잘하게 되면, 심판 (자신) 도 더 높은 수준의 답안을 구별할 수 있게 되고, 심판이 잘하게 되면 학생도 더 좋은 답을 만들게 됩니다. 서로가 서로를 성장시키는 '공진화 (Co-evolution)' 시스템입니다.

결과: 이 방법으로 훈련된 AI 는 시험장에서 더 좋은 성적을 내고, 심지어 추가적인 검증 없이도 처음부터 더 좋은 답을 만들어냅니다.

---

💡 왜 이것이 중요한가요? (일상적인 예시)

예시 1: 코딩 실수 찾기

• 상황: 프로그램에 버그가 있습니다. 16 가지 해결책이 나왔습니다.
• 기존: AI 가 "이 코드는 10 점, 저 코드는 10 점"이라고 합니다. (모두 비슷해 보임)
• V1: "이 코드는 시간이 너무 오래 걸리고, 저 코드는 메모리를 아껴서 더 낫다"라고 직접 비교합니다. 그래서 효율적인 정답을 찾아냅니다.

예시 2: 소프트웨어 버그 수정 (SWE-bench)

• 상황: 실제 기업에서 사용하는 프로그램에 버그가 생겼습니다.
• V1: AI 가 만든 여러 개의 '패치 (수정 코드)'를 서로 비교하며, "이건 표면만 고친 거고, 저건 근본 원인을 고친 거야"라고 판단하여 가장 확실한 수정안을 선택합니다.

---

🏆 요약: V1 이 가져온 변화

1. 혼자 점수 매기기보다 "서로 비교하기"가 훨씬 정확하다. (비교의 힘)
2. 애매한 대결에 집중하면 적은 비용으로 정답을 찾을 수 있다. (효율성)
3. 문제 풀이와 검증 능력을 동시에 훈련하면 AI 가 더 똑똑해진다. (학습의 시너지)

이 논문은 AI 가 단순히 "답을 많이 만들어내는 것"을 넘어, **"만든 답들 중에서 진짜 정답을 찾아내는 능력"**을 획기적으로 향상시켰다는 점에서 매우 중요합니다. 마치 수많은 후보자 중에서 가장 적합한 사람을 뽑는 '최고의 면접관'을 AI 스스로에게 심어준 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 병렬 추론 (Parallel Reasoning) 기법이 주목받고 있습니다. 이는 단일 추론 경로 대신 여러 개의 독립적인 사고 체인 (Chain-of-Thought) 을 생성하고, 그중 가장 정답일 확률이 높은 것을 선택하는 방식입니다.

그러나 병렬 추론의 핵심 병목 현상은 검증 (Verification) 에 있습니다.

• 기존 방식의 한계: 기존 연구들은 생성된 여러 후보 솔루션을 개별적으로 점수화 (Pointwise Scoring) 하여 검증합니다. 하지만 모델은 절대적인 점수를 매기는 데 있어 보정 (Calibration) 이 잘 되지 않아, 틀린 답을 높은 점수로 매기거나 (과대평가), 정답을 낮은 점수로 매기는 경향이 있습니다.
• 자기 집합 (Self-Aggregation) 의 문제: 여러 답을 하나로 합쳐서 개선하려는 시도 (예: RSA) 는 때때로 다양성 붕괴 (Diversity Collapse) 를 일으켜, 정답이 포함된 후보군을 실수로 제거해 버리는 경우가 많습니다.
• 핵심 질문: 어떻게 하면 모델이 생성한 여러 후보들 사이에서 상대적 비교 (Pairwise Comparison) 를 통해 더 정확하게 정답을 식별할 수 있을까요? 또한, 추론과 검증을 동시에 학습시켜 추론 능력을 극대화할 수 있을까요?

2. 제안 방법론 (Methodology)

저자들은 V1이라는 통합 프레임워크를 제안하며, 이는 크게 추론 시 (Inference) 와 학습 시 (Training) 두 가지 구성 요소로 나뉩니다.

A. V1-Infer: 불확실성 기반의 쌍대 비교 검증 알고리즘

생성된 N 개의 후보 솔루션 중 정답을 선택하기 위해, 개별 점수화 대신 쌍대 비교 (Pairwise Comparison) 를 사용합니다.

• 토너먼트 기반 순위 매기기: 모든 쌍을 비교하는 것은 비효율적이므로, 스위스 방식 (Swiss-system) 토너먼트 전략을 사용합니다.
• 불확실성 유도 (Uncertainty-Guided): 현재 점수가 비슷한 (즉, 어느 것이 더 나은지 불확실한) 후보 쌍에 검증 컴퓨팅 자원을 집중적으로 할당합니다.
  • 1 단계 (Topology Coverage): 모든 후보가 최소한 한 번 이상 비교되도록 하여 그래프의 연결성을 보장합니다.
  • 2 단계 (Swiss Refinement): 현재 점수가 가장 가까운 후보들을 짝지어 비교함으로써 순위의 모호함을 해결합니다.
• 가중치 집계: 단순 승패가 아닌, 모델이 매긴 점수 차이 (예: 10 점 vs 9 점) 를 기반으로 신뢰도 가중치를 부여하여 최종 점수를 계산합니다.

B. V1-PairRL: 생성과 검증을 통합한 강화학습 (RL) 프레임워크

기존 RL 은 정답 생성에만 초점을 맞추거나, 검증기를 별도의 모델로 학습시켰습니다. V1-PairRL 은 단일 모델이 생성자 (Generator) 와 쌍대 검증자 (Pairwise Verifier) 역할을 동시에 수행하도록 공동 학습 (Co-training) 합니다.

• 공진화 (Co-evolution): 생성 모델이 발전함에 따라 생성되는 데이터 분포가 변합니다. 검증자는 항상 현재 생성 모델의 분포에 맞는 (In-distribution) 데이터를 학습하므로, 추론 시 더 강력한 검증 능력을 갖게 됩니다.
• 보상 설계 (Reward Design):
  • 생성 보상: 정답 여부 (Ground Truth) 에 기반.
  • 검증 보상: 두 솔루션을 비교하여 정답/오답을 얼마나 정확히 구분했는지에 기반.
  • Reward Hacking 방지: 검증자가 모든 답에 중간 점수 (0.5) 를 주어 보상을 피하는 것을 막기 위해, 오답에 대해서는 낮은 점수, 정답에 대해서는 높은 점수를 명확히 부여하도록 스파스 임계값 (Sparsity Threshold) 을 도입했습니다. 또한, 검증 학습 시 항상 정답이 포함된 쌍을 사용하도록 하여 모델이 터무니없는 답만 생성하도록 유도하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 쌍대 비교의 우월성 입증: 병렬 추론에서 개별 점수화 (Pointwise) 는 보정 붕괴 (Calibration Collapse) 를 일으키지만, 쌍대 비교는 상대적으로 더 강건하고 정확한 검증이 가능함을 실험적으로 증명했습니다.
2. V1-Infer 알고리즘 개발: 불확실성 기반의 스위스 토너먼트 전략을 통해, 제한된 검증 예산 (Budget) 내에서 기존 방법 (RSA 등) 보다 높은 정확도를 달성하면서도 다양성 붕괴를 방지했습니다.
3. V1-PairRL 프레임워크 제안: 생성과 쌍대 검증을 단일 모델에서 공동 학습하는 새로운 RL 방식을 도입하여, 추론 시 확장성 (Test-time Scaling) 과 기본 생성 능력 (Base Pass@1) 을 모두 향상시켰습니다.

4. 실험 결과 (Results)

논문은 코드 생성 (LiveCodeBench, CodeContests, SWE-Bench) 및 수학 추론 (AIME, HMMT) 벤치마크에서 V1 을 평가했습니다.

• V1-Infer 성능:

  • 기존 개별 점수화 (Pointwise Verification) 대비 Pass@1 을 최대 10% 향상시켰습니다.
  • Recursive Self-Aggregation (RSA) 보다 적은 모델 호출 횟수로 더 높은 정확도를 달성했습니다.
  • 특히 난이도가 높은 문제에서 성능 향상이 두드러졌습니다 (예: Hard 문제에서 +23.7% 향상).
  • SWE-Bench Lite(실제 소프트웨어 엔지니어링 태스크) 에서도 패치 선택 정확도를 유의미하게 개선했습니다.

• V1-PairRL 성능:

  • 테스트 시간 확장 (Test-time Scaling): V1-Infer 와 결합 시, 기존 RL 기반 모델 대비 7~9% 의 추가적인 성능 향상을 보였습니다.
  • 기본 생성 능력 향상: 테스트 시간 확장 없이도, 표준 RL 대비 최대 8.7% 까지 기본 Pass@1 을 개선했습니다. 이는 검증 학습이 모델의 근본적인 추론 능력을 향상시켰음을 의미합니다.
  • 비교: 점수 기반 공동 학습 (V1-PointRL) 보다 쌍대 비교 학습 (V1-PairRL) 이 더 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 병렬 추론 능력을 극대화하기 위해 검증 (Verification) 과 생성 (Generation) 을 분리하지 않고 통합적으로 접근해야 함을 강조합니다.

• 방법론적 혁신: 절대적 점수 매기기의 한계를 극복하고, 상대적 비교를 통해 모델의 보정 능력을 향상시켰습니다.
• 효율성: 불확실성이 높은 영역에 컴퓨팅 자원을 집중함으로써, 전체적인 추론 비용을 줄이면서 성능을 높였습니다.
• 학습 패러다임 전환: 검증 능력을 모델 학습 과정에 통합함으로써, 추론 시 더 나은 성능을 발휘하는 '자기 검증 가능한' 모델을 만들 수 있음을 보여주었습니다.

결론적으로, V1 프레임워크는 복잡한 추론 과제에서 LLM 의 성능을 한 단계 끌어올릴 수 있는 강력한 기반을 제공하며, 특히 코드 생성 및 수학 문제 해결과 같은 검증 가능한 도메인에서 큰 잠재력을 가지고 있습니다.