기술 요약: 공진화적 판별 기준을 통한 자기 진화 언어 모델 EVOLM

1. 문제 제기

대규모 언어 모델 (LLM) 의 현재 사후 훈련 방법, 특히 인간 피드백을 통한 강화 학습 (RLHF) 은 보상 신호 생성을 위해 외부 감독에 크게 의존합니다. 이러한 소스에는 인간 선호도 주석, 독점 API 기반 판정자 (LLM-as-a-judge), 스칼라 보상 모델, 또는 검증 가능한 정답이 포함됩니다. 각각은 모델 개선에 근본적인 한계를 부과합니다: 인간 판단은 그 자체의 능력을 넘어서는 능력을 감독할 수 없으며, 독점 API 는 의존성과 비용 장벽을 창출하고, 스칼라 보상 모델은 보상 해킹에 취약하며, 검증 가능한 보상은 정답이 있는 영역으로 제한됩니다.

LLM 은 사전 훈련을 통해 상당한 평가 지식을 인코딩하고 있지만, 현재 방법은 이러한 잠재 지식을 신뢰할 수 있고 자급자족적인 훈련 신호로 구조화하지 못합니다. 핵심 과제는 외부 감독 없이 신뢰할 수 있는 점수 매기를 가능하게 하는 형태로 이러한 평가 능력을 추출하고 구조화하여, 모델이 정적 평가 기준의 한계를 넘어 스스로 개선할 수 있도록 하는 것입니다.

2. 방법론: EVOLM

저자들은 단일 언어 모델이 자체 생성 (정책) 과 평가 (기준) 능력을 공진화하도록 하는 사후 훈련 프레임워크인 EVOLM을 제안합니다. 핵심 혁신은 평가 지식을 **판별 기준 (discriminative rubrics)**으로 명시적으로 구조화하는 것입니다. 이는 선호 응답과 비선호 응답을 구분하는 데 도움이 되도록 최적화된 자연어 기준입니다.

2.1 핵심 구성 요소

• 정책 모델 ($\pi_\theta$): 질문에 대한 응답을 생성합니다.
• 기준 생성기 ($\rho_\phi$): 주어진 질문에 대해 자연어로 인스턴스별 평가 기준 (기준) 을 생성합니다.
• 동결 판정자 (Frozen Judge, $J$): 생성된 기준에 따라 응답을 점수 매기는 작고 고정된 언어 모델 (예: Qwen3-1.7B) 입니다. 판정자의 매개변수는 훈련 내내 동결된 상태로 유지됩니다.

2.2 훈련 목적 및 메커니즘

EVOLM 은 기준을 잠재 변수로 간주하고 변분 추론을 통해 기준 생성을 공식화합니다. 목표는 기준의 **판별 유용성 (discriminative utility)**을 최대화하는 것입니다. 기준은 고정된 판정자에 의해 적용될 때 선호 응답 ($a^+$) 에 비선호 응답 ($a^-$) 보다 높은 점수를 부여할 경우 "좋다"고 평가됩니다.

훈련 목적은 증거 하한 (ELBO) 을 최대화하며, 선호 응답과 비선호 응답 간의 점수 차이를 넓히는 기준에 보상을 제공합니다:
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
실제 적용에서는 판정자가 파싱할 수 있는 구조화된 JSON 스키마를 준수하도록 보장하기 위해 마진 기반 보상과 포맷 보상을 결합하여 최적화합니다.

2.3 공진화 훈련 루프

이 방법은 GRPO(그룹 상대 정책 최적화) 알고리즘을 사용하여 두 단계를 번갈아 수행합니다:

1. 1 단계 (정책 업데이트): 기준 생성기가 동결됩니다. 정책이 응답을 생성하면 현재 기준을 사용하여 고정된 판정자가 점수를 매깁니다. 정책은 이러한 기준에서 유도된 보상을 최대화하도록 업데이트됩니다.
2. 2 단계 (기준 업데이트): 정책이 동결됩니다. 선호 쌍 $(a^+, a^-)$은 정책의 자체 출력에서 구성됩니다. 기준 생성기는 후보 기준을 생성하며, 판정자는 두 응답 모두에 대해 이를 점수 매깁니다. 기준 생성기는 선호 응답과 비선호 응답 간의 점수 마진을 최대화하도록 업데이트됩니다.

2.4 선호 쌍 구성

외부 레이블을 피하기 위해 EVOLM 은 세 가지 보완적 방법을 사용하여 정책의 자체 출력으로부터 선호 쌍을 완전히 구성합니다:

• 시간적 대비 (Temporal Contrast): 현재 응답 ($a^+$) 을 이전 훈련 체크포인트의 이전 응답 ($a^-$) 과 짝짓습니다. 정책이 개선됨에 따라 시간적 격차는 점진적으로 난이도가 증가하는 자연스러운 커리큘럼을 생성합니다.
• 추론 질문 (Inferred Question, IQ): 정책이 선호 응답이 다루는 질문을 추론한 후, 해당 추론된 질문에 대한 비선호 응답을 생성하여 관련성을 테스트합니다.
• 기준 조건부 (Rubric-Conditioned, RC): 기준에 조건부로 선호 응답을 생성하고 질문에만 조건부로 비선호 응답을 생성하여 기준의 유용성을 테스트합니다.

3. 주요 기여

• 자기 진화 프레임워크: EVOLM 은 기준의 품질을 판별 유용성으로 공식적으로 정의하고 외부 감독, 독점 API, 또는 작업별 검증자 없이 기준 생성기를 엔드투엔드로 훈련하는 최초의 방법입니다.
• 공진화: 이 프레임워크는 정책의 개선이 기준이 더 날카로워지도록 (판별력을 유지하기 위해) 강요하고, 더 날카로운 기준이 추가적인 정책 개선을 주도하는 더 정보적인 보상을 제공하는 피드백 루프를 확립합니다.
• 기준 풍부화 메커니즘: 정성적 분석은 훈련된 기준이 추상적 레이블에서 구체적이고 검증 가능한 확인 항목으로 진화함을 보여줍니다. 이들은 특정 기대값 (예: "정답은 144 입니다") 을 포함하고 제약 조건을 개별적으로 확인 가능한 하위 작업으로 분해하여, 작은 판정자조차도 신뢰할 수 있게 수행할 수 있는 패턴 매칭으로 전체적 판단을 변환합니다.
• 일반화: 학습된 기준은 재훈련 없이 보이지 않는 정책, 다른 모델 계열, 그리고 분포 외 영역 (예: 심층 연구 작업) 으로 효과적으로 이전됩니다.

4. 실험 결과

실험은 정책/기준 생성기로 Qwen3-8B 를, 동결 판정자로 Qwen3-1.7B 를 사용하여 수행되었습니다.

• 하류 성능: EVOLM 으로 훈련된 정책은 OLMo3-Adapt 스위트 (12 개 벤치마크) 에서 평균 **69.3%**를 달성하여 다음보다 우수한 성과를 보였습니다:
  • GPT-4.1 프롬프트 기준과 훈련된 정책 (66.7%).
  • Qwen3-8B 프롬프트 기준과 훈련된 정책 (67.5%).
  • 최첨단 스칼라 보상 모델 (SkyWork-RM-V2) 의 59.7%.
  • 66.7% 에서 67.6% 사이였던 기타 기준 기반 RL 방법 (RAR, RRD, RLCER, RUBRIC-ARM).
• 기준 품질: 학습된 기준은 RewardBench-2 에서 GPT-4.1 보다 25.7% 더 우수한 성능을 보였습니다 (구체적 지표에서 46.0% 대 20.3%, 다만 초록에서는 벤치마크에서 GPT-4.1 기준 대비 25.7% 개선이라고 인용됨).
• 일반화:
  • 교차 정책: Qwen3-8B 에서 훈련된 기준은 GPT-4.1 프롬프트 기준에 비해 보이지 않는 Qwen3-4B 및 Llama-3.1-8B 정책의 하류 성능을 향상시켰습니다.
  • 교차 판정자: 1.7B 판정자와 함께 훈련된 기준은 더 큰 판정자 (Qwen3-8B, OLMo-3-7B) 와 짝지어졌을 때에도 효과적이었으며, 프롬프트 베이스라인보다 상당한 향상을 보였습니다.
  • 분포 외: 심층 연구 작업 (HealthBench, ResearchQA) 에서 EVOLM 기준은 HealthBench 에서 GPT-4.1 보다 전문가 인간 기준과의 쌍별 일치율이 더 높았습니다 (58.4% 대 52.5%).
• 추출 연구:
  • 판정자 크기: 작은 1.7B 판정자가 최고의 하류 정책을 생성하여, 판정자 능력보다 기준 내용 품질이 더 중요함을 시사합니다.
  • 훈련 역학: 순차적 훈련 (기준 훈련 후 정책 훈련) 보다 공진화 훈련이 우수하여 적응적 피드백 루프의 중요성을 강조합니다.
  • 보상 과최적화: 스칼라 보상 모델은 정적 벤치마크 (RewardBench-2: 86.4%) 에서 우세했음에도 불구하고 가장 약한 하류 정책을 생성하여, 정적 기준이 변화하는 정책 분포에 적응하지 못함을 확인시켰습니다.

5. 중요성 및 주장

본 논문은 모델의 평가 능력을 공진화하는 판별 기준으로 구조화함으로써 외부 감독 없이 자기 개선을 가능하게 한다고 주장합니다.

저자들은 모든 외부 보상 소스가 한계를 부과한다고 주장합니다: 인간 판단은 그 자체의 능력을 넘어서는 것을 감독할 수 없으며, 정적 기준은 학습 정책이 생성하는 출력 분포에 적응할 수 없습니다. EVOLM 은 평가 기준을 정책과 함께 공진화함으로써 이러한 제약을 제거합니다. 학습된 평가 구조는 보이지 않는 정책, 판정자, 그리고 영역 간에 이전 가능함이 입증되어, 언어 모델의 자율적이고 확장 가능한 자기 개선으로 가는 길을 제시합니다.

이 연구는 기준을 단순한 해석 가능성 도구가 아닌, 사전 훈련에서 잠재 평가 지식을 추출하고 이를 신뢰할 수 있고 자급자족적인 훈련 신호로 구조화하는 메커니즘으로 위치시킵니다.