🤖 machine learning

Label-Free Reinforcement Learning via Cross-Model Entropy

본 논문은 ground-truth 라벨이나 인간 선호도에 의존하지 않고 개방형 지시 추종에 대한 효과적인 사후 훈련을 가능하게 하기 위해 독립적 검증자 모델 하에서 생성자의 출력 로그 가능도를 활용하는 라벨 없는 강화 학습 보상 신호인 교차 모델 엔트로피 (Cross-Model Entropy, CME) 를 제안한다.

원저자: Matt Gorbett, Hossein Shirazi

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matt Gorbett, Hossein Shirazi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 이야기 쓰거나 질문에 답하는 법을 가르친다고 상상해 보세요. 보통 이를 가르치려면 정답을 아는 교사 (수학 시험을 채점하는 수학 선생님 같은) 나 "이 답은 좋고 저 답은 나쁘다"라고 말하는 인간 심사관이 필요합니다. 하지만 인간 심사관을 구하는 것은 비용이 많이 들고, 수학 선생님들은 수학 문제에만 적용될 뿐입니다.

이 논문은 인간 교사나 "정답 키" 없이 로봇을 가르치는 새로운 방법을 소개합니다. 이를 크로스 - 모델 엔트로피 (Cross-Model Entropy, CME) 라고 부릅니다.

다음은 간단한 비유를 통해 그 작동 원리를 설명한 것입니다:

문제: 로봇이 자기 자신과 대화하기

로봇에게 이야기 쓰기를 요청한다고 가정해 보세요. 그 이야기가 좋은지 확인하기 위해, 같은 로봇에게 그 이야기를 읽고 "내가 이 이야기를 믿을 수 있는가?"라고 물어봅니다.

위험 요소: 로봇이 혼란스러우거나 실수를 저지르면, 자신에게 "네, 이건 완벽하게 논리적이야!"라고 자신 있게 말하며 실수를 스스로 강화할 수 있습니다. 마치 학생이 자신의 숙제를 채점해 모든 문제를 틀렸음에도 스스로 'A'를 주는 것과 같습니다.

해결책: "놀람" 측정기

로봇이 스스로를 판단하게 하는 대신, 저자들은 완전히 다른 계열의 로봇에서 온 두 번째 로봇 (검증자) 을 데려옵니다.

설정: 로봇 A (학생) 가 답을 작성합니다. 로봇 B (선생님) 가 그것을 읽습니다.
측정 기준: 로봇 B 에게 "이게 맞는 거야?"라고 묻지 않습니다. 대신 **"이것에 대해 얼마나 놀랐나요?"**라고 묻습니다.
- 로봇 B 가 답을 읽고 "아, 이건 매우 평범하고 논리적인 말이군"이라고 생각한다면, 놀라지 않은 것입니다. 이는 높은 점수를 받습니다.
- 로봇 B 가 답을 읽고 "잠깐, 이건 말이 안 돼! 이상하군!"이라고 생각한다면, 매우 놀란 것입니다. 이는 낮은 점수를 받습니다.

"크로스 - 모델" 트릭

비밀은 로봇 A 와 로봇 B 가 서로 다른 모델 (예: 하나는 구글에서 만들고 다른 하나는 메타에서 만듦) 이라는 점에 있습니다.

서로 다르기 때문에 로봇 A 는 자신의 내부 논리를 이용해 로봇 B 를 속일 수 없습니다.
로봇 A 가 환각 (사실을 왜곡하거나 지어내는 것) 을 시도하면, 로봇 B 는 로봇 A 의 특정 실수를 공유하지 않기 때문에 놀랄 가능성이 높습니다.
이는 로봇이 자신의 실수를 반복함으로써 시스템을 속이는 것을 방지합니다.

활용 방법

연구자들은 GRPO(로봇을 훈련시키는 방법) 라는 방법을 사용했는데, 기존의 "보상"을 이 "놀람 측정기"로 대체했습니다.

로봇이 한 질문에 대해 여러 가지 다른 답을 생성합니다.
두 번째 로봇이 모든 답을 읽고 각각에 대해 얼마나 "놀랐는지" 측정합니다.
첫 번째 로봇은 두 번째 로봇이 덜 놀라게 만드는 답을 생성하도록 학습합니다 (즉, 답이 더 자연스럽고 고품질임을 의미합니다).

발견한 점

저자들은 Qwen, Llama, Gemma, OLMo 등 네 가지 다른 유형의 로봇을 대상으로 이를 테스트한 결과, 다음과 같은 사실을 발견했습니다:

효과 입증: 이 "놀람 측정기"로 훈련된 로봇들은 전혀 훈련받지 않은 로봇들보다 지시 따르기 능력이 훨씬 뛰어났습니다.
경쟁자 압도: 비싼 인간 피드백 데이터로 훈련된 로봇들과同等한 성능을 보였지만, 인간 라벨이 전혀 필요하지 않았습니다.
더 훌륭한 교사가 더 낫다: "두 번째 로봇" (검증자) 의 능력이 높을수록 첫 번째 로봇의 학습 효과도 더 좋습니다.
무작위는 효과가 없다: 무작위 로봇을 선생님으로 사용하면 큰 도움이 되지 않았습니다. 이는 신호가 무작위 노이즈가 아니라 교사의 실제 지능에서 비롯됨을 증명합니다.

결론

이 논문은 다른 독립적인 모델을 놀라게 하지 않으려 노력함으로써 대규모 언어 모델을 더 똑똑하고 유용하게 만들 수 있음을 보여줍니다. 이는 인간 심사관에게 비용을 지불하거나 정답 데이터베이스가 필요 없이 고품질 훈련을 얻을 수 있는 방법입니다.

저자들이 언급한 한계점:

두 모델을 동시에 실행해야 하므로 더 많은 컴퓨팅 전력이 필요합니다.
소규모 모델과 영어 텍스트에만 테스트되었으므로, 거대 모델이나 다른 언어에서도 완벽하게 작동하는지는 아직 알 수 없습니다.
로봇이 단순히 두 번째 로봇과 똑같이 들리게 배우고 진정한 창의성은 발휘하지 못할 위험이 약간 있지만, 테스트에서는 이런 현상이 관찰되지 않았습니다.

기술 요약: 교차 모델 엔트로피를 통한 라벨 없는 강화 학습

문제 제기
강화 학습 (RL) 을 통한 대규모 언어 모델 (LLM) 의 사후 학습은 현재 신뢰할 수 있는 보상 신호에 대한 요구 사항으로 인해 병목 현상을 겪고 있습니다. 기존 접근 방식은 다음과 같은 이분법에 직면해 있습니다:

정답 검증자 (Ground-truth verifiers): PPO 와 GRPO 와 같은 방법은 수학 또는 코드 실행과 같이 자동으로 검증 가능한 정확성에 의존합니다. 이는 RL 학습을 객관적인 답이 있는 영역으로 제한하여, 개방형 지시 따르기를 배제합니다.
인간 선호도 라벨: RLHF 와 DPO 와 같은 방법은 비싼 인간 주석이 필요하며 보상 해킹에 취약합니다.
라벨 없는 자기 참조 신호: 최근의 대안들 (예: TTRL, Evol-RL, RENT) 은 다수결 투표나 토큰 엔트로피를 통해 생성기의 자체 출력으로부터 보상을 도출합니다. 그러나 이러한 방법들은 개방형 작업에 구조적으로 결함이 있습니다: 모델이 체계적으로 틀렸더라도 내부적으로 일관성이 있다면, 자기 참조 신호는 오류를 수정하는 대신 강화하게 됩니다. 또한, 다수결 투표는 표준 답안이 필요하므로 개방형 생성에는 적용할 수 없습니다.

방법론: 교차 모델 엔트로피 (CME)
저자들은 정답 라벨이나 인간 선호도 없이 개방형 지시 따르기로 RL 을 확장하기 위해 설계된 라벨 없는 보상 신호인 교차 모델 엔트로피 (Cross-Model Entropy, CME) 를 제안합니다.

핵심 개념: 생성기가 자신의 출력을 평가하도록 요구하는 대신, CME 는 별도의 독립적인 검증 모델( $\pi_\phi$ ) 이 생성기의 응답을 얼마나 "놀라운지"를 측정합니다.
보상 정의: 보상은 검증 모델 하에서 생성기의 응답에 대한 음의 로그 가능도로 정의됩니다.
$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$
여기서 $y_{aligned}$ 는 생성기의 토큰이 검증자의 토큰 공간에 정렬된 것을 나타냅니다.
이론적 근거: 기대 CME 를 최대화하는 것은 수학적으로 역 KL 발산 $D_{KL}(\pi_\theta \parallel \pi_\phi)$ 을 최소화하는 것과 동일합니다 (생성기 엔트로피 항을 제외하고). 이는 효과적으로 생성기의 정책을 검증자의 분포로 증류합니다. 검증자가 도메인 내에서 생성기보다 더 유능하다면, 이는 생성기를 더 높은 품질의 출력으로 이끕니다.
구현 세부 사항:
- 통합: CME 는 GRPO(Group Relative Policy Optimization) 프레임워크에 통합됩니다. 이는 표준 스칼라 보상을 토큰 수준의 연속 신호로 대체합니다.
- 토큰 정렬: 생성기와 검증자 토크나이저 간의 불일치 (예: Qwen 대 Gemma) 를 처리하기 위해 저자들은 문자 단위 정렬 절차를 사용합니다. 검증자 로그 확률은 생성기 토큰과의 문자 중첩 비율로 가중치를 부여하여, 토크나이저 세분성과 관계없이 총 로그 가능도가 보존되도록 합니다.
- 학습 루프: 설정상 검증자에 대한 학습은 필요 없으며, 검증자 가중치는 고정됩니다. 생성기는 CME 점수에서 파생된 그룹 정규화 이점을 사용하여 업데이트됩니다.

주요 기여

새로운 보상 신호: 자기 참조 신호가 아닌 교차 모델 평가에 의존하는 연속적이고 학습이 필요 없으며 라벨 없는 보상인 CME 의 도입.
개방형 RL 로의 확장: 자기 일관성과 다수결 투표가 실패하는 영역인 개방형 지시 따르기로 라벨 없는 RL 을 성공적으로 확장.
실증적 검증: 어떤 선호도 주석도 사용하지 않고 네 가지 모델 계열 (Qwen, Llama, Gemma, OLMo) 과 세 가지 학습 regimes(사전 학습, SFT, 지시 튜닝) 에서 CME-GRPO 가 성능을 향상시킨 것을 입증.
신호 검증: 무작위 초기화된 검증자가 실제 가중치 검증자보다 현저히 낮은 성능을 보임으로써, 신호가 일반적인 정규화의 산물이 아니라 교차 모델 평가에서 비롯되었음을 증명.

실험 결과
저자들은 LLM-as-Judge(GPT-5.2 및 Claude Sonnet 4.6) 를 사용하여 AlpacaEval 2.0벤치마크 (805 개의 프롬프트) 에서 CME-GRPO 를 평가했습니다.

베이스 대비 성능: 모든 모델 계열에 대한 모든 직접 비교에서 CME-GRPO 는 학습되지 않은 베이스 모델을 능가했습니다. 동점 조정 승률은 52.5% 에서 71.4% 사이였습니다.
SFT/DPO 대비 성능: SFT 백본에서 CME-GRPO 는 전체 UltraFeedback 데이터셋 (선호도 주석 포함) 을 사용하여 동일한 베이스로 훈련된 DPO 모델의 성능과 일치했습니다. 이는 CME-GRPO 가 선호도 라벨 없이 프롬프트만 사용했음에도 불구하고 달성한 결과입니다.
검증자 능력: 성능은 검증자의 능력에 따라 확장되었습니다. 더 큰 검증자 (Gemma-4-E4B-it) 가 더 작은 검증자보다 더 높은 승률을 기록했습니다. 중요한 점은 무작위 초기화된 검증자가 모든 실제 검증자보다 낮은 성능을 보여, 신호가 일반적인 정규화의 산물이 아님을 확인시켰다는 것입니다.
자기 참조 방법과의 비교: CME-GRPO 는 특히 자기 참조 신호가 오류를 강화하기 쉬운 사전 학습 백본에서, 자기 참조 엔트로피 최소화 방법인 RENT 보다 일관되게 우수한 성능을 보였습니다.

의의 및 주장
이 논문은 CME 가 인간 선호도 데이터의 prohibitive 한 비용이나 자기 참조 보상의 구조적 위험 없이 개방형 작업을 위한 LLM 의 사후 학습을 위한 실현 가능한 경로를 제공한다고 주장합니다. 독립적이고 유능한 모델의 "놀라움"을 활용함으로써, 이 방법은 정답의 정확성을 요구하지 않고도 생성기를 고품질 분포에 정렬시킵니다.

저자들은 이 방법이 효과적이지만, 검증자가 목표 도메인에서 생성기보다 더 유능하다는 가정에 의존한다고 지적합니다. 또한 검증자를 생성기와 함께 실행하는 계산 오버헤드, 검증자의 스타일로 편향될 가능성 (모드 붕괴), 그리고 평가가 인간 평점 대신 LLM 심판에 의존한다는 점 등 한계를 인정합니다. 이 연구는 명시적 라벨이 없는 상황에서 유능한 모델에 대한 "놀라지 않는" 응답이 고품질의 강력한 대리 지표가 될 수 있음을 시사합니다.