💬 NLP

Breaking the Self-Confirming Loop: Diagnosing and Mitigating Systemic Reward Bias in Self-Rewarding RL

이 논문은 모델이 높은 확신을 가진 실수에 과도하게 보상하는 자기 보상 강화 학습에서의 체계적인 자기 확인 편향을 식별하고, 다양한 모델 집합을 통해 이러한 불안정성을 완화하여 레이블이 없는 데이터에서도 효과적으로 확장하면서 지도 학습 방식에 근접한 성능을 달나오는 앙상블 보상 강화 학습(RLER)을 제안한다.

원저자: Chuyi Tan, Peiwen Yuan, Xinglin Wang, Yiwei Li, Shaoxiong Feng, Yueqi Zhang, Jiayi Shi, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chuyi Tan, Peiwen Yuan, Xinglin Wang, Yiwei Li, Shaoxiong Feng, Yueqi Zhang, Jiayi Shi, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 그림: 선생님 없는 학생 가르치기

당신이 학생(AI 모델)에게 수학 문제를 푸는 법을 가르치려 한다고 상상해 보세요.

기존 방식 (RLVR): 당신은 정답지가 있는 엄격한 선생님입니다. 학생이 답을 낼 때마다 정답지를 확인합니다. 맞으면 금색 별을 주고, 틀리면 빨간 X를 줍니다. 이 방식은 훌륭하지만, 정답지를 만드는 데 비용과 시간이 많이 들기 때문에 금방 한계에 부딪힙니다.
"자기 보상" 방식 (RLIR): 비용을 아끼기 위해, 학생에게 스스로 숙제를 채점하게 합니다. "네 답이 맞다고 생각되면, 스스로에게 금색 별을 줘도 좋아." 이렇게 하면 무제별로 연습 문제를 사용할 수 있습니다.

문제점: 이 논문은 "자기 보상" 방식에 치명적인 결함이 있다고 주장합니다. 바로 **자기 확증 루프(self-confirming loop)**를 만든다는 것입니다.

결함: 과도한 자신감에서 비롯된 실수

매우 자신만만하지만 실제로는 틀린 학생을 상상해 보세요.

학생이 문제를 틀리게 풀었습니다.
자신의 답에 너무 확신이 있었기 때문에, 스스로에게 금색 별을 줍니다.
학습 알고리즘(선생님)은 그 금색 별을 보고 "잘했어! 앞으로도 이렇게 해!"라고 말합니다.
학생은 자신의 틀린 방식에 대해 더욱 자신감을 갖게 됩니다.

논문은 이를 **체계적 보상 편향(systemic reward bias)**이라고 부릅니다. AI는 단순히 실수를 하는 것이 아니라, 자신의 실수에 대한 자신감을 스스로 강화하고 있습니다. 이는 "목소리 큰" 오답은 보상을 받고, "조용한" 정답은 무시될 수 있는 피드백 루프를 만들어냅니다. 이로 인해 AI는 불안정해지고 지능의 성장에 낮은 천장을 마주하게 됩니다.

진단: 세 가지 "활력 징후"

이를 증명하기 위해 저자들은 자기 채점 시스템의 병세를 측정하는 세 가지 "활력 징후"(지표)를 고안했습니다.

보상 노이즈 ( $\rho_{noise}$ ): 채점에 얼마나 많은 "잡음"이 섞여 있는가? AI가 무작위로 별을 주고 있는가?
자기 편향 ( $\rho_{selfbias}$ ): 성적이 학생의 자신감과 얼마나 밀접하게 연결되어 있는가? 만약 학생이 자신감이 있다면, 설령 틀렸더라도 항상 좋은 점수를 받는가? (논문은 이 연결고리가 너무 강하다는 것을 발견했습니다.)
왜곡 ( $\rho_{symbias}$ ): 채점이 별을 너무 많이 주는 쪽(과잉 보상)으로 치우쳐 있는가, 아니면 너무 적게 주는 쪽으로 치우쳐 있는가? 논문은 시스템이 과잉 보상하는 방향으로 위험하게 편향되어 있다는 것을 발견했습니다.

해결책: RLER ("심사 위원단")

이를 해결하기 위해 저자들은 RLER(앙상블 보상을 이용한 강화 학습, Reinforcement Learning with Ensembled Rewards)이라는 새로운 방법을 제안합니다. 한 명의 학생이 스스로 채점하는 대신, 다양한 학생들로 구성된 심사 위원단이 채점을 하게 합니다.

RLER의 작동 단계는 다음과 같습니다.

1. 심사 위원단 (앙상블)

하나의 AI가 자신의 작업을 채점하는 대신, 약간씩 다른 여러 AI 모델들(앙상블)이 작업을 채점합니다.

비유: 5명의 서로 다른 학생들이 같은 문제를 푸는 교실을 상상해 보세요. 한 학생이 스스로 채점하는 대신, 그들이 서로의 답안지를 교환하여 함께 검토합니다.
효과: 한 학생이 자신만만하게 틀렸더라도, 다른 학생들이 그 오류를 찾아낼 수 있습니다. 이는 보상이 단 한 사람의 자신감에만 의존하지 않게 함으로써 "자기 확증 루프"를 깨뜨립니다.

2. 스마트 채점기 (적응형 보간법)

시스템은 단순히 다수결을 따르는 것이 아닙니다. 위원단의 의견이 얼마나 일치하는지에 따라 엄격함을 조절하는 "스마트 채점기"를 사용합니다.

비유: 위원단 전체가 답에 동의하면, 채점기는 엄격하게 "합격" 또는 "불합격"을 명확히 줍니다. 만약 위원단이 혼란스러워하거나 의견이 갈린다면, 채점기는 "부분적으로 맞을 수도 있음"이라고 말하며 부드럽게 대응합니다. 이는 단순히 "불합격"이라고 단정 짓지 않습니다.
효과: 이를 통해 약간 다른 형태의 정답에 대해 시스템이 너무 가혹하게 굴거나, 자신감 넘치는 오답에 대해 너무 관대해지는 것을 방지합니다.

3. "불일치" 필터 (롤아웃 선택)

이것이 가장 영리한 부분입니다. 시스템은 심사 위원단이 의견이 일치하지 않는 경우를 특별히 찾아냅니다.

비유: 4명의 학생은 "답은 5입니다"라고 하고 1명의 학생은 "답은 10입니다"라고 하는데, 그 1명의 학생이 매우 자신만만하다면, 시스템은 이를 포착합니다. 시스템은 "잠깐, 이 자신만만한 예외 사례는 함정일 수 있어"라고 판단합니다. 그리고 이러한 고자신감 실수를 처벌합니다.
효 효과: 이는 기존의 자기 보상 시스템을 망가뜨리는 "과도한 자신감에서 비롯된 실수"를 적극적으로 사냥합니다.

결과: 안정적이고 똑똑한 학생

저자들은 이 새로운 방법(RLER)을 기존의 자기 채점 방식 및 "엄격한 선생님" 방식(RLVR)과 비교 테스트했습니다.

성능: RLER은 엄격한 선생님(최고 점수의 3.6% 이내)과 거의 대등한 성능을 보였으며, 기존의 자기 채점 방식보다는 훨씬 뛰어난 성능(6.2% 향상)을 보였습니다.
안정성: 훈련 과정이 무너지거나 폭주하지 않았습니다. "활력 징후"를 확인한 결과, 노이즈는 감소했고, 과잉 보상에 대한 편향은 사라졌으며, 시스템이 자신의 실수를 강화하는 현상도 멈췄습니다.
효율성: 훈련 과정에서는 "패널" 모델들을 사용했지만, 마지막에는 하나의 모델로 합쳤습니다. 따라서 실제로 AI를 사용할 때는 추가 비용 없이 일반적인 AI와 똑같이 빠르게 실행됩니다.

요약

이 논문은 AI가 스스로를 채점하게 두는 것이 위험한 이유는, AI가 과도한 자신감에서 비롯된 실수라는 루프에 빠질 수 있기 때문이라고 말합니다. 그들의 해결책은 AI 팀이 함께 작업 내용을 채점하게 하고, 팀원 간의 의견 불일치를 포착하는 스마트한 시스템을 사용하는 것입니다. 이를 통해 AI가 스스로에게 거짓말하는 것을 막아, 인간 선생님 없이도 훨씬 더 똑똑하고 안정적으로 만들 수 있습니다.

기술 요약: 자기 보상 RL에서의 체계적 보상 편향 진단 및 완화

1. 문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 확장하는 데 효과적임이 입증되었으나, 라벨링된 데이터의 부족이라는 제약을 받는다. 내재적 보상을 활용한 강화 학습(RLIR), 즉 자기 보상(self-rewarding) 방식은 정책 모델이 스스로 보상 신호를 생성하게 함으로써 확장 가능한 대안을 제공한다. 그러나 RLIR 방식은 종종 불안정성과 RLVR 대비 열등한 성능 문제를 겪는다.

저자들은 이 격차의 근본 원인을 자신감과 결합된 자기 보상(confidence-coupled self-rewarding)에 내재된 **체계적 보상 편향(systemic reward bias)**으로 식별한다. 기존 RLIR 프레임워크에서 보상 추정은 정책의 자체 자신감과 밀접하게 결합되어 있다. 이는 다음과 같은 비대칭적 오류 패턴을 생성한다:

확신에 찬 정답 (Confident Correctness): 보상 오차가 작게 유지됨.
확신에 찬 오답 (Confident Mistakes): 보상 오차가 커지며, 과잉 보상(over-rewarding)(모델이 확신을 갖는 틀린 출력에 높은 보상을 부여하는 현상)으로 이어짐.

이러한 비대칭성은 훈련 과정에서 편향된 보상이 축적되어, 정책이 과잉 보상을 향하도록 유도하고 최적화 불안정성을 초래하며, 달성 가능한 성능 상한선을 제한하는 **자기 확증 루프(self-confirming loop)**를 형성한다.

2. 방법론: RLER (앙상블 기반 보상을 활용한 강화 학습)

이러한 체계적 편향을 완화하기 위해, 저자들은 다양한 정책을 결합하여 통일된 보상 추정 공간을 구축하는 RLER(Reinforcement Learning with Ensembled Rewards)을 제안한다. RLER은 정확성(낮은 노이즈), 무편향성(방향성 드리프트 없음), 강건성(정책 자신감으로부터의 디커플링)이라는 세 가지 요구 사항을 충족하도록 설계되었다.

RLER은 다음 세 가지 핵심 메커니즘을 통해 이를 달eric한다:

A. 앙상블 기반 통합 보상 (Ensemble-Based Unified Rewarding)

단일 정책이 스스로에게 보상을 주는 대신, RLER은 $K$ 개의 다양한 소스 정책 앙상블을 사용한다.

집계 (Aggregation): 모든 정책으로부터 롤아웃(rollouts)을 샘플링하고, 이들의 정답 분포를 결합하여 통일된 앙상블 분포 $\bar{p}_j$ 를 형성한다.
다수결 합의 (Majority Consensus): 단일 모델의 출력이 아닌, 앙상블 분포로부터 도출된 통일된 다수 레이블 $m_{EC}$ 를 산출한다.
이점: 이는 단일 정책의 자신감에 대한 의존도를 낮추어 보상 노이즈( $\rho_{noise}$ )와 정책-보상 결합( $\rho_{selfbias}$ )을 모두 감소시킨다.

B. 적응형 소프트 보상 보간 (Adaptive Soft-Reward Interpolation)

하드 보상(이진 0/1)의 높은 분산과 소프트 보상(확률적)의 낮은 자신감 편향 사이의 균형을 맞추기 위해, RLER은 적응형 보간 전략을 도입한다.

메커니즘: 최종 보상 $r_i^{(\alpha)}$ 는 하드 앙상블 결정( $r^H$ )과 소프트 통일 확률( $r^S$ )의 가중치 혼합물이다:
$r_i^{(\alpha)} = (1 - \alpha)r^S_i + \alpha r^H_i$
적응형 게이트 (Adaptive Gate): 가중치 $\alpha(x)$ 는 앙상블의 통일된 자신감에 의해 동적으로 조절된다. 자신감이 높으면 하드 보상에 더 많이 의존하고, 자신감이 낮으면 소수 의견의 타당성에 대한 정보를 보존하기 위해 소프트 보상에 더 많이 의존한다.
교정 (Calibration): 다양한 난이도에 대한 강건성을 확보하기 위해 토큰 수준의 자신감과 배치 단위의 min-max 정규화를 포함한다.

C. 불일치 인지 롤아웃 선택 (Disagreement-Aware Rollout Selection)

이 메커니즘은 앙상블 불일치를 기준으로 업데이트를 필터링함으로써 과잉 보상 왜곡( $\rho_{symbias}$ )을 명시적으로 겨냥한다.

전략: 시스템은 합의의 신뢰도에 따라 업데이트 예산을 할당한다.
- 높은 합의 (다수): 업데이트가 $\alpha(x)$ 에 의해 스케일링되며, 앙상블이 신뢰할 수 있을 때만 업데이트를 강조한다.
- 불일치 (꼬리 부분): 업데이트는 소프트 항 $(1-\alpha)r^S$ 에 의존한다. 이는 정답일 가능성이 있는 소수 답변을 공격적으로 억제하는 것을 방지하는 동시에, 저빈도 노이즈를 자연스럽게 감쇄시킨다.
결과: 고신뢰도 거짓 양성(False Positives, FP)은 공격적으로 필터링되는 반면, 거짓 음성(False Negatives, FN)은 회복되어 과잉 보상으로의 드리프트를 교정한다.

D. 앙상블-단일 모델 통합 (Ensemble-to-Single Consolidation)

추가적인 추론 비용 없이 실질적인 배포를 보장하기 위해, 훈련된 $K$ 개의 정책을 Ties-Merging을 사용하여 단일 모델로 병합한다. 이를 통해 시스템은 훈련 중에는 앙상블의 이점을 활용하면서, 배포 시에는 효율적인 단일 정책을 사용할 수 있다.

3. 주요 기여 및 진단

본 논문은 세 가지 지표를 사용하여 RLIR의 실패 모드를 정량화하는 진단 프레임워크를 소개한다:

보상 노이즈 크기 ( $\rho_{noise}$ ): 보상 추정치가 오라클(oracle)로부터 벗어나는 절대적 편차를 측정한다.
정책-보상 결합 ( $\rho_{selfbias}$ ): 보상 추정치가 정책 자체의 자신감과 얼마나 밀접하게 결합되어 있는지 측정한다.
대칭 편향률 ( $\rho_{symbias}$ ): 과잉 보상(FP)과 과소 보상(FN) 사이의 방향성 왜곡을 측정한다.

통제된 실험을 통한 주요 발견:

과잉 보상이 과소 보상보다 더 해롭다: 실험 결과, FP 중심의 노이즈가 FN 중심의 노이즈보다 성능 저하를 더 심하게 일으키는 것으로 나타났다.
결합이 오류를 증폭한다: 높은 $\rho_{selfbias}$ 는 자신감 조건부 오류를 강화하여 불안정한 훈련 역학을 초래한다.
디커플링(Decoupling)이 필수적이다: 정책과 보상 신호 사이의 결합을 줄이는 것이 안정성 확보에 결정적이다.

4. 실험 결과

수학적 추론 작업(Arithmetic, DAPO-MATH-17K) 및 교차 모델/데이터셋 일반화(LLaMA, Qwen, Big-Math, WebInstruct)에 대해 광범위한 실험이 수행되었다.

성능: RLER은 최상의 RLIR 베이스라인(예: Co-rewarding, INTUITOR)보다 +6.2% 향상된 성능을 보였으며, RLVR 상한선(오라클 레이블)의 3.6% 이내의 성능을 달성했다.
안정성: RLER은 훈련 세트 크기가 증가함에 따라(8k에서 1M 샘플까지) 매끄럽고 일관된 스케일링을 보여주는 반면, 표준 RLIR 베이스라인은 불안정한 스케일링과 성능 정체 현상을 보였다.
지표 개선: RLER은 $\rho_{noise}$ , $\rho_{selfbias}$ , $\rho_{symbias}$ 를 유의미하게 감소시켜 자기 확증 루프를 효과적으로 깨뜨렸다.
절제 연구 (Ablation Studies): 구성 요소(앙상블, 보간, 또는 선택) 중 하나라도 제거하면 성능 저하가 발생하여, 세 메커니즘 모두가 편향 완화에 누적적으로 기여함을 확인했다.

5. 의의 및 주장

본 논문은 RLER이 인간의 감독이 부족한 라벨링되지 않은 환경에서 강화 학습을 위한 실용적이고 확장 가능한 솔루션임을 주장한다. 앙상블 집계와 적응형 선택을 통해 자기 보상의 체계적 편향을 진단하고 해결함으로써, RLER은 다음과 같은 성과를 거둔다:

외부 보상 모델 없이도 대규모 미라벨 데이터 코퍼스에서 안정적인 스케일링을 가능하게 한다.
자기 보상(RLIR)과 오라클 레이블(RLVR) 방식 간의 성능 격차를 줄인다.
모델 병합을 통해 추가적인 추론 오버헤드 없이 배포 친화적인 접근 방식을 제공한다.

저자들은 RLER이 특히 정답(ground truth)은 부족하지만 미라벨 데이터는 풍부한 영역에서, LLM을 위한 지속 가능하고 자기 개선적인 추론 시스템을 향한 중요한 진전이라고 결론짓는다.