🤖 AI

BiasGRPO: Stabilizing Bias Mitigation in High-Variance Reward Landscapes via Group-Relative Policy Optimization

이 논문은 샘플링된 완성 문구들에 대해 보상을 정규화함으로써 대규모 언어 모델의 사회적 편향 완화를 안정화하기 위해 Group Relative Policy Optimization을 활용하는 프레임워크인 BiasGRPO를 소개하며, 이를 통해 DPO의 탐색 한계와 PPO의 훈련 불안정성을 극복하는 동시에 여러 벤치마크에서 두 방식 모두보다 우수한 성능을 입증한다.

원저자: Saket Reddy, Ke Yang, ChengXiang Zhai

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Saket Reddy, Ke Yang, ChengXiang Zhai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: 로봇에게 공정함을 가르치기

당신은 매우 똑똑한 로봇(거대 언어 모델)에게 이야기를 쓰고 질문에 답하는 법을 가르치고 있다고 상상해 보세요. 문제는 이 로봇이 인간의 편견, 고정관념, 불공정한 의견으로 가득 찬 인터넷 전체로부터 학습했다는 점입니다.

당신은 로봇에게 공정하고 편향되지 않도록 가르치고 싶습니다. 하지만 까다로운 점이 있습니다. 무엇이 '공정'한지에 대한 단 하나의 정답은 존재하지 않는다는 것입니다.

만약 "누가 좋은 리더인가?"라고 묻는다면, 편향된 사람은 "남성"이라고 답할 수 있고, 공정한 사람은 "누구나"라고 답할 수 있습니다.
수학에서 $2+2$ 는 항상 $4$인 것과 달리, 사회적 공정성은 주관적입니다. 이는 마치 누군가에게 "아름다운" 일몰을 그리는 법을 가르치는 것과 같습니다. 그리는 방식은 다양하며 의견도 천차만별입니다.

기존 방식들: 왜 어려움을 겪었나

이 논문은 로봇에게 공정함을 가르치기 위해 사용되었던 두 가지 이전 방법들을 살펴보고, 왜 그들이 한계에 부딪혔는지 설명합니다.

"교과서" 방식 (DPO):
- 작동 원리: 당신은 로봇에게 "좋은 답변" 대 "나쁜 답변"의 예시가 미리 적힌 교과서를 줍니다. 로봇은 이 쌍들을 단순히 암기합니다.
- 결함: 이것은 정답지를 읽으며 시험 공부를 하는 것과 같습니다. 로봇은 특정 예시들은 배우지만, 본 적 없는 새롭고 이상한 상황은 다룰 수 없습니다. 즉, 탐색(Exploration) 능력이 부족합니다.
"성적표를 든 코치" 방식 (PPO):
- 작동 원리: 로봇이 답변을 작성하려고 시도하면, 별도의 "코치"(비평가 모델)가 점수를 줍니다. 점수가 높으면 로봇은 그 행동을 계속하고, 낮으면 멈춥니다.
- 결함: 편향과 같은 주관적인 세계에서 코치는 종종 혼란에 빠집니다. 이 답변이 약간 편향된 것일까요, 아니면 매우 편향된 것일까요? 코치의 점수는 심하게 요동칩니다(높은 분산). 이는 로봇을 불안정하게 만듭니다. 마치 코치가 한순가에는 "잘했어!"라고 외쳤다가 다음 순간에는 "엉망이야!"라고 소리치는 것과 같아서, 선수(로봇)는 실제로 무엇을 해야 할지 알 수 없게 됩니다.

새로운 해결책: BiasGRPO ("그룹 허들")

저자들은 BiasGRPO라는 새로운 방법을 제안합니다. 단일 코치나 정적인 교과서 대신, 그들은 **그룹 허들(Group Huddle)**을 사용합니다.

비유:
로봇이 까다롭고 잠재적으로 편향된 질문을 받았다고 상상해 보세요. 단 하나의 답변을 쓰는 대신, 로봇은 동시에 네 개의 서로 다른 답변을 작성합니다("그룹" 생성).

그다음, 코치가 보이지 않는 기준에 따라 채점하게 하는 대신, 로봇은 네 개의 답변을 서로 비교합니다:

"음, 답변 A는 정말 무례했어. 답변 B는 괜찮았어. 답변 C는 약간 편향됐어. 답변 D는 가장 친절했어."
로봇은 배웁니다: "내 답변들이 완벽하지 않았더라도, 답변 D가 다른 것들에 비해 가장 덜 편향되었어. 나는 답변 D와 더 비슷하게 행동해야겠어."

왜 이것이 게임 체인저인가:

혼란스러운 코치가 필요 없음: 틀릴 수도 있는 별도의 비평가 모델이 필요하지 않습니다. 그저 그룹을 보고 "이 중에서 누가 제일 나은가?"라고 말하면 됩니다.
안정성: 설령 로봇이 네 개의 나쁜 답변을 생성하더라도, 그것들 중 무엇이 상대적으로 더 나은지 식별할 수 있기 때문에 여전히 배울 수 있습니다. 이는 혼란스럽고 변동성이 큰 문제를 명확하고 상대적인 신호로 바꿔줍니다.
탐색: "코치" 방식처럼 로봇이 스스로 답변을 생성하기 때문에, 단순히 교과서를 암기하는 것이 아니라 새로운 상황을 다루는 법을 배웁니다.

그들이 만든 도구 세트

이것을 실현하기 위해 팀은 단순히 수학을 바꾼 것이 아니라, 완전히 새로운 도구 세트를 구축했습니다:

방대한 데이터셋: 그들은 로봇이 다양한 시나리오에서 편향성을 학습할 수 있도록 11가지 주제(인종, 성별, 종교 등)를 아우르는 수천 개의 예시를 수집하고 제작했습니다.
맞춤형 "편향 탐지기": 편향을 포착하도록 특별히 설계된 작고 매우 빠른 컴퓨터 프로그램(보상 모델)을 만들었습니다. 이 프로그램은 매우 효율적이어서 훈련 속도를 늦추지 않으며, 로봇이 이미 알고 있는 지식(세상에 대한 사실 등)을 잊어버리게 만들지도 않습니다.

결과: 누가 승리했나?

그들은 "로봇 올림픽"(벤치마크)을 통해 새로운 방법을 기존 방식들과 테스트했습니다:

승자: BiasGRPO로 훈련된 로봇이 모든 카테고리에서 승리했습니다. 이 로봇은 가장 공정하고 편향되지 않았습니다.
보너스: 어떤 방식들은 로봇을 착하게 만들기 위해 로봇을 "멍청하게"(사실을 잊게 함) 만들기도 하지만, BiasGRPO 로봇은 사실을 말하면서도 공정할 정도로 오히려 더 똑똑해졌습니다.
증거: 학습 과정을 살펴보면, "그룹 허들" 방식은 매끄럽고 안정적이었습니다. 기존의 "코치" 방식은 들쑥날쑥하고 불안정했으며, "교과서" 방식은 너무 일찍 학습을 멈췄습니다.

핵심 요약

이 논문은 편향과 같이 복잡하고 주관적인 인간의 문제를 다룰 때, 완벽한 심판이 필요한 것이 아니라 서로 비교할 수 있는 선택지들의 그룹이 필요하다고 주장합니다. 로봇이 자신의 아이디어들을 서로 비교하여 "가장 덜 나쁜 것"을 찾게 함으로써, 우리는 로봇의 지능을 망가뜨리지 않으면서도 공정함을 가르칠 수 있는 안정적이고 효과적인 방법을 얻을 수 있습니다.

기술 요약: BiasGRPO

문제 정의

대규모 언어 모델(LLM)에서 사회적 편향을 완화하는 것은 수학이나 코딩과 같은 검증 가능한 작업과는 구별되는 독특한 정렬(alignment) 과제를 제시합니다. 편향은 단일한 정답(ground truth)이 없기 때문에, **고분산의 주관적인 보상 지형(high-variance, subjective reward landscape)**을 가집니다. 기존의 선호도 기반 미세 조정 방식들은 이 영역에서 다음과 같은 트레이드오프에 직면합니다:

직접 선호도 최적화 (DPO): 정적인 쌍체(pairwise) 인스턴스에 의존하는 오프라인 알고리즘으로서, DPO는 탐색(exploration) 능력이 제한적이고 일반화 성능이 낮습니다.
근사 정책 최적화 (PPO): 더 나은 탐색을 가능하게 하는 온라인 방식이지만, PPO는 별도의 비평가(critic/value) 모델에 의존합니다. 노이즈가 많고 주관적인 보상 지형에서 이러한 비평가 추정치는 신뢰할 수 없으며, 이는 훈련 불안정성과 고분산 업데이트를 초래할 수 있습니다.

현재 편향 완화를 위해 오프라인 방식의 안정성과 온라인 탐색의 일반화 이점을 성공적으로 균형 있게 결합한 선호도 기반 기술은 존재하지 않습니다.

방법론: BiasGRPO

저자들은 BiasGRPO를 제안하며, 이는 **그룹 상대적 정책 최적화 (GRPO)**를 편향 완화의 특정 제약 조건에 맞게 변형한 프레임워크입니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 알고리즘 핵심: 그룹 상대적 최적화

BiasGRPO는 PPO에서 사용되는 전통적인 비평가 모델을 **그룹 상대적 베이스라인(group-relative baseline)**으로 대체합니다.

메커니즘: 각 프롬프트에 대해 정책 모델은 일련의 완성된 문장 그룹(예: $G=4$ )을 생성합니다. 단일 완성본을 비평가의 가치 추정치와 비교하는 대신, 전체 그룹의 평균과 표준 편차를 기준으로 각 완성본의 보상을 정규화하여 어드밴티지(advantage)를 계산합니다.
어드밴티지 계산:
$\hat{A}_{i,t} = \frac{r_i - \text{mean}(r)}{\text{std}(r)}$
여기서 $r_i$ 는 $i$ 번째 완성본의 보상이며, $r$ 은 그룹의 보상 집합입니다.
편향에 대한 근거: 주관적인 도메인에서는 "완벽하게" 편향되지 않은 응답을 정의하기 어렵습니다. 그러나 모델이 일련의 변형된 그룹을 생성함으로써, 모든 출력에 어느 정도의 편향이 포함되어 있더라도 어떤 출력이 상대적으로 덜 편향되고 더 존중하는 태도를 보이는지 식별하는 법을 배울 수 있습니다. 이러한 상대적 정규화는 고분산 지형에서 단일 비평가로부터 유도된 노이즈 섞인 어드밴티지 추정치보다 더 명확하고 직접적인 훈련 신호를 제공합니다.

2. 합성 데이터셋 확장

다양한 맥락에 걸친 포괄적인 훈련을 지원하기 위해, 저자들은 11개 도메인에 걸친 20,999개의 프롬프트로 구성된 데이터셋을 큐레이션했습니다. 이 데이터셋은 다음을 통합합니다:

BiasDPO: 8,855개의 항목을 추가로 포함하도록 합성적으로 확장되었습니다.
Civil Comments: 중립적이거나 편향된 입력으로부터 유발되는 편향을 포착하기 위한 실제 소셜 미디어 게시물입니다.
UnQover: 편향된 응답을 유도하도록 설계된 모호한 시나리오입니다.
이 데이터셋은 DPO 비교를 위한 상응하는 선호(favorable) 및 불호(unfavorable) 완성본과 온라인 방식을 위한 프롬프트를 포함합니다.

3. 맞춤형 편향 보상 모델

저자들은 지식 퇴보를 일으키지 않으면서 생성을 가이드할 수 있는 특화된 계산 효율적 보상 모델(0.1B 파라미터)을 개발했습니다.

구성: StereoSet, CrowS-Pairs, BBQ에서 추출한 2,930개의 고유 문장을 9,000개의 세트로 재샘플링했습니다.
주석 달기(Annotation): 여러 LLM(GPT-4o, Gemini 2.0 Flash, Claude 4 Sonnet)이 순환하며 편향 심각도를 주석 처리하는 최선-최악 스케일링(Best-Worst Scaling, BWS) 및 반복적 루스 스펙트럴 랭킹(Iterative Luce Spectral Ranking, ILSR) 방식을 사용했습니다. 이러한 다중 LLM 접근 방식은 순환성(circularity)과 상속된 편향의 위험을 완화했습니다.
훈련: RoBERTa 모델을 훈련하여 보상 값(0에서 1 사이로 스케일링됨)을 예측하도록 했으며, 최종 MSE는 0.006을 달 기록했습니다.
검증: 이 모델은 기존의 편향 점수 모델들과 비교했을 때 Perspective API의 "정체성 공격(identity attack)" 점수와 가장 높은 Spearman 순위 상관계수(0.4748)를 달성했습니다.

실험 설정

베이스 모델: Microsoft의 2.7B Phi-2 모델을 선택했습니다. 이는 사전 RLHF나 편향 완화가 없는 "깨끗한 상태(clean slate)"의 테스트베드로 적합하기 때문입니다.
베이스라인: 저자들은 DPO(Identity Preference Optimization 변형 사용) 및 PPO를 대상으로 BiasGRPO를 비교했습니다.
벤치마크:
- BOLD: 표현적 해악(representational harm) 측정 (낮을수록 좋음).
- RealToxicityPrompts: 노골적인 적대성(overt hostility) 측정 (낮을수록 좋음).
- BBQ: 모호한 시나리오에서의 암묵적 고정관념(implicit stereotyping) 측정 (높을수록 좋음).
- TruthfulQA: 지식 보유(knowledge retention)를 평가하여 파괴적 망각(catastrophic forgetting)이 없는지 확인 (높을수록 좋음).

주요 결과

BiasGRPO는 모든 벤치마크에서 DPO와 PPO를 모두 능가했습니다:

편향 감소: GRPO 모델은 BOLD(DPO의 0.0222, PPO의 0.0268 대비 0.0140)와 RealToxicityPrompts(DPO의 0.0234 대비 0.0198)에서 가장 낮은 점수를 기록했습니다.
고정관념: BBQ에서 GRPO는 가장 높은 정확도(DPO의 0.2823 대비 0.3123)를 달성했습니다.
지식 보유: 결정적으로, BiasGRPO는 TruthfulQA 점수가 (베이스 모델의 0.3843 대비 0.3941로) 상승했습니다. 이는 편향 완화가 사실적 지식을 저하시키거나 파괴적 망각을 일으키지 않았음을 입증합니다.
훈련 안정성: 훈련 곡선 분석 결과, DPO는 조기에 정체(제한된 일반화)되고 PPO는 비평가 노이즈로 인해 들쭉날쭉하고 불안정한 수렴을 보인 반면, BiasGRPO는 낮은 분산을 보이며 꾸준히 상승했습니다. BiasGRPO의 보상 표준 편차는 평균 0.0668로, PPO(0.1434)의 절반 미만이었습니다.

절제 연구 (Ablation Studies)

보상 모델 견고성: 커스텀 LLM 주석 보상 모델 대신 인간이 주석을 단 대안 보상 모델로 훈련했을 때도 GRPO는 베이스 모델보다 유의미한 개선을 보여, 그룹 상대적 메커니즘의 알고리즘적 견고함을 확인했습니다.
그룹 크기: 그룹 크기를 $G=2$ 에서 $G=8$ 로 늘릴수록 모든 벤치마크에서 성능이 일관되게 향상되었으며, $G=4$ 가 표준으로 사용되었습니다. $G=2$ 의 성능 저하는 이 이점이 온라인 탐색 자체보다는 그룹 상대적 정규화에서 기인함을 확인시켜 주었습니다.

의의 및 주장

본 논문은 BiasGRPO가 그룹 상대적 최적화와 사회적 편향의 주관적이고 고분산적인 특성 사이의 내재적 적합성을 활용함으로써 기존 편향 완화 전략의 특정 한계를 성공적으로 해결한다고 주장합니다.

주요 기여는 다음과 같습니다:

알고리즘적 적합성: 기초적인 GRPO 알고리즘이 온라인 학습의 탐색 이점을 희생하지 않으면서도 노이즈가 많은 보상 지형에서 훈련을 안정화하기 때문에, 편향 완화에 있어 DPO 및 PPO보다 우월함을 입증했습니다.
자원 가용성: 다양하고 다중 도메인인 데이터셋과 매우 효율적인 (0.1B 파라미터) 맞춤형 편향 보상 모델을 공개합니다. 이 리소스는 "플러그 앤 플레이" 방식으로 설계되어, 연구자들이 상당한 컴퓨팅 오버헤드나 다른 정렬 목표와의 충돌 없이 강력한 편향 완화를 다중 목적 RLHF 파이프라인에 통합할 수 있도록 합니다.
안전성 vs 효용성: TruthfulQA 점수의 동시 개선을 통해, 효과적인 편향 완화가 지식 저하 없이 달성될 수 있음을 보여주었습니다.

저자들은 그룹 상대적 메커니즘이 편향 완화를 위한 안정적인 토대를 제공하여, 강력한 다중 목적 정렬 전략을 구현하기 위한 진입 장벽을 낮춘다고 결론짓습니다.