💬 NLP

Distributionally Robust Reinforcement Learning with Human Feedback

이 논문은 대규모 언어 모델의 미세 조정을 위해 보상 기반 RLHF와 보상 없는 DPO의 분포 강건 변형(distributionally robust variants)을 도입하며, 표준 방법들과 비교하여 분포 외(out-of-distribution) 작업에서의 성능을 크게 향상시키는 수렴 보장을 갖춘 미니배치 경사 하강법 알고리즘을 제안한다.

원저자: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇 비서에게 이메일 쓰는 법, 수학 문제 푸는 법, 또는 사람들과 대화하는 법을 가르치고 있다고 상상해 보세요. 당신은 "좋은" 답변과 "나쁜" 답변의 예시 수천 개를 보여줌으로써 이 과정을 진행합니다. 이 과정을 **인간 피드백 기반 강화 학습(RLHF)**이라고 부릅니다.

하지만 문제가 하나 있습니다. 만약 당신이 로봇에게 오직 친절한 이메일을 쓰는 예시로만 훈련시킨다면, 그리고 갑자기 로봇에게 법률 계약서나 과학 보고서를 써보라고 요청한다면, 로봇은 혼란에 빠져 성능이 저하될 수 있습니다. 로봇이 훈련 데이터에 너무 "과적합(over-specialized)"되어 새로운 상황을 처리하지 못하게 된 것입니다. 이는 마치 특정 연습 문제의 답을 암기했지만, 질문의 형식이 달라졌다는 이유로 실제 시험에서 낙제하는 학생과 같습니다.

이 논문은 이러한 로봇들이 **강건(robust)**하도록—즉, 질문이 바뀌거나 환경이 훈련 때와 약간 다르더라도 여전히 똑똑하고 유능하게 유지되도록—만드는 새로운 방법을 제안합니다.

그들이 어떻게 이 일을 해냈는지, 몇 가지 간단한 비유를 통해 설명하겠습니다.

1. 문제점: "에코 체임버(Echo Chamber, 메아리 방)"

현재의 훈련 방식은 학생을 에코 체임버 안에 가두는 것과 같습니다. 학생은 오직 한 종류의 목소리(훈련 데이터)만 듣게 됩니다. 만약 현실 세계에 다른 억양이나 어조가 있다면, 학생은 길을 잃게 됩니다. 저자들은 이를 분포 외(Out-of-Distribution, OOD) 강건성의 결여라고 부릅니다.

2. 해결책: "최악의 상황을 대비하는 코치"

저자들은 **분포 강건 최적화(Distributionally Robust Optimization, DRO)**라는 개념을 도입합니다.

마라톤 선수를 훈련시킨다고 상상해 보세요.

표준 훈련: 당신은 평평하고 햇빛이 내리쬐는 트랙에서만 달립니다.
강건한 훈련: 당신은 러너에게 이렇게 말합니다. "나는 네가 이 트랙과 약간 다른 어떤 조건에서도 준비되어 있기를 바란다. 바람이 조금 불 수도 있고, 땅이 약간 진흙탕일 수도 있으며, 기온이 약간 더 높을 수도 있다."

로봇은 단순히 "완벽한" 데이터에서 잘하는 법을 배우는 것이 아닙니다. 대신, 데이터가 합리적인 범위 내에서 약간 변하더라도 최악의 시나리오에서도 잘 수행하는 법을 배웁니다. 즉, 예상치 못한 상황에 대비하는 법을 배우는 것입니다.

3. 방법론 (2단계 과정)

이 논문은 로봇을 가르치는 두 가지 주요 단계에 집중합니다.

단계 A: "심판" 학습하기 (보상 모델 추정)
먼저, 로봇에게 답변이 좋은지 나쁜지를 알려줄 "심판(보상 모델)"이 필요합니다.

비결: 저자들은 단순히 훈련 데이터의 점수를 평균 내는 대신, 심판이 회의적이 되도록 가르칩니다. 그들은 묻습니다. "우리가 보고 있는 데이터가 약간 편향되어 있거나 치우쳐 있다면 어떨까? 약간 다른 버전의 데이터를 보았을 때 얻을 수 있는 최악의 점수는 얼마일까?"
결과: 심판은 더 까다롭고 신뢰할 수 있게 됩니다. 심판은 훈련 데이터의 특이한 점들에 속지 않습니다. 논문은 이것이 새로운 데이터에 대한 추론 작업(수학이나 논리 등)에서 심판을 훨씬 더 뛰어나게 만든다는 것을 보여줍니다.

단계 B: "배우" 학습하기 (정책 최적화)
심판이 준비되면, 로봇(이하 "배우")은 심판을 만족시키기 위해 답변을 작성하려고 노력합니다.

비결: 저자들은 두 가지 인기 있는 방법을 업데이트했습니다.
1. PPO (Proximal Policy Optimization): 로봇이 원래의 성격을 유지하면서 심판의 점수를 극대화하려고 노력하는 방법입니다.
2. DPO (Direct Preference Optimization): "심판" 단계를 건너뛰고 "좋은 것 vs 나쁜 것"의 예시로부터 직접 학습하는 지름길 방법입니다.
혁신: 저자들은 이 단계들에도 동일한 "최악의 상황" 사고방식을 적용했습니다. 로봇은 프롬프트(질문)의 분포가 약간 변하더라도 잘 수행하는 법을 배웁니다.

4. 결과: "초월적 추론(Super-Reasoning)"

연구팀은 두 가지 서로 다른 모델(20억 파라미터의 소형 모델과 70억 파라미터의 대형 모델)을 사용하여 새로운 "강건한" 로봇들을 표준 로봇들과 비교 테스트했습니다.

테스트: 연구팀은 "Unified-Feedback"이라는 거대한 데이터셋으로 로봇을 훈련시킨 후, 로봇이 한 번도 본 적 없는 완전히 다른 데이터셋(예: "HHH-Alignment" 또는 "MT-Bench")으로 테스트했습니다.
결과:
- 강건한 로봇들은 새로운 미지의 작업에서 표준 로봇들보다 더 나은 성능을 보였습니다.
- 가장 큰 개선은 추론(Reasoning) 능력에서 나타났습니다. 마치 정답을 암기하는 것이 아니라 수학의 원리를 배우는 학생처럼, 강건한 로봇은 질문이 바뀌었을 때 논리와 추론 작업에서 현저히 더 뛰어난 모습을 보였습니다.
- 연구팀은 "최악의 상황"을 얼마나 고려할 것인지에 대한 "스위트 스팟(적절한 지점)"( $\rho$ 라는 파라미터)을 찾아냈습니다. 만약 로봇이 최악의 시나리오를 너무 많이 걱정하게 만들면 로봇은 혼란에 빠졌습니다. 하지만 적절한 수준을 유지하면, 로봇은 새로운 상황을 다루는 데 있어 챔피언이 되었습니다.

요약

요약하자면, 이 논문은 AI 모델이 훈련 데이터를 단순히 암기하는 것을 멈추고 근본적인 규칙을 이해하도록 가르칩니다. 데이터의 미세한 변화를 예상하고 처리하도록 훈련함으로써( "최악의 상황" 전략 사용), 모델은 훈련 때와 다른 실제 세상의 과제들을 만났을 때 훨씬 더 신뢰할 수 있고 똑똑해집니다.

핵심 요점: 당신은 단순히 연습 문제의 답을 아는 로봇을 원하는 것이 아니라, 질문의 스타일이 바뀌더라도 실제 시험을 통과할 수 있는 로봇을 원합니다. 이 논문은 그러한 로봇을 만드는 방법을 보여줍니다.

기술 요약: 인간 피드백을 통한 분포 강건 강화 학습 (Distributionally Robust Reinforcement Learning with Human Feedback)

문제 정의

강화 학습으로부터의 인간 피드백(RLHF)은 대규모 언어 모델(LLM)을 인간의 의도에 정렬시키기 위한 표준적인 기술이 되었습니다. 그러나 기존의 RLHF 파이프라인은 강건성(robustness)이 부족하다는 문제를 안고 있습니다. 추론 시(다운스트림 태스크) 마주하게 되는 프롬프트의 분포가 미세 조정(fine-tuning)에 사용된 선호도 데이터셋의 분포와 크게 다를 경우, 모델의 성능이 저하되는 현상이 발생합니다. 이러한 문제는 대리 보상(proxy rewards)을 개선하는 과정에서 실제 보상 함수를 희생시키는 과최적화(over-optimization) 현상이나, 변화하는 환경 또는 변화하는 인간의 선호도로 인한 분포 변화(distribution shifts)로 인해 더욱 악화됩니다. 강건성에 관한 기존의 접근 방식들은 특정 적대적 부식 모델, 선호도 모델의 변화, 또는 휴리스틱 방법인 모델 병합(model merging) 등에 집중해 왔으나, 이는 가벼운 분포 변화 하에서도 실패하는 경우가 많습니다.

방법론

저자들은 RLHF를 위한 분포 강건 최적화(Distributionally Robust Optimization, DRO) 프레임框架을 제안합니다. 핵심 목표는 미세 조정된 모델(보상 모델 및 정책 모두)이 훈련 분포로부터 $\phi$ -발산(특히 Total Variation 거리) 내의 유계된 거리 안에 있는 최악의 분포 상황에서도 성능을 유지하도록 보장하는 것입니다. 저자들은 이를 경험적 훈련 분포 주변의 $\phi$ -발산 볼(ball) 내에서 최악의 기대 손실을 최소화하는 미니맥스(minimax) 최적화 문제로 정식화했습니다.

본 논문은 두 가지 주요 RLHF 파이프라인에 대해 강건한 변형 모델을 개발합니다:

강건한 보상 추정 (Robust Reward Estimation):
- 정식화: 보상 모델 $r$ 은 $d_{TV}(D, D_{src}) \leq \rho$ 를 만족하는 분포 $D$ 에 대해 최악의 기대 손실을 최소화하도록 훈련됩니다.
- 알고리즘: 미니배치 경사 하강법 알고리즘(Algorithm 1)이 제안되었습니다. 각 반복 단계에서 알고-리즘은 미니배치를 샘플링하고, 거리 $\rho$ 내에서 최악의 분포 변화에 해당하는 최적 가중치 $q^*_t$ 를 계산합니다. 그 후, 보상 파라미터를 업데이트하기 전에 이 최적 가중치에 의해 그래디언트가 재가중됩니다.
- 수렴성: 선형 보상 함수 클래스 가정 하에, 저자들은 알고리즘이 $T = O(1/\epsilon^2)$ 반복과 반복당 $n = \tilde{O}(1/\epsilon^2)$ 샘플을 통해 $\epsilon$ -최적 솔루션으로 수렴함을 증명합니다.
강건한 정책 최적화 (Robust Policy Optimization):
- 정식화: 정책 $\pi$ 는 최악의 KL-정규화된 가치 함수(KL-regularized value function)를 최대화하도록 최적화됩니다.
- 알고리즘: 저자들은 강건한 자연 정책 경사(Natural Policy Gradient, NPG) 방법(Algorithm 2)을 제안합니다. 보상 추정과 유사하게, 이는 최악의 가중치를 계산합니다. 결정적으로, 이 방법은 표준 경험적 피셔 행렬(empirical Fisher matrix) 대신 이러한 최악의 가중치로부터 유도된 가중 피셔 정보 행렬을 사용하여 정책을 업데이트합니다.
- 수렴성: 로그-선형 정책 클래스를 가정하고 표준 집중 조건(concentrability conditions)을 충족할 때, 이 방법은 선형 수렴 속도( $T = O(\log(1/\epsilon))$ )를 달 수 있지만, 마지막 반복 수렴(last-iterate convergence)을 보장하기 위해 더 높은 샘플 복잡도 $n = \tilde{O}(1/\epsilon^4)$ 를 요구합니다.
강건한 직접 선호 최적화 (Robust Direct Preference Optimization, DPO):
- 정식화: 명시적인 보상 모델 없이 정책을 직접 최적화하는 분포 강건 버전의 DPO가 정식화되었습니다.
- 알고리즘: Algorithm 3은 최악의 분포 변화에 기반하여 재가중된 그래디언트를 적용하는 미니배치 확률적 경사 하강법을 적용합니다.
- 수렴성: 분석 결과, 이 방법의 반복 복잡도는 $T = O(1/\epsilon^2)$ 이고 샘플 복잡도는 $n = \tilde{O}(1/\epsilon^2)$ 로, 강건한 보상 추정 단계와 유사합니다.

주요 기여

이론적 프레임워크: 본 논문은 RLHF의 보상 추정 및 정책 최적화 단계, 그리고 DPO를 위한 최초의 분포 강건 정식화를 확립했습니다.
알고리즘: 강건한 보상 추정, 강건한 NPG, 그리고 강건한 DPO를 위한 실용적인 미니배치 기반 알고리즘을 도입했습니다. 이 알고리즘들은 재가중치 인자 계산(볼록 최적화로 해결됨)과 그래디언트 재가중치 적용만을 요구하므로 기존 파이프라인에 최소한의 개입만 필요하도록 설계되었습니다.
수렴 보장: 저자들은 이 알고리즘들의 수렴성에 대한 이론적 증명을 제공합니다. 선형 보상 모델과 로그-선형 정책에 대한 샘플 및 반복 복잡도 상한을 설정하여, 이론적 보장과 함께 강건성을 달성할 수 있음을 입증했습니다.
실험적 검증: 제안된 방법들은 훈련을 위해 Unified-Feedback 데이터셋을 사용하고, 평가를 위해 RewardBench, HHH-Alignment, MT-Bench를 사용하는 OOD(out-of-distribution) 태스크에서 평가되었습니다.

실험 결과

저자들은 베이스 모델로 Gemma-2B-it와 Mistral-7B-Instruct-v0.2를 사용하여 방법을 평가했습니다.

보상 모델: RewardBench 벤치마크에서, 분포 강건 보상 모델(DR RM)은 특히 강건성 파라미터 $\rho$ 가 0.1 또는 0.2로 설정되었을 때 표준 Bradley-Terry (BTL) 모델보다 향상된 평균 정확도를 보였습니다. 주목할 점은, 추론(Reasoning) 서브셋에서의 성능이 크게 향상되었다는 것입니다 (예: $\rho=0.1$ 일 때 한 서브셋에서 +23.4%). 그러나 $\rho$ 가 너무 높게 설정될 경우(예: $\rho \geq 0.6$ ) 성능이 저하되었는데, 이는 강건성과 훈련 분포에 대한 적합도(fitting) 사이의 트레이드오프를 나타냅니다.
정책 최적화 (PPO): 강건한 보상 모델을 사용하여 PPO로 정책을 훈련했을 때, 강건한 변형 모델(DR PPO)은 인-디스트리뷰션(in-distribution, Unified-Feedback) 및 OOD(HHH-Alignment, MT-Bench) 데이터셋 모두에서 일반적인 PPO의 성능과 대등하거나 이를 능가했습니다. 추론 태스크에서 눈에 띄는 개선이 관찰되었으며, $\rho=0.1$ 일 때 정확도가 10.0% 증가했습니다.
직접 선호 최적화 (DPO): 강건한 DPO(DR DPO)는 표준 DPO에 비해 OOD 데이터셋에서 일관되게 향상된 성능을 보였습니다. HHH-Alignment의 경우 $\rho=0.8$ 에서, MT-Bench의 경우 $\rho=0.5$ 에서 최적의 성능을 달了했습니다. DR DPO는 일반적으로 OOD 태스크에서 DR PPO보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 분포 강건 최적화가 보지 못한 태스크 및 분포 변화에 대한 LLM의 일반화 능력을 향상시키기 위한 원칙적인 접근법을 제공한다고 주장합니다. 저자들은 자신들의 방법이 기존의 효율적인 RLHF 파이프라인(예: Hugging Face 라이브러리를 사용하는 경우)을 거의 수정하지 않으면서도 이론적인 수렴 보장을 제공한다는 점을 강조합니다.

저자들이 강조한 핵심 발견 중 하나는 분포 강건성을 강제했을 때 OOD 데이터셋에서의 추론 능력이 예상치 못하게 향상되었다는 점입니다. 저자들은 왜 DRO가 추론에 긍정적인 영향을 미치는지 즉각적으로 설명하기 어렵다고 언급하며, 이는 추론과 분포 강건성 사이의 연결 고리에 대한 추가적인 조사가 필요함을 시사합니다.

이 연구는 동적인 실제 환경에서 인간의 의도와 진정으로 정렬된 LLM을 구축하기 위한 단계로 자리매김하고 있습니다. 이는 훈련 중에 본 특정 선호 사례를 넘어 일반화하는 데 종종 실패하는 표준 RLHF의 한계를 넘어섭니다.