🤖 machine learning

Subspace Inference Enables Efficient Active Reward Learning from Preferences

이 논문은 저차원 파라미터 부공간 내에서 확장 칼만 필터링을 활용하여 신경망 보상 모델을 위한 확장 가능한 불확실성 정량화를 가능하게 함으로써, 인간 피드백 기반 강화 학습의 효율성과 성능을 향상시키는 샘플 효율적인 능동 학습 방법인 PreferenceEKF를 소개한다.

원저자: Yutai Zhou, Erdem Bıyık

게시일 2026-09-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yutai Zhou, Erdem Bıyık

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 인간의 피드백으로부터 학습할 때 발생하는 '샘플 비효율성(sample inefficiency)'이라는 지속적인 과제가 존재합니다. 복잡한 컴퓨터 프로그램이 인간의 가치에 부합하는 방식으로 행동하도록 가르치는 상황을 상상해 보십시오. 현재 사용 가능한 가장 강력한 방법은 사람들에게 두 가지 서로 다른 결과물(예를 들어, 두 가지 로봇의 움직임이나 두 가지 작성된 답변)을 보여주고, 어떤 것을 더 선호하는지 말하게 하는 것입니다. 이러한 피드백은 인간이 제공하기는 매우 쉽지만, 정보량 측면에서는 매우 희소합니다. 단 하나의 선호도 데이터는 아주 작은 정보의 조각만을 제공할 뿐입니다. 신뢰할 수 있는 모델을 구축하기 위해 알고리즘은 수천 번의 질문을 던져야 합니다. 만약 컴퓨터가 잘못된 질문을 던진다면 시간과 비용을 낭비하게 될 것이고, 올바른 질문을 던진다면 훨씬 더 빠르게 학습할 데 됩니다. 문제는 어떤 질문이 가장 정보 가치가 높은지를 아는 데 있습니다. 이를 수행하기 위해 컴퓨터는 자신이 아직 무엇을 모르는지, 즉 '불확실성(uncertainty)'이라는 개념을 이해해야 합니다. 그러나 거대한 현대적 신경망에 대해 이 불확실성을 계산하는 것은 매우 어렵고 계산 비용이 많이 드는 일로 알려져 있으며, 대략적인 추정치를 얻기 위해서조차 수십 개의 별도 모델을 훈련시켜야 하는 경우가 많습니다.

남가주대학교(USC)의 연구진은 이러한 병목 현상을 해결하여 컴퓨터가 인간의 선호도를 훨씬 더 빠르고 효율적으로 학습할 수 있게 하는 새로운 접근 방식을 개발했습니다. 그들은 'PreferenceEKF'라고 불리는 방법을 도입했는데, 이는 선호도를 학습하는 과정을 거대한 일회성 계산이 아닌, 연속적이고 단계적인 필터링 문제로 취급합니다. 연구진은 거대한 신경망의 모든 가능한 변형을 한꺼번에 매핑하려고 시도하는 대신, 네트워크의 행동을 훨씬 작고 차원이 낮은 공간 내에서 정확하게 추적할 수 있다는 점에 주목했습니다. 이 압축된 부분 공간(subspace)에 계산을 집중함으로써, 그들은 고전적인 수학적 도구인 확장 칼만 필터(extended Kalman filter)를 사용하여 새로운 답변이 도착할 때마다 실시간으로 모델의 이해도를 업데이트할 수 있었습니다. 이 기술을 통해 연구진은 수많은 독립적인 네트워크를 훈련시키는 막대한 계산 비용 없이도 수천 개의 서로 다른 보상 모델 버전을 즉각적으로 생성할 수 있었습니다.

연구진은 로봇 제어 및 의사결정을 위한 다양한 표준 벤치마크를 사용하여 기존의 여러 기법과 자신들의 방법을 테스트했습니다. 그 결과, 그들의 방식이 기존의 가장 진보된 대안들보다 최대 40배 더 빠를 뿐만 아니라 예측 정확도 또한 더 높다는 것을 발견했습니다. 제한된 인간의 비교 데이터를 통해 보상 모델을 학습하는 실험에서, 이 새로운 방법은 다른 방법들보다 더 적은 질문을 사용하면서도 일관되게 올바른 선호도를 학습해 냈습니다. 더욱이, 이들이 생성한 모델은 더 잘 보정(calibrated)되어 있었습니다. 즉, 컴퓨터의 답변에 대한 확신도가 실제 정확도와 더 밀접하게 일치했다는 의미입니다. 이러한 정밀함은 시스템이 다음에 어떤 질문을 던질지 결정해야 하는 능동 학습(active learning)에서 매우 중요합니다. 시스템이 불확실하다면 불확실성을 해소하기 위해 질문을 던지고, 확신이 있다면 다음 단계로 넘어갑니다. 이 새로운 방법은 이러한 균형 잡기에 탁월한 성능을 보였으며, 이를 통해 보상 모델이 복잡한 과업을 수행하도록 로봇 정책을 성공적으로 훈련시켜, 훨씬 더 비용이 많이 들고 시간이 오래 걸리는 방법으로 훈련된 정책들과 대등한 성능을 구현했습니다.

이 연구의 가장 놀라운 측-중 하나는 이러한 시스템을 훈련하는 작업 흐름을 어떻게 변화시키느냐 하는 점입니다. 전통적인 방식은 컴퓨터가 새로운 피드백을 받을 때마다 세상에 대한 자신의 이해 전체를 재훈련하거나 재평가해야 하는 경우가 많으며, 이는 시스템이 커질수록 더 느려지는 과정입니다. 반면, 이 새로운 방법은 지식을 순차적으로 업데이트하며, 지금까지 학습한 내용에 대한 실행 중인 추정치를 유지하면서 최신의 정보만을 통합합니다. 이를 통해 시스템은 메모리나 시간 부족 문제 없이 더 큰 신경망을 처리하고 더 많은 가능한 보상 모델 샘플을 생성하며 효율적으로 확장할 수 있습니다. 연구진은 또한 이 접근 방식이 초기 데이터가 없는 상태에서도 무작위 투영(random projection) 기법을 사용하여 기초가 되는 부분 공간을 처음부터 구축할 수 있음을 입증했으며, 입력 데이터가 단순한 숫자보다 훨씬 복잡한 이미지 기반 작업에도 적용 가능함을 보여주었습니다.

이 방법이 큰 가능성을 보여주기는 하지만, 연구진은 그 한계점 또한 명확히 밝히고 있습니다. 그들이 사용한 수학적 프레임워크는 학습되는 선호도가 단일하고 일관된 출처에서 온다고 가정합니다. 서로 상충하는 의견을 가질 수 있는 여러 명의 서로 다른 인간 주석가(annotator)로부터 얻은 데이터로 테스트했을 때, 이 방법은 그러한 다양한 의견의 복잡성을 포착하는 데 어려움을 겪었습니다. 이는 이 접근 방식이 학습 과정을 간소화하는 강력한 도구이긴 하지만, 단일하고 일관된 선호도 세트를 모델링하는 시나리오에 가장 적합하다는 것을 시사합니다. 그럼에도 불구하고, 이 결과는 인공지능을 인간의 의도에 더 잘 적응하도록 만드는 데 있어 중요한 진전임을 나타냅니다. 피드백으로부터 학습하는 과정을 더 빠르고 효율적으로 만듦으로써, 이 연구는 인간의 시간 비용이 높고 신속하고 정확한 학습이 필수적인 개인화된 추천 서비스부터 자율 주행 로봇에 이르기까지, 지능형 시스템을 실제 환경에 배치하는 데 있어 주요한 장벽을 제거하고 있습니다.

기술 요약: 부공간 추론을 통한 선호도 기반 능동적 보상 학습의 효율적 수행

문제 정의

인간의 의도에 에이전트를 정렬시키기 위한 기술로 인간 피드백 기반 강화학습(RLHF)이 지배적인 기법으로 자리 잡았으나, 이는 샘플 효율성 측면에서 취약하다는 단점이 있다. 인간의 선호도 피드백은 쿼리당 최대 1비트의 정보만을 제공하므로, 보상 모델(RM)을 학습하기 위해서는 수천 번의 비교가 필요하며 이는 확장성이 떨어진다. 능동 학습(Active Learning)은 정보 이득을 극대화하도록 쿼리를 신중하게 선택함으로써 이를 해결하고자 한다. 그러나 효과적인 능동 학습을 위해서는 보상 모델의 견고한 불확실성 정량화(Uncertainty Quantification, UQ)가 필수적이다.

베이지안 방법론은 원칙적인 불확실성 표현을 제공하지만, 고차원 파라미터 공간에 대한 사후 분포 추론의 계산적 불가능성으로 인해 대규모 신경망(NN) 보상 모델로 확장하는 데 어려움을 겪는다. 반대로, 대중적인 대안인 앙상블 방법이나 드롭아웃(Dropout)은 여러 개의 독립적인 모델을 훈련해야 하므로 계산 비용이 높거나 사후 분포 근사가 부정확하다는 문제가 있다. 핵심 과제는 앙상블 훈련의 오버헤드 없이 신경망 보상 모델을 위한 확장 가능하고 샘플 효율적인 능동 학습 방법을 개발하는 것이다.

방법론: PreferenceEKF

저자들은 PreferenceEKF를 제안한다. 이는 능동적 선호도 학습을 순차적 베이지안 필터링 문제로 프레임워크화한 샘플 효율적 접근 방식이다. 이 방법은 두 가지 핵심 통찰을 활용한다:

순차적 필터링 (Sequential Filtering): 배치 훈련 대신, 새로운 선호도 쿼리가 도착할 때마다 확장 칼만 필터(Extended Kalman Filter, EKF)를 사용하여 보상 모델의 사후 분포를 순차적으로 업데이트한다.
부공간 추론 (Subspace Inference): 신경망은 과매개변수화되어 있으며 솔루션이 저차원 부공간에 존재한다는 점을 인식하여, 전체 파라미터 공간이 아닌 이 부공간 내에서 EKF 추론을 수행한다.

기술적 워크플로우

부공간 구축 (Subspace Construction):
- 초기 데이터셋을 사용하여 몇 단계의 확률적 경사 하강법(SGD)을 실행한다.
- 생성된 파라미터 반복값들을 사용하여 저차원 부공간을 구축한다. 이는 SVD(특이값 분해)를 통해 투영 행렬 $A$ 를 얻거나, 대안적으로 무작위 투영(Random Projections)을 사용하는 방식으로 이루어진다.
- 전체 파라미터 공간 $\theta$ 는 아핀 사상(Affine Mapping) $\theta(z) = Az + \theta^*$ 로 근사된다. 여기서 $z$ 는 저차원 부공간 파라미터를 나타낸다 ( $|z| \ll |\theta|$ ).
순차적 베이지안 필터링 (EKF):
- 신경망 파라미터를 시간에 따라 진화하는 은닉 상태(Hidden States)로 취급한다.
- 역학 모델 (Dynamics Model): 가우시안 노이즈가 추가된 항등 함수( $p(\theta_i | \theta_{i-1}) = \mathcal{N}(\theta_i | \theta_{i-1}, U)$ )를 가정한다.
- 측정 모델 (Measurement Model): 궤적 쌍으로부터 선호도 레이블을 예측하기 위해 브래들리-테리(Bradley-Terry, BT) 모델을 사용한다. BT 우도(Likelihood)는 EKF 프레임워크에 적합하도록 현재 사후 평균 주변에서 선형화된다.
- 업데이트 단계: 새로운 쿼리-응답 쌍 $(Q_i, y_i)$ 를 받으면, EKF는 부공간 파라미터 $z$ 의 사후 분포를 폐쇄형(Closed-form)으로 업데이트한다. 사후 분포는 가우시안 형태를 유지한다: $b_i = \mathcal{N}(\mu'_i, \Sigma'_i)$ .
능동 학습 루프 (Active Learning Loop):
- 학습된 부공간 사후 분포로부터 임의의 개수의 모델을 샘플링한다.
- 샘플들을 전체 공간으로 다시 투영하여 획득 함수(Acquisition Function)를 계산한다. 저자들은 가장 정보가 많은 쿼리를 선택하기 위해 특히 InfoGain(쿼리 레이블과 모델 파라미터 사이의 상호 정보량)을 활용한다.
- 모든 데이터에 대해 재훈련하는 앙상블 방법과 달리, PreferenceEKF는 가장 최근의 쿼리에 대해서만 업데이트하므로 계산적으로 효율적이다.

주요 기여

신경망 보상 모델을 위한 최초의 부공간 필터링: 본 논문은 선호도 피드백으로부터 신경망 보상 모델을 훈련하기 위해 부공간 필터링을 활용한 첫 번째 사례라고 주장한다.
확장 가능한 베이지안 추론: 추론을 저차원 부공간으로 제한함으로써, 전체 공분산 행렬의 $O(|\theta|^2)$ 복잡도를 피하고 딥 뉴럴 네트워크에 대해 EKF를 실행 가능하게 만든다.
효율적인 획득 함수 계산: 부공간 사후 분포로부터 임의의 수의 모델을 샘플링할 수 있는 능력 덕분에, 기존에는 저차원 모델에 국한되었던 최첨단 획득 함수인 InfoGain을 확장 가능하게 계산할 수 있다.
앙상벨 훈련 오버헤드 제거: DeepEnsemble과 달리, PreferenceEKF는 여러 개의 독립적인 모델을 훈련할 필요가 없어 런타임 및 메모리 사용량을 크게 줄인다.

실험 결과

저자들은 MuJoCo 로코모션, Adroit 조작, Maze2D 네비게이션을 포함하는 12개 태스크의 D4RL 및 V-D4RL 벤치마크에서 PreferenceEKF를 평가하였다. 비교 대상으로는 DeepEnsemble, Dropout, Laplace Approximation, Last-Layer MCMC (LLMCMC) 등 4가지 베이스라인을 사용하였다.

샘플 효율성: PreferenceEKF는 샘플 효율성 및 홀드아웃 테스트 쿼리에 대한 최종 로그 가능도(Log-likelihood) 측면에서 모든 베이지안 딥러닝 베이스라인과 대등하거나 더 나은 성능을 보였다.
런타임 및 확장성:
- PreferenceEKF는 DeepEnsemble 대비 약 5배, LLMCMC 대비 40배 이상 빠른 속도를 달old했다.
- 이 방법은 사후 샘플 수( $M$ )와 신경망 구조의 크기에 따라 유연하게 확장되는 반면, 베이스라인(특히 앙상블)은 메모리 제약이나 선형적 확장 문제로 어려움을 겪는다.
보정 (Calibration): PreferenceEKF는 우수한 모델 보정 성능을 입증하였으며, 가장 낮은 기대 보정 오차(ECE)와 두 번째로 낮은 Brier 점수를 기록했다.
정책 최적화 (Policy Optimization): 학습된 보상 모델이 오프라인 강화학습(Implicit Q-Learning을 통해)에 사용되었을 때, 결과적인 정책은 다른 방법의 보상 모델로 훈련된 정책과 경쟁적인 성능을 보였으며, 종종 실제 보상 정책과 일치하거나 약간 낮은 수준의 성능을 보였다.
강건성: 이 방법은 초기 웜업 데이터셋 없이도(무작위 투영 사용) 효과적이었으며, 희소 피드백 환경(실제 로봇 데이터) 및 픽셀 기반 태스크(사전 훈련된 이미지 임베딩 사용)에서도 유망한 결과를 보여주었다.

의의 및 주장

본 논문은 PreferenceEKF를 RLHF에서의 대규모 신경망 보상 모델을 위한 베이지안 딥러닝의 확장 가능한 솔루션으로 포지셔닝한다. 저자들은 이 접근 방식이 원칙적인 불확실성 정량화의 필요성과 계산적 용이성 사이의 균형을 성공적으로 맞추었다고 주장한다.

효율성: 주요 기여는 선호도 기반 보상 학습의 샘플 효율성을 개선하는 동시에, 기존 베이지안 방법론에 비해 훈련 및 추론 비용을 획기적으로 낮춘 것이다.
실용성: 이 방법은 이전에 신경망에서 불가능했던 InfoGain과 같은 고차원 획득 함수를 사용할 수 있게 한다.
한계점: 저자들은 EKF의 가우시안 가정이 단일 주석자 설정(단봉형 사후 분포)으로 제한된다는 점을 인정하며, 파운데이션 모델 규모의 보상 모델이나 다중 모달리티 선호 분포(예: 다양한 인간 주석자)로 확장하는 것은 여전히 과제로 남아 있다고 언급한다. 또한, 보상 모델의 로그 가능도가 최종 정책 성능과 직접적인 상관관계가 있는 것은 아니며, 보상 학습의 개선만으로 정책 성능이 반드시 보장되지는 않는다는 점을 명시하였다.

결론적으로, 본 논문은 부공간 추론을 통한 EKF가 인간 선호도에 기반한 능동적 보상 학습을 위해 앙상블 기반 및 기타 베이지안 딥러닝 방법론에 대한 확장 가능하고 효율적이며 잘 보정된 대안임을 입증한다.