기술 요약: 군중 선호도에서 유래한 암묵적 안전 정렬

문제 제기

강화 학습 (RL) 에이전트는 목표를 달성하기 위해 보상 함수에 의존하지만, 특히 암묵적 안전 제약 조건을 포함하여 원하는 행동을 완전히 포착하는 보상을 명시하는 것은 매우 어렵습니다. 복잡한 시나리오에서 설계자들은 종종 작업 완수에 집중하다가 안전 고려 사항 (예: 안전 마진 유지 또는 공격적 행동 회피) 을 실수로 생략하여 위험한 에이전트 행동을 초래합니다.

강화 학습에 인간 피드백을 적용한 방법 (RLHF) 은 에이전트를 인간 선호도와 정렬시키기 위해 개발되었으나, 대부분의 기존 방법은 단일하고 통합된 사용자 가치 집합을 가정합니다. 실제로 선호도 데이터는 종종 다양한 작업 목표와 행동 양식을 가진 사용자들의 '군중'으로부터 나옵니다. 그러나 이러한 사용자들은 서로 다른 목표를 가지고 있음에도 불구하고 (예: 안전하지 않은 상태 회피) 암묵적 안전 기준을 공유하는 경우가 많습니다. 이 연구에서 다루는 핵심 과제는 이질적인 군중 선호도 데이터에서 이러한 공유된 잠재적 안전 기준을 발견하고, 안전과 무관한 작업 보상만 존재하는 하류 작업에 이를 전이하는 방법입니다.

저자들은 군중 선호도에서 학습된 보상 모델과 하류 작업 보상을 단순히 결합하는 '순진한 (naive)' 접근법의 한계를 지적합니다. 이론적 및 실증적 분석에 따르면, 이러한 보상 결합 접근법은 두 가지 치명적인 문제를 겪습니다:

1. 사용자별 편향: 학습된 보상 모델은 공유된 안전 기준뿐만 아니라 사용자별 구성 요소도 포착합니다. 군중 데이터셋이 불균형한 경우 (예: 한 사용자가 대부분의 데이터를 기여함), 학습된 보상은 해당 특정 사용자의 목표에 편향되어 다른 작업에서 성능이 저하됩니다.
2. 가중치에 대한 민감성: 선호도 기반 보상과 작업 보상 간의 트레이드오프 가중치에 따라 성능이 매우 민감하게 변하므로, 방법론의 튜닝이 어렵습니다.

방법론: 안전 기반 군중 선호도 강화 학습

이러한 한계를 극복하기 위해 저자들은 보상을 결합하는 대신 **기술 (skills)**을 구성하는 계층적 프레임워크인 **안전 기반 군중 선호도 강화 학습 (Safe Crowd Preference-based Reinforcement Learning)**을 제안합니다. 방법론은 세 가지 주요 단계로 구성됩니다:

1. 군중 선호도 기반 기술 발견

단일 글로벌 보상을 학습하는 대신, 이 프레임워크는 다양한 사용자 선호 행동을 저수준 기술로 모델링합니다.

• 잠재 변수 추론: 특정 선호도를 결정하는 실제 사용자 컨텍스트 $z$는 관측되지 않으므로, 이 방법은 군중 선호도 데이터에서 잠재 변수 $z'$를 추론하기 위해 변분 오토인코더 (VAE) 를 사용합니다. 이 $z'$는 근본적인 사용자 컨텍스트의 대리 변수 역할을 합니다.
• 잠재 조건부 학습: 프레임워크는 $z'$에 조건부인 보상 함수 $r_\phi(s, a, z')$를 학습하거나, 직접 잠재 조건부 정책 $\pi_\theta(a|s, z')$을 학습합니다.
  • Safe-VPL: $z'$에 조건부인 보상을 학습하기 위해 Bradley-Terry 모델을 사용한 변분 선호도 학습 (VPL) 접근법을 적용한 후, 오프라인 RL(예: IQL) 을 통해 저수준 정책을 학습합니다.
  • Safe-CPL: VPL 프레임워크에 대비 선호도 학습 (CPL) 을 통합한 새로운 변형입니다. 명시적인 중간 보상 학습 단계를 거치지 않고 직접 잠재 조건부 정책 $\pi_\theta(a|s, z')$을 학습하여 RL 최적화 불안정성을 방지합니다.

2. 고수준 정책 구성

안전과 무관한 보상 $r_{new}$를 가진 새로운 하류 작업에 대해, 학습된 저수준 기술을 구성하는 고수준 정책 $\pi_h(z'|s)$이 훈련됩니다.

• 행동 선택: 고수준 정책은 잠재 변수 $z'$를 출력하며, 이는 최종 행동을 생성하기 위해 특정 저수준 기술 $\pi_l(a|s, z')$을 인덱싱합니다.
• 안전 상속: 모든 저수준 기술은 군중 선호도에서 학습되었으므로, 본질적으로 공유된 안전 기준 (예: 안전하지 않은 상태 - 행동 쌍 회피) 을 인코딩합니다. 에이전트가 이러한 기술을 구성하도록 제한함으로써, 하류 작업에 명시적인 안전 신호가 없어도 안전이 강제됩니다.
• 정규화: 분포 밖의 기술을 선택하여 안전하지 않은 행동을 초래할 수 있는 고수준 정책을 방지하기 위해, 선택된 잠재 변수를 군중 데이터에서 학습된 사전 분포에 가깝게 유지하는 정규화 항이 적용됩니다.

3. 하류 훈련

고수준 정책은 저수준 기술 공간이 부과하는 제약을 준수하면서 하류 작업 보상 $r_{new}$를 최대화하도록 훈련됩니다. 이는 상호작용이 있는 온라인 설정과 기존 데이터셋만 사용하는 오프라인 설정 모두에서 수행될 수 있습니다.

주요 기여

1. 문제 공식화: 이 논문은 이질적인 군중 선호도에서 공유된 안전 목표를 하류 작업으로 전이하는 문제를 공식화하고, 선호도 불균형 하에서 직접적인 보상 결합의 한계를 규명합니다.
2. 이론적 분석: 저자들은 다음을 보여주는 이론적 증명을 제공합니다:
   • 안전 페널리가 충분히 크다면, 군중 데이터에서 학습된 단일 보상 모델은 안전하지 않은 경로보다 안전한 경로를 선호합니다 (정리 4.2).
   • 그러나 군중 데이터가 불균형한 경우, 학습된 보상 순서는 다수 사용자의 특정 목표와 일치하게 되어 성능 저하를 초래합니다 (정리 4.3).
   • 제안된 기술 구성 접근법은 저수준 정책이 조건부 효용에 대해 최적일 경우 안전을 보장합니다 (보론 A.6).
3. 알고리즘 프레임워크: 기술 발견을 작업 최적화에서 분리하여 다양한 작업에서 안전 정렬 행동을 재사용할 수 있게 하는 계층적 프레임워크 (Safe-VPL 및 Safe-CPL) 를 제안합니다.
4. 실증적 검증: 여섯 가지 안전 RL 환경 (Reach, Run, Circle, Ant-vel, Swimmer-vel, HalfCheetah-vel) 과 개념 증명용 대규모 언어 모델 (LLM) 대화 작업에 대한 광범위한 실험을 수행했습니다.

실험 결과

이 방법은 지상 진실 (ground-truth) 안전 신호로 훈련된 오라클 방법, 작업 보상만 최적화하는 Task-Only, 안전 전용 선호도 학습 (SOPL), 그리고 보상 결합 (RC) 을 포함한 여러 베이스라인과 비교 평가되었습니다.

• 안전 성능: 제안된 방법 (Safe-VPL 및 Safe-CPL) 은 Task-Only 베이스라인에 비해 안전 비용을 현저히 감소시켰습니다. 오프라인 설정에서 평균 정규화 안전 비용은 Task-Only 의 1.0 에서 약 0.02~0.03 으로 감소하여 오라클 방법과 유사한 수준이 되었습니다.
• 작업 성능: 이 접근법은 오라클 방법과 유사한 작업 성능을 달성했으며, 특히 불균형 선호도 설정에서 보상 결합 (RC) 방법보다 훨씬 우수한 성능을 보였습니다.
• 불균형에 대한 강건성: RC 는 한 사용자가 대부분의 데이터를 기여할 때 성능이 급격히 저하되어 (오라클 프론티어에서 멀어짐) 제안된 기술 구성 방법은 선호도 불균형과 관계없이 오라클 성능에 근접한 강건성을 유지했습니다.
• LLM 평가: 단순화된 언어 기반 밴딧 설정에서, 이 방법은 유해한 응답을 성공적으로 피하면서도 강력한 작업 성능을 달성한 반면, Task-Only 에이전트는 보상을 극대화하기 위해 유해한 응답을 자주 선택했습니다.

중요성과 주장

이 논문은 명시적인 안전 보상이나 시연 없이도 군중 선호도에서 암묵적 안전 목표를 발견하고 전이할 수 있음을 보여주는 것이 주요 중요성이라고 주장합니다.

• 데이터 재사용: 이 접근법은 특정 하류 작업을 위해 수집된 선호도가 아니더라도 군중 선호도 데이터를 작업 간에 재사용할 수 있게 하여, 반복적인 인간 피드백 수집 비용을 잠재적으로 줄일 수 있습니다.
• 보상 설계 문제 완화: 암묵적 안전 신호를 활용함으로써, 불완전하거나 잘못 명시된 인간 설계 보상이라는 일반적인 문제를 해결합니다.
• 확장성: 이 프레임워크는 군중 선호도가 안전에 대한 공유된 합의를 반영한다고 가정합니다. 저자들은 실제 세계의 노이즈나 적대적 피드백이 이를 도전할 수 있음을 인정하지만, 안전 사양을 공식적으로 정의하기 어려운 도메인에서 안전한 행동을 학습할 수 있는 강건한 방법을 제공한다고 주장합니다.

저자들은 실험이 자연스러운 인간 피드백이 아닌 지상 진실 보상에서 생성된 합성 주석 선호도에 의존하며, 더 노이즈가 많고 실제적인 인간 데이터를 대상으로 한 접근법 검증을 위한 향후 연구가 필요하다는 점을 언급하며 겸손한 입장을 유지합니다.