기술적 요약: 보상 학습을 위한 능동적 교사 선택

문제 정의

현재의 보상 학습 시스템, 특히 인간 피드백을 통한 강화 학습 (RLHF) 을 활용하는 시스템들은 모든 피드백이 고정된 노이즈 특성을 가진 단일하고 정형화된 인간 교사로부터 비롯된다는 제한적인 가정 하에 작동합니다. 실제로는 피드백이 전문성, 주의력, 합리성에서 현저히 다른 대규모 이질적인 집단으로부터 집계됩니다. 이러한 불일치는 교사의 합리성과 맥락에 대한 인식되지 않은 이질성이 학습된 목표를 왜곡할 수 있으므로, 최적이지 않은 보상 모델을 초래합니다.

해결되는 핵심 문제는 교사 선택입니다: 다양한 수준의 신뢰성 (합리성) 과 비용을 가진 여러 교사에게 접근할 수 있을 때, 보상 학습 에이전트는 어떤 교사를 언제 질의해야 하는지 결정해야 합니다. 에이전트는 현재 보상 모델을 활용하는 행동의 즉각적 효용과 모델을 개선하기 위해 교사를 질의하는 가치 (탐색) 사이에서 균형을 맞춰야 하며, 동시에 고비용의 고정밀 교사를 질의하는 데는 비용이 발생하지만, 저비용의 노이즈가 많은 교사는 다른 정보적 가치를 제공할 수 있다는 사실을 고려해야 합니다.

방법론

숨겨진 효용 밴딧 (HUB) 프레임워크

저자들은 이 문제를 숨겨진 효용 밴딧 (Hidden Utility Bandit, HUB) 프레임워크를 사용하여 공식화했습니다. 팔 utilities 가 관찰되는 표준 멀티-암 밴딧 (MAB) 과 달리, HUB 는 팔의 효용이 잠재적이며 오직 교사 피드백을 통해 추론될 수 있다고 가정합니다.

• 구성 요소: 숨겨진 효용 $U$를 가진 항목 집합 $I$, 항목을 확률적으로 생성하는 팔 집합 $C$, 그리고 고유한 합리성 매개변수와 질의 비용을 가진 교사 집합 $\beta$.
• 교사 모델: 교사들은 볼츠만-합리적 에이전트로 모델링됩니다. 교사가 항목 $i$를 $j$보다 선호할 확률은 그들의 합리성 매개변수 $\beta$와 효용 차이 $\Delta_{ij} = U(i) - U(j)$에 의해 결정됩니다.
• 목적: 팔 당김 (보상 획득) 과 교사 질의 (정보 획득) 를 교차시켜 기대 할인된 효용의 합을 최대화합니다.

능동적 교사 선택 (ATS) 알고리즘

HUB 문제를 해결하기 위해 저자들은 교사를 선택하는 것을 계획 문제로 간주하는 알고리즘적 접근법인 **능동적 교사 선택 (Active Teacher Selection, ATS)**을 제안합니다.

1. POMDP 공식화: HUB 를 부분 관측 가능 마르코프 결정 과정 (Partially Observable Markov Decision Process, POMDP) 으로 변환합니다. 상태 공간에는 숨겨진 효용 함수와 팔 분포가 포함되고, 행동 공간에는 팔 당김과 특정 교사 질의가 모두 포함됩니다.
2. 계획: ATS 는 **관측 확장을 통한 부분 관측 가능 몬테카를로 계획 (Partially Observable Monte Carlo Planning with Observation Widening, POMCPOW)**을 사용합니다. 이 솔버는 숨겨진 효용에 대한 믿음을 유지하고 대규모 상태 공간을 처리하기 위해 가중치 입자 필터를 사용합니다.
3. 롤아웃 정책: 알고리즘은 믿음 트리에서 리프 노드의 가치를 추정하기 위해 맞춤형 롤아웃 정책 (특히 "최고의 팔" 정책) 을 사용합니다.
4. 구체적 vs 일반적 선택: ATS 는 두 가지 모드를 지원합니다:
   • 구체적 선택: 에이전트가 정확히 어떤 교사를 질의할지 선택합니다.
   • 일반적 선택: 에이전트가 언제 교사를 질의할지 결정하지만, 특정 교사는 무작위로 선택됩니다 (표준 RLHF 를 모방).
5. 매개변수 추론: 교사의 합리성 ($\beta$) 이 종종 알려지지 않았음을 인식하여, 저자들은 효용 차이에서 유도된 스케일링 인자를 사용하여 경험적 선호 데이터로부터 $\beta$를 추정하는 방법을 제공합니다.

주요 기여

1. HUB 프레임워크: 교사의 합리성과 질의 비용의 차이를 명시적으로 고려하여 여러 교사로부터의 보상 학습을 모델링하기 위한 새로운 수학적 형식주의입니다. 효용을 잠재적이고 피드백을 통해서만 학습 가능하게 함으로써 표준 MAB 를 일반화합니다.
2. 능동적 교사 선택 (ATS): HUB 문제를 POMDP 로 변환하는 알고리즘적 접근법입니다. ATS 는 탐색과 활용을 능동적으로 교차시켜, 기대 할인된 효용을 최대화하기 위해 질의의 타이밍과 특정 교사를 동적으로 결정합니다.
3. 합리성 추정: 선호 데이터로부터 교사 합리성 매개변수 ($\beta$) 를 추론하는 절차로, 이러한 하이퍼파라미터가 사전에 알려져야 한다는 요구 사항을 제거합니다.
4. 실증적 검증: 두 가지 다른 도메인에 프레임워크를 적용:
   • 논문 추천: 학생에게 논문 유형 관련성에 기반하여 학회를 추천하는 것으로, 교수들이 다양한 전문성을 가진 교사로 작용합니다.
   • COVID-19 백신 테스트: 정확도와 비용이 다른 진단 검사 (설문, 항원, RT-PCR) 를 "교사"로 하여 백신 효능을 평가합니다.

실험 결과

저자들은 랜덤 (Random) (균일 행동 선택) 과 나이브 (Naive) (고정된 탐색 단계 후 활용, 표준 오프라인 RLHF 파이프라인을 모방) 를 포함한 베이스라인에 대해 ATS 를 평가했습니다.

• 논문 추천 작업:

  • 구체적 교사 선택을 사용한 ATS 는 일반적 선택과 나이브 베이스라인 모두를 능가하는 가장 높은 평균 할인 누적 보상을 달성했습니다.
  • ATS 는 베이스라인보다 더 정확하게 (낮은 L2 손실) 기본 효용 함수 (관련성 점수) 와 팔 분포를 학습했습니다.
  • 결정적으로, ATS 는 시작 시 교사를 신중하게 질의했지만, 믿음을 정제하기 위해 에피소드 내내 질의를 계속한 반면, 나이브 알고리즘은 고정된 시간 범위 이후 학습을 중단했습니다.
  • 구체적 vs 일반적: 구체적 선택이 일반적 선택보다 일관되게 우세하여, 어떤 교사를 질의할지 선택할 수 있는 능력이 효율성에 결정적임을 보여주었습니다.

• 백신 테스트 사례 연구:

  • 목표는 감염률과 테스트 비용을 최소화하면서 가장 효과적인 백신을 식별하는 것이었습니다.
  • 랜덤 암 (Random Arms) (테스트를 전혀 하지 않음) 은 비용을 피함으로써 높은 보상을 얻었지만 가장 좋은 백신을 식별하지 못했습니다.
  • 나이브 베이스라인은 가장 좋은 백신을 식별했지만 과도한 테스트 비용을 발생시켰습니다.
  • ATS는 두 가지 목표를 성공적으로 균형 잡았습니다: 가장 효과적인 백신을 식별하면서 필요한 최소한의 비용이 드는 테스트를 수행했습니다.

중요성과 주장

이 논문은 HUB 프레임워크와 ATS 알고리즘이 현재 보상 학습 시스템의 중요한 격차, 즉 교사 이질성에 대한 추론 능력의 부재를 해결한다고 주장합니다. 교사의 합리성과 비용 차이를 명시적으로 모델링함으로써, 시스템은 정보 획득과 질의 비용 사이에서 원칙적인 절충안을 내릴 수 있습니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 효율성 향상: 현재 RLHF 관행의 경직된 사전 정의된 탐색 일정을 피하여, 에이전트가 믿음 업데이트에 필요할 때만 질의할 수 있게 합니다.
• 정확성 향상: 때로는 매우 합리적인 교사보다 노이즈가 많은 교사가 효용 간격의 크기에 대해 더 많은 정보를 제공할 수 있다는 등, 서로 다른 교사들의 특정 정보적 가치를 활용함으로써 더 정확한 보상 모델을 생성합니다.
• 확장성: 현재 구현은 이산화된 효용 공간에 의존하여 (매우 큰 문제의 확장성을 제한함), 교사 이질성을 모델링하고 질의에 대해 계획하는 개념적 프레임워크는 근사 사후 추론을 통해 신경망 매개 보상 함수에 적용 가능합니다.

이 연구는 특히 오류 비용이나 전문가 피드백 비용이 높은 안전 관련 도메인에서, 다양한 집단으로부터 정확하고 견고하며 가치 정렬된 모델을 학습하기 위해 능동적 교사 선택이 필수적이라고 결론지었습니다.