Density-Ratio Weighted Behavioral Cloning: Learning Control Policies from Corrupted Datasets

기술 요약: 밀도 비율 가중 행동 복제 (Density-Ratio Weighted Behavioral Cloning)

문제 제기
오프라인 강화 학습 (RL) 은 고정된 데이터셋에서 정책 최적화를 가능하게 하여, 온라인 탐색이 불가능한 자율 주행 차량 및 산업용 로봇과 같은 안전 필수 분야에서 중요한 해결책을 제공합니다. 그러나 실제 세계 데이터셋은 센서 고장, 사이버 - 물리적 공격, 주석 오류, 또는 적대적 조작으로 인한 데이터 중독으로 자주 훼손됩니다. 표준 행동 복제 (BC) 와 오프라인 RL 알고리즘은 암묵적으로 모든 궤적을 동등하게 신뢰할 수 있는 것으로 간주하여, 최적화 과정에서 깨끗한 샘플과 손상된 샘플을 혼합합니다. 이는 특히 미묘한 이상치가 궤적 추적과 같은 제어 작업을 방해할 수 있는 중등도에서 중증도의 중독 하에서 정책 성능 저하, 불안정성, 또는 안전 위반을 초래합니다. 기존 강건성 연구들은 종종 특정 손상 채널에 초점을 맞추거나 알려진 혼합 분포를 가정하여, 오프라인 제어 데이터셋에서 임의의 알려지지 않은 오염 메커니즘을 처리하는 데 있어 공백을 남깁니다.

방법론
본 논문은 오염 메커니즘에 대한 사전 지식 없이 오염된 오프라인 데이터셋으로부터 학습하도록 설계된 강건한 모방 학습 프레임워크인 **밀도 비율 가중 행동 복제 (Weighted BC)**를 제안합니다. 핵심 방법론은 세 단계에 의존합니다:

1. 참조 집합 활용: 이 접근법은 잠재적으로 오염된 주요 데이터셋 ($D$) 과 구별되는 작고 검증된, 그리고 분리된 깨끗한 전문가 궤적의 참조 집합 ($D_{ref}$) 에 대한 접근을 가정합니다.
2. 판별자 기반 밀도 비율 추정: 이진 판별자 $d_\phi$를 훈련하여 깨끗한 참조 집합 (클래스 1) 의 궤적과 오염된 주요 데이터셋 (클래스 0) 의 궤적을 구분합니다. 판별자는 이진 교차 엔트로피 손실을 최소화합니다. 균형 잡힌 샘플링 하에서, 밀도 비율 $r(\tau) = p_{clean}(\tau)/p(\tau)$는 $d_\phi(\tau) / (1 - d_\phi(\tau))$로 복원됩니다.
3. 가중 목적 함수: 이러한 추정된 비율은 수치적 안정성을 보장하기 위해 결정론적 범위 $[\epsilon, C]$로 클립되며, 행동 복제 목적 함수에서 가중치로 사용됩니다. 경험적 손실은 다음과 같습니다:
   $$L_{WBC}(\theta) = \frac{1}{N} \sum_{i=1}^{N} w_i \sum_{t=0}^{T-1} -\log \pi_\theta(a_t^{(i)} | s_t^{(i)})$$
   여기서 $w_i = \text{clip}(r(\tau_i), \epsilon, C)$입니다. 이 가중치 방식은 깨끗한 전문가 행동을 모방하는 궤적을 우선시하면서 이상적인 세그먼트의 가중치를 낮추거나 폐기합니다.

이 방법은 연속 제어 벤치마크에 적용된 네 가지 특정 중독 프로토콜에 대해 평가되었습니다:

• 보상 중독: 좋은 행동을 처벌하기 위해 양의 보상을 반전시킵니다.
• 상태 중독: 센서 고장을 시뮬레이션하기 위해 상태에 가우시안 노이즈를 추가합니다.
• 전이 중독: 인과적 연결을 방해하기 위해 다음 상태 관측치를 셔플합니다.
• 행동 중독: 행동에 가우시안 노이즈를 가하여 교란시킵니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 알고리즘 제안: 판별자 기반 가중치를 통해 손상된 궤적을 식별하고 가중치를 낮추기 위해 작고 검증된 참조 집합을 활용하는 Weighted BC 를 도입합니다. 이는 특정 오염 메커니즘에 대한 지식이 필요 없이 강건한 정책 학습을 가능하게 합니다.
2. 이론적 기반: 저자들은 학습된 정책에 대한 균일한 깨끗한 위험 근사 경계 및 초과 깨끗한 위험 보장을 포함한 이론적 보장을 확립합니다. 중요한 점은 이러한 경계가 적절한 클립 임계값 하에서 오염률 ($\alpha$) 에 독립적임이 입증되었으며, 유한 샘플 오차, 판별자 오차, 그리고 클립 편향을 분리한다는 것입니다.
3. 평가 프레임워크: 기존 문헌이 종종 특정 손상 유형을 가정하는 공백을 해소하기 위해, 다양한 중독 시나리오 (행동, 상태, 전이, 보상) 를 연속 제어 벤치마크 (D4RL) 에 걸쳐 포함하는 포괄적인 평가 프레임워크를 수립했습니다.

결과
실험은 오염 수준이 20% 에서 100% ($\alpha \in \{0.2, \dots, 1.0\}$) 로 변하는 D4RL 벤치마크 (HalfCheetah, Ant, Hopper, Walker2d) 에서 수행되었습니다. Weighted BC 는 기존 BC, Batch-Constrained Q-learning (BCQ), Behavior Regularized Actor-Critic (BRAC) 과 비교되었습니다.

• 강건성: Weighted BC 는 높은 오염 비율 ($\alpha \ge 0.8$) 에서도 거의 최적의 성능을 유지한 반면, 기준선들은 심각한 저하를 겪었습니다.
• 행동 중독: 이 시나리오에서 기준선들은 붕괴되었습니다 (예: HalfCheetah 에서 $\alpha=1.0$일 때 기존 BC 는 약 2,500 의 반환으로 저하된 반면 Weighted BC 는 10,000 이상을 유지). 판별자는 행동이 손상된 궤적을 행동 다양성 (behavioral manifold) 에서 벗어난 것으로 성공적으로 식별했습니다.
• 상태 및 전이 중독: Weighted BC 는 일관된 안정성을 보인 반면, BCQ 의 VAE 기반 제약은 손상된 역학을 모델링하지 못했고, BRAC 는 상태 오염 하에서 불안정성을 보였습니다.
• 보상 중독: BC 는 보상 신호가 아닌 상태 - 행동 쌍에 의존하므로, Weighted BC 는 기준선 성능의 80-90% 를 유지한 반면 BRAC 는 여러 환경에서 실패했습니다.
• 유지율: Weighted BC 는 모든 중독 유형에 걸쳐 60% 오염까지 깨끗한 성능의 80% 이상을 유지하여, 기존 BC 에서 관찰된 선형 저하를 크게 능가했습니다.

의의 및 주장
본 논문은 Weighted BC 가 임의의 데이터 중독이 존재하는 오프라인 RL 을 위한 강건한 해결책을 제공한다고 주장합니다. 이는 안전 필수 시스템에 학습 기반 제어기를 배포하는 데 있어 중요한 요구 사항입니다. 작고 검증된 참조 집합을 활용함으로써, 이 방법은 공격의 특정 성격을 모델링할 필요 없이 손상된 데이터를 효과적으로 필터링합니다. 이론적 분석은 이 접근법이 오염의 심각성에 의존하지 않는 유한 샘플 경계를 가지며 깨끗한 전문가 정책으로 수렴함을 확인시켜 줍니다. 경험적으로, 이 방법은 표준 방법들이 실패하는 고오염 영역에서 특히 두드러지게, 최첨단 오프라인 RL 알고리즘보다 우수한 회복 탄력성을 보여줍니다. 이 연구는 궤적 수준의 평가가 시간적 일관성과 제어 관련 이상치를 포착하는 데 필수적임을 강조하며, 이는 오직 고립된 상태 - 행동 아티팩트만 다루는 방법들과 구별됩니다.