기술 요약: 세트-감독 확산 정책 (Set-Supervised Diffusion Policy, SDP)

문제 정의

확산 정책(Diffusion Policies, DP)은 고차원의 연속적인 액션 청크(action-chunk) 공간에서 로봇 조작을 위한 강력한 프레임워크로 부상했습니다. 그러나 다른 행동 복제(Behavior Cloning, BC) 방법들과 마찬가지로, DP는 배포 중 상태 분포가 훈련 데이터로부터 벗어나는 분포 변화(distributional shift)에 취약합니다. 이를 완화하기 위한 일반적인 전략은 인간이 개입하여 로봇의 실패를 교정하는 '인간 참여형(human-in-the-loop)' 방식입니다.

현재의 데이터 집계 파이프라인과 표준 BC 손실 함수들은 이러한 개입 과정에서 발생하는 로봇의 원치 않는 행동, 즉 '부정적 신호(negative signal)'를 거의 무시합니다. 이들은 일반적으로 교사(teacher)의 교정된 행동만을 기록하며, 이는 학습을 교사의 특정 분포로 편향되게 만듭니다. 이는 잠재적으로 불완전하거나 노이즈가 섞인 전문가 데이터에 과적합되는 결과를 초래하며, 비용이 많이 드는 고품질 개입에 대한 의존도를 높입니다. 또한, 선호도 학습이나 에너지 기반 모델(EBM, 예: CLIC)을 통해 교정으로부터 학습하려는 기존 방식들은 고차원 액션 청크를 처리하는 데 어려움을 겪거나, DP를 효과적으로 만드는 액션 청킹 메커니즘과의 통합 및 안정성이 부족합니다.

방법론: 세트-감독 확산 정책 (SDP)

저자들은 대조적 액션 청크 데이터(양의 액션과 음의 액션 쌍)를 활용하여 확산 정책을 훈련하는 프레임워크인 **세트-감독 확산 정책(SDP)**을 제안합니다. SDP는 교사의 행동을 단일한 정확한 타겟으로 취급하는 대신, 정책 학습을 위한 세트 형태의 타겟인 원하는 액션 청크들의 세트를 구성합니다.

1. 원하는 액션 세트를 액션 청크로 확장

단일 단계 액션에서 작동하는 CLIC의 세트 값 감독 개념을 바탕으로, SDP는 이를 액션 청크(액션 시퀀스 $A_t = [a_t, \dots, a_{t+T-1}]$)로 확장합니다.

• 관측값 $O_t$와 한 쌍의 액션 청크(로봇의 음의 액션 $A^-$와 인간의 양의 액션 $A^+$)가 주어지면, SDP는 원하는 액션 세트 $\hat{A}_t$를 정의합니다.
• 이 세트는 음의 액션과 양의 액션 사이의 거리에 의해 정의되는 단일 단계 원하는 세트 $\hat{A}^s_{t+i}$의 시퀀스로 구성됩니다.
• 하나의 액션 청크 내의 모든 단일 단계 액션이 그에 대응하는 단일 단계 원하는 세트 안에 포함될 경우, 해당 액션 청크는 세트에 속하는 것으로 간주됩니다. 이는 교사의 정확한 액션을 일치시켜야 한다는 제약을 완화하여, 동일하게 바람직한 대안적 액션들을 허용합니다.

2. 훈련 목적 함수 및 샘플링

이 세트 형태의 타겟으로부터 샘플링되는 확률을 최대화하도록 확산 정책을 훈련하는 것은 쉽지 않은데, 이는 확산 모델이 표준 KL-발산 손실 함수에 필요한 명시적인 우도(likelihood) 추정치를 제공하지 않기 때문입니다.

• 근사화: SDP는 타겟 분포에서 추출된 샘플링된 원하는 액션 청크 리스트의 우도를 최대화함으로써 목적 함수를 근사화합니다.
• 제약된 샘플링: 이러한 샘플을 생성하기 위해, SDP는 반사 확산 샘플링(reflected diffusion sampling) 절차를 사용합니다. 디노이징(denoising) 과정 중에 중간 샘플이 경계를 넘어서면 이를 원하는 세트로 다시 투영(project)합니다. 구체적으로, 디노이징된 단계가 세트 외부로 벗어나면, 해당 양의 액션($a^+$)으로 투영됩니다. 이를 통해 생성된 샘플이 현재 정책 분포와 가까이 유지되면서도 원하는 세트 내에 머물도록 보장합니다.
• 손실 함수: 정책은 원시 교사 액션 대신 이러한 샘플링된 액션 청크를 사용하여 표준 디노이징 손실(BC와 유사)을 통해 훈련됩니다.

3. 데이터 집계 파이프라인

SDP는 온라인 대화형 학습 루프와 통합됩니다:

• 인간이 개입할 때, 시스템은 동일한 시간 단계에 대해 교사의 액션($A^+$)과 실행되지 않은 로봇의 액션($A^-$)을 모두 기록합니다.
• 이 쌍들은 원하는 액션 세트를 구성하는 데 사용되는 대조적 데이터셋을 형성합니다.
• 이 프레임워크는 온라인 학습(실행 중 데이터 집계)과 오프라인 학습(기존 데몬스트레이션 데이터셋을 부정적 액션 합성을 통해 증강)을 모두 지원합니다.

주요 기여

1. 확산 정책을 위한 세트 값 감독: 본 논문은 (이전에 EBM 및 단일 단계 액션에 국한되었던) 세트 값 감독을 고차원 액션 청크 공간에서 작동하는 확산 정책에 적응시킨 새로운 프레임워크를 도입했습니다.
2. 교정으로부터의 대조 학습: SDP는 인간의 개입 중 발생하는 로봇의 실패로부터 얻은 부정적 신호를 버리지 않고 효과적으로 활용합니다. 이는 특정 교사 액션에 대한 과적합을 줄이고 강건성을 향상시킵니다.
3. 반사 샘플링 전략: 저자들은 확산 모델을 위한 훈련용 유효한 원하는 액션 청크를 생성하기 위해 반사 연산자를 포함한 제약된 디노이징 프로세스를 포함하는 실용적인 훈련 파이프라인을 제래안했습니다.
4. 데이터 품질 향상: 이 방법은 원하는 액션 세트 내에서의 탐색을 장려함으로써, 표준 BC 접근 방식보다 더 넓은 상태 커버리지를 갖는 더 높은 품질의 집계된 데이터셋을 생성합니다.

실험 결과

저자들은 여러 시뮬레이션 조작 작업(Push-T, Square, PickCan, TwoArmLift)과 실제 환경 작업(Insert-T, Round-table Assembly)에서 SDP를 평가했습니다.

• 온라인 대화형 학습: SDP는 정확한 피드백 및 노이즈가 섞인 피드백 설정 모두에서 최신 베이스라인(DP, DP-DPO, CLIC, IBC)을 일관되게 능가했습니다. 특히, SDP는 표준 DP에 비해 노이즈가 있는 피드백 상황에서도 성능 저하가 현저히 작음을 보여주며 탁월한 강건성을 입증했습니다.
• 오프라인 학습: SDP 에이전트에 의해 수집된 데이터셋으로 훈련된 정책은 표준 DP 에이전트에 의해 수집된 데이터셋으로 훈련된 정책보다 우수한 성능을 보였습니다. 이는 SDP가 더 나은 상태 커버리지와 일반화 특성을 가진 데이터셋을 생성함을 시사합니다.
• 실제 환경 성능: 장기 실행(long-horizon) 실제 작업에서 SDP는 DP보다 높은 성공률을 달 사항했습니다. 특히 인간의 교정이 포함된 데이터셋으로 훈련될 때 더욱 효과적이었습니다.
• 절제 연구(Ablation Studies): 실험을 통해 반사 기반 샘플링 전략이 분류기 가이던스(classifier guidance)와 같은 대안들보다 우수한 성능을 보이며 핵심적인 역할을 한다는 것을 확인했습니다.

의의 및 주장

본 논문은 **대조적 감독(contrastive supervision)**이 로봇 정책 학습에서 강력하지만 아직 충분히 활용되지 못한 신호라고 주장합니다. 점 단위의 모방(pointwise imitation)에서 세트 값 감독(set-valued supervision)으로 전환함으로써, SDP는 표준 행동 복제의 과적합 문제를 완화합니다. 저자들은 이 접근 방식이 확산 모델의 안정성과 표현력을 유지하면서도 (강화 학습과 유사하게) 훈련 데이터의 품질을 넘어 정책을 개선할 수 있게 한다고 주장합니다.

이 연구는 인간의 교정을 통해 원하는 액션 공간을 명시적으로 모델링하는 것이 더 강건한 정책과 더 높은 품질의 훈련 데이터를 생성하며, 이는 완벽한 전문가 데몬스트레이션에 대한 의존도를 낮춘다는 것을 보여줍니다. 저자들은 훈련 중 원하는 액션 청크를 샘플링하는 데 드는 계산 비용과 절대적(absolute) 피드백이 아닌 상대적(relative) 교정 피드백을 가정한다는 점 등의 한계점도 인정하고 있습니다.