기술 요약: BEACON

문제 정의

시퀀스 모델인 Diffusion Policies 와 같은 모델을 통한 행동 복제 (BC) 를 통한 로봇 학습은 크게 발전했으나, 여전히 중요한 병목 현상이 존재합니다: 한 도메인 (소스) 에서 훈련된 정책은 다른 도메인 (타겟) 에 배포될 때, 작업의 의미론이 동일하더라도 성능이 저하되는 경우가 많습니다. 이러한 도메인 간격은 시각적 불일치 (텍스처, 조명, 카메라 포즈) 와 물리적 불일치 (마찰, 접촉 역학, 구동 지연) 에서 발생합니다. 대규모 타겟 도메인 데이터셋을 수집하는 것은 비용이 많이 들고 확장하기 어렵지만, 소스 데이터 (예: 시뮬레이션 또는 인간 데모에서 얻은 데이터) 는 풍부하지만 종종 불일치합니다.

이 문제에 대한 기존 접근법은 두 가지 범주로 나뉩니다:

1. 도메인 무작위화 (Domain Randomization): 소스의 다양성을 증가시켜 견고성을 향상시키지만, 분포를 명시적으로 정렬하지는 않습니다.
2. 도메인 적응 (Domain Adaptation): 소스와 타겟 표현을 명시적으로 정렬합니다 (예: 특징 매칭 또는 적대적 훈련을 통해). 그러나 이러한 방법들은 종종 휴리스틱 목적 함수에 의존하며, 비시각적 변화를 놓칠 수 있고, 소스들이 서로뿐만 아니라 타겟과도 다른 다중 소스 설정에서는 어려움을 겪습니다.

본 논문이 다루는 핵심 질문은 다음과 같습니다: 휴리스틱 정렬 손실에 의존하지 않으면서, 라벨이 지정된 타겟 데이터의 필요성을 최소화하고 풍부한 불일치 소스 데모를 활용하여 타겟 도메인 일반화를 어떻게 개선할 수 있는가?

방법론: BEACON

저자들은 BEACON(Best-Effort Adaptation for Cross-Domain Co-Training) 을 제안합니다. 이는 이론에 기반한 프레임워크로, 교차 도메인 공동 훈련을 불일치 인식 중요도 재가중치 문제로 재정의합니다.

이론적 기반

BEACON 은 Best-Effort Adaptation (BEA) 프레임워크 [23] 에 기반합니다. 소스와 타겟 데이터를 단순히 혼합하거나 특징 정렬을 강제하는 대신, BEACON 은 정책 $\pi_\theta$와 샘플별 가중치 집합 $q$를 공동으로 학습하여 타겟 도메인에 대한 이론적으로 유도된 일반화 상한을 최소화합니다.

목적 함수 (식 6) 는 다음을 최소화합니다:
$$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$$

여기서:

• $\ell_{BC}$는 확산 행동 복제 손실입니다.
• $d_i$는 타겟과 불일치하는 소스 샘플을 처벌하는 불일치 항입니다.
• $p_0$는 기준 가중치 (타겟 전용 경험적 분포) 입니다.
• 정규화 항 ($\lambda_1, \lambda_2$) 은 학습된 가중치가 타겟 분포에 고정되도록 하고 퇴화 된 해를 방지합니다.

로봇 공학을 위한 실제 적용

고차원 확산 정책에 원래 BEA 프레임워크를 적용하려면 몇 가지 주요 조정이 필요했습니다:

1. 인스턴스 수준 불일치 추정: 단일 도메인 수준 패널티 대신 BEACON 은 샘플별 불일치 점수 $d_i$를 계산합니다. 기본 추정기는 정책의 비전 인코더 임베딩 공간에서 **k-최근접 이웃 (k-NN)**을 사용합니다. 이는 소스 샘플과 가장 가까운 타겟 이웃 간의 거리를 타겟 내 분산으로 정규화하여 측정합니다. 이를 통해 시스템은 단일 시뮬레이터 내에서도 시각적 또는 행동적으로 타겟과 양립할 수 없는 특정 "이상치" 소스 궤적을 식별하고 가중치를 낮출 수 있습니다.
2. 확률적 교차 최적화: 확산 모델의 계산 비용으로 인해 BEACON 은 전체 배치 최소화 대신 확률적 교차 업데이트를 사용합니다. 다음 단계를 번갈아 수행합니다:
   • 가중치 업데이트 ($q$): 샘플별 손실과 불일치에 기반한 투영 부분 기울기 단계.
   • 정책 업데이트 ($\theta$): 가중 미니배치 손실에 대한 AdamW 단계.
   • 복잡도 제어: 원래 노름 기반 용량 제어는 최적화 호환 가중치 감쇠 ($\gamma \|q\|_\infty R(\theta)$) 로 대체되어 최대 샘플 가중치를 정규화 강도와 연결합니다.
3. 다중 소스 확장 (MS-BEACON): 이질적인 소스 도메인 (예: 여러 시뮬레이터) 이 있는 시나리오의 경우, 이 방법은 두 단계 가중치 체계를 도입합니다: 유용한 소스 도메인을 선택하기 위한 도메인 수준 가중치 $w$와 각 도메인 내 불일치 궤적을 필터링하기 위한 인스턴스 수준 가중치 $\tilde{q}$입니다.

주요 기여

1. 이론 기반 공동 훈련: BEACON 은 휴리스틱 특징 정렬 손실에 의존하는 대신 불일치 기반 일반화 상한을 직접 최소화하는 방식으로 BEA 프레임워크를 생성형 로봇 정책에 적응시킨 최초의 방법입니다.
2. 확장 가능한 인스턴스 수준 재가중치: 확장 가능한 인스턴스 수준 불일치 추정기 (임베딩 공간의 k-NN) 의 도입은 이 방법이 고차원 시퀀스 정책과 이질적인 소스 데이터를 효과적으로 처리할 수 있게 합니다.
3. 암시적 특징 정렬: 이 논문은 명시적 정렬 손실 항이 필요하지 않음에도 불구하고, 불일치 인식 재가중치 목적 함수의 부산물로 특징 정렬이 자연스럽게 나타난다는 것을 보여줍니다.
4. 다중 소스 견고성: MS-BEACON 확장은 이질적인 소스 도메인을 효과적으로 균형 있게 조정하여, 소스들이 서로 및 타겟과 크게 다를 때 부정적 전이를 완화합니다.

실험 결과

BEACON 은 Franka Emika Panda 로봇에서 수행된 블록 적층, 머그컵 정리, 실링 (threading) 과 같은 시뮬레이션에서 시뮬레이션으로 (sim-to-sim), 시뮬레이션에서 현실로 (sim-to-real), 그리고 다중 소스 조작 작업에 대해 평가되었습니다.

• 우수한 일반화: BEACON 은 Target-Only, 고정 비율 공동 훈련, 특징 정렬 방법 (MMD, UOT) 을 포함한 기준선들을 일관되게 능가했습니다.
  • 시뮬레이션에서 시뮬레이션으로 (sim-to-sim) (텍스처 및 시점 간격) 에서 BEACON 은 텍스처 간격에서 평균 성공률 0.64, 텍스처 + 시점에서 0.45를 달성하여 다음으로 좋은 기준선 (MMD) 을 상당한 차이로 능가했습니다.
  • 시뮬레이션에서 현실로 (sim-to-real) 에서 타겟 전용 정책은 거의 실패 (평균 성공률 0.10) 했지만, BEACON 은 0.77의 평균 성공률을 달성하여 시각적 및 물리적 간격 모두에 대한 견고성을 입증했습니다.
• 분포 외 (OOD) 견고성: BEACON 은 타겟 데모의 분포 밖의 작업 인스턴스에 대해 평가될 때 성능을 유지한 반면, 특징 정렬 기준선 (MMD 등) 은 심각한 저하를 겪었습니다.
• 암시적 정렬: UMAP 시각화는 명시적 정렬 손실이 없음에도 불구하고 재가중치 역학의 결과로 BEACON 이 소스와 타겟 잠재 특징을 서로 더 가깝게 만든다는 것을 확인시켜 주었습니다.
• 데이터 효율성: 타겟 데모를 추가로 확장하면 BEACON 의 성능이 향상되어, 소스 재가중치가 타겟 데이터를 대체하는 것이 아니라 그 가치를 증폭시킨다는 것을 나타냅니다.

중요성과 주장

이 논문은 BEACON 이 기존 도메인 적응 방법에 대한 상호 보완적 패러다임을 제공한다고 주장합니다. 잠재 공간을 일치시키도록 강요하는 것 (이는 작업 관련 기하학을 붕괴시킬 수 있음) 에 초점을 맞추는 대신, BEACON 은 어떤 소스 궤적이 타겟 학습에 영향을 미쳐야 하는지 선택하는 데 초점을 맞춥니다.

저자들은 다음과 같이 주장합니다:

• 중요도 재가중치는 네트워크에서 표현을 어디에 정렬할지 선택하는 것보다 교차 도메인 로봇 학습을 위한 더 근본적인 설계 레버입니다.
• 이 레버를 일반화 이론에 근거시키는 것은 견고성과 데이터 효율성에서 구체적인 이득을 가져옵니다.
• 이 방법은 대규모 타겟 데이터셋 수집이 불가능한 낮은 타겟 데이터 환경에서 특히 효과적입니다.

이 논문은 한계를 인정하며, 실험이 준정적 상호작용으로 제한되었고, 대규모 이질적 현실 세계 데이터셋이 사용 가능할 수 있는 모든 미래 시나리오에서 희소한 실제 데이터에 대한 가정이 성립하지 않을 수 있다고 지적합니다. 그러나 결과는 제안된 재가중치 메커니즘이 도메인 변화를 처리하는 견고한 전략임을 시사합니다.