기술 요약: LACE – 교차 구현 학습을 위한 잠재 시각 표현

1. 문제 제기

본 논문은 인간 시연에서 학습된 정책을 로봇으로 전이하는 데 있는 어려움, 특히 **교차 구현 학습 (cross-embodiment learning)**의 과제를 다룹니다. 자기지도학습 (SSL) 백본 (예: DINO) 은 일반 객체에서 풍부한 클래스 간 시맨틱을 인코딩하는 데 표준이 되었으나, 저자들은 중요한 실패 요인을 규명했습니다: 이러한 사전 훈련된 모델들은 인간 손과 로봇 손 간의 신뢰할 수 있는 시맨틱 대응 관계를 수립하지 못합니다.

저자들은 이러한 실패가 잠재 특징 공간의 "시각적 격차"에서 비롯된다고 주장합니다. 사전 훈련된 SSL 모델들은 다양한 로봇 구현체가 결여된 인터넷 규모의 데이터셋 (예: DINO 의 경우 LVD-1689M) 으로 훈련됩니다. 결과적으로 이러한 모델들은 자연 이미지의 시맨틱은 포착하지만, 인간 신체 부위 (예: 인간 엄지손가락) 와 그 로봇 대응물 (예: 로봇 손가락) 간의 구조적 매핑은 학습하지 못합니다. 기존 해결책들은 종종 픽셀 공간에서 (이미지 편집, 분할, 또는 인페인팅을 통해) 이 격차를 메우려 시도하는데, 이는 구현체별 형태를 무시하거나 추론 시 처리를 요구하거나 특정 대상 로봇으로의 전이를 제한합니다.

2. 방법론: LACE

저자들은 사전 훈련된 SSL 백본의 잠재 특징 공간에서 인간과 로봇의 시각 표현을 직접 정렬하는 LACE(교차 구현을 위한 잠재 정렬) 프레임워크를 제안합니다.

핵심 개념

LACE 는 공유 신체 부위에 대한 구조적 대응 관계 (예: 인간 키포인트를 로봇 키포인트에 매핑) 를 희소 감독으로 활용합니다. 이는 백본의 일반 시맨틱 능력을 유지하면서 잠재 공간에서의 시각적 격차를 최소화하도록 사전 훈련된 백본을 미세 조정합니다.

주요 구성 요소

1. 데이터 설정:

   • 인간 데이터: 기존 키포인트 주석 데이터셋 (예: HInt 의 EpicKitchen 하위 집합) 에서 출처를 얻습니다.
   • 로봇 데이터: 단일 로봇 시연만 필요합니다. 키포인트는 순방향 운동학 (FK) 및 렌더러 분할 마스크를 통해 자동으로 유도됩니다.
   • 훈련 쌍: 모델은 서로 다른 구현체 (교차 구현) 와 동일한 구현체 (내부 구현) 에서의 이미지 쌍 $(I_a, I_b)$로 훈련됩니다.

2. 손실 함수:
   훈련 목적 함수는 두 가지 구성 요소로 이루어집니다:

   • 시맨틱 정렬 손실 ($L_{align}$): 이는 키포인트 수준의 감독을 시맨틱 수준 정렬로 승격시킵니다. 공유 키포인트 $k$에 대해, 이 방법은 키포인트 패치와 이미지 내 모든 다른 패치 간의 유사성 분포를 비교합니다.
     • 이는 소스 이미지에서 키포인트의 자기 유사성인 목표 분포 $P$와 타겟 이미지에서 해당 키포인트의 교차 유사성인 제안 분포 $Q$를 정의합니다.
     • 이 손실은 역 KL 발산 ($D_{KL}(Q || P)$) 을 최소화하여 로봇의 키포인트가 인간 키포인트와 유사한 시맨틱 구조를 잠재 공간에서 유도하도록 장려합니다.
     • 훈련을 안정화하기 위해 지수 이동 평균 (EMA) 교사 네트워크가 사용됩니다.
   • 그램 손실 ($L_{gram}$): 백본의 일반 시각적 이해 (예: 객체 인식) 의 파괴적 망각을 방지하기 위해 그램 손실이 적용됩니다. 이는 학습 가능한 인코더와 EMA 인코더 간의 쌍별 특징 유사성 (그램 행렬) 의 편차를 패널티로 부과합니다. 이는 손 특징이 정렬되는 동안 다른 특징 (배경, 객체) 의 상대적 구조는 안정적으로 유지되도록 보장합니다.

   총 손실은 다음과 같습니다: $L = L_{align} + \lambda L_{gram}$.

3. 아키텍처:
   저자들은 DINOv3(ViT-S) 를 백본으로 사용하여 LACE 를 구현하며, 이를 LACE-DINO라고 명명합니다. 정책은 시각적 특징에만 조건부이므로 시각적 도메인 격차가 격리됩니다.

3. 주요 기여

• 잠재 격차의 규명: 본 논문은 인간과 로봇 구현체 간의 시각적 격차가 잠재 시각 임베딩으로 전파되어 사전 훈련된 SSL 모델이 교차 구현 대응 관계에서 실패하게 만든다는 것을 입증합니다.
• 희소 감독 프레임워크: LACE 는 시간적 또는 공간적으로 정렬된 데이터셋을 요구하지 않고 단일 로봇 시연의 프레임(또는 심지어 단일 키포인트 주석 프레임) 을 사용하여 교차 구현 시맨틱 정렬을 달성합니다.
• 일반 시맨틱의 보존: 그램 손실을 도입함으로써, 이 방법은 백본의 범용 시각적 특징을 저하시키지 않으면서 특정 신체 부위를 정렬하여 파괴적 망각을 방지합니다.
• 제로샷 및 저데이터 성능: 이 프레임워크는 로봇 데이터가 희소할 때 로봇 정책이 풍부한 인간 데이터를 효과적으로 활용할 수 있게 하여, 제로샷 전이 및 분포 외 (OOD) 환경으로의 일반화에서 상당한 개선을 달성합니다.

4. 실험 결과

저자들은 실제 세계 로봇 조작 작업에 대한 광범위한 실험을 통해 LACE 를 검증했습니다.

• 키포인트 정렬 지표:

  • 인간 - 로봇 대응 관계에서 LACE-DINO 는 End Point Error(EPE) 를 사전 훈련된 DINO 의 87.04에서 19.36으로 줄이고, 코사인 유사성을 0.473에서 0.910으로 증가시켰습니다.
  • 이 개선은 다른 SSL 백본 (SigLIP, I-JEPA, V-JEPA2) 으로도 일반화됩니다.

• 하류 작업 (포즈 추정 및 위치 파악):

  • 제로샷 전이 (인간 데이터로 훈련된 프로브, 로봇 데이터로 테스트) 에서 LACE-DINO 는 DINO 를 크게 능가합니다.
  • 포즈 추정: EPE 는 57.5 에서 35.6 픽셀로 개선되었고, PCK@0.2 는 28.6% 에서 72.4% 로 향상되었습니다.
  • 위치 파악: LACE-DINO 는 구현체 위치 파악에서 3.2% 인 DINO 와 비교해 40.5% 의 히트율을 달성했습니다.

• 정책 학습 (객체 그리기):

  • 제로샷 환경 (로봇 데이터 0%): LACE-DINO 는 대상 객체를 집어 올리는 데 **60%**의 성공률을 달성한 반면, DINO 기준선은 **5%**에 그쳤습니다.
  • OOD 환경: 로봇이 보지 못한 방해 객체가 있는 환경에서 LACE-DINO 는 **65%**의 성공률을 달성한 반면, DINO 는 완전히 실패했습니다 (0%).
  • 데이터 효율성: LACE-DINO 는 제한된 로봇 데이터 (사용 가능한 로봇 시연의 10% 또는 100%) 로도 DINO 를 일관되게 능가하여 정렬된 표현이 데이터 부족을 보상함을 입증했습니다.

• 일반화:

  • 보이지 않는 포즈: 모델은 훈련 중에 보지 못한 손 포즈로 일반화됩니다.
  • 다중 구현체: LACE 는 네 가지 서로 다른 형태 (인간 손, 다중 손가락 로봇 손, 병렬 턱 그리퍼, 막대 엔드 이펙터) 를 동시에 성공적으로 정렬했습니다.
  • 특질 품질: 제거 실험은 그램 손실이 결정적임을 확인했습니다. 이를 사용하지 않으면 특징 드리프트로 인해 하류 작업 성능 (ImageNet 분류, ADE20K 분할) 이 크게 저하되었습니다.

5. 중요성과 주장

본 논문은 LACE가 정교한 로봇 학습의 데이터 부족 문제에 대한 실용적인 해결책을 제공한다고 주장합니다. 픽셀 공간이 아닌 잠재 공간에서 작동함으로써 이미지 편집 방법과 관련된 계산 오버헤드와 정보 손실을 피합니다.

저자들은 로봇 시연이 극도로 제한적이거나 존재하지 않을 때 (제로샷) 에도 로봇이 풍부한 인간 비디오 데이터를 활용할 수 있게 한다고 강조합니다. 이 프레임워크는 시맨틱 구조를 인코딩하는 모든 SSL 백본에 적용 가능한 일반적 방법으로 제시되며, 방대하고 동기화된 교차 구현 데이터셋 없이도 보이지 않는 환경과 다양한 로봇 형태에 대한 견고한 정책을 훈련할 수 있는 경로를 제공합니다. 코드는 교차 구현 일반화에 대한 추가 연구를 촉진하기 위해 공개될 예정입니다.