기술 요약: 다중 감각 연속 학습 (MuSe)

문제 정의

로봇 조작, 특히 접촉이 빈번한 시나리오에서는 미끄러짐이나 접촉력과 같이 시각적으로 직접 관찰할 수 없는 상호작용 상태를 추론하기 위해 힘-토크(F/T), 촉각 또는 오디오 피드백과 같은 시각 이외의 센서 데이터에 의존하는 경우가 많습니다. 그러나 대규모 다중 감각 데이터셋은 부족하며, 센서는 하드웨어 또는 작업별로 특화되어 있어 모든 잠재적 센서 양상(modality)을 사용하여 정책을 사전 학습하는 것은 비현실적입니다.

본 논문은 이 문제를 **다중 감각 연속 학습(multi-sensory continual learning)**으로 공식화합니다. 즉, (시각 전용 데이터로 학습된) 사전 학습된 로봇 정책을 새로운 작업을 위해 새로운 감각 양상을 통합하도록 적응시키면서도 기존 작업에 대한 성능을 보존하는 것입니다. 목표는 다음 세 가지 구체적인 목적을 달성하는 것입니다:

1. 순방향 전이(Forward Transfer): 새로운 양상을 사용하여 처음부터 학습하는 것보다 새로운 작업에서의 성능을 개선한다.
2. 역방향 전이(Backward Transfer): 새로운 감각 데이터와 함께 새로운 작업을 학습한 후에도 사전 학습된 작업의 성능을 유지하거나 향상시킨다.
3. 교차 양상 일반화(Cross-Modal Generalization): 학습 중에 관찰된 적이 없는 작업에서도 새롭게 도입된 양상을 이해하고 활용한다.

새로운 다중 감각 데이터에 대해 단순 미세 조정(naive fine-tuning)을 수행하면 사전 학습된 기술에 대한 파괴적 망각(catastrophic forgetting)이 발생하기 쉽고, 새로운 입력 차원을 적절히 통합하지 못하고 이에 과도하게 의존하게 됩니다.

방법론: MuSe 프레임워크

저자들은 사전 학습된 시각-행동 정책에 새로운 감각 양상을 효율적으로 통합하도록 설계된 프레임워크인 MuSe(Multi-Sensory continual learning)를 제안합니다. 이 프레임워크는 사전 학습된 통합 비디오-행동(Unified Video-Action, UVA) 모델에 힘-토크 센싱을 추가함으로써 구현됩니다. MuSe는 세 가지 핵심 구성 요소에 의존합니다:

1. 다단계 융합 (Multi-Stage Fusion)

깊은 교차 양상 상호작용과 사전 학습된 표현의 보존 사이의 균형을 맞추기 위해, MuSe는 이중 경로 융합 아키텍처를 채택합니다:

• 조기 융합 (Early Fusion): 새로운 양상(예: F/T)은 양상별 인코더에 의해 인코딩되어 공유 임베딩 공간으로 투영됩니다. 이 토큰들은 백본 트랜스포머에 의해 처리되기 전에 기존의 관측 및 행동 토큰과 결합됩니다. 이를 통해 백본이 모든 레이어에서 교차 양상 어텐션(cross-modal attention)을 수행할 수 있게 합니다.
• 후기 융사 (Late Fusion): 새로운 양상의 특징은 경량 교차 어텐션 어댑터를 통해 중간 트랜스포머 레이어에 주입됩니다.
  이러한 조합은 새로운 양상이 시퀀스 처리 경로에 직접 접근할 수 있도록 하는 동시에, 새로운 센서가 시각-행동 지식을 덮어쓰지 않도록 양상별 컨디셔닝을 제공합니다.

2. 다중 감각 미래 예측 (세계 모델링)

MuSe는 통합되고 물리적으로 근거가 있는 잠재 공간을 장려하는 유연한 미래 예측 목적 함수로 학습됩니다. 모델은 단순히 행동만을 예측하는 대신 다음을 예측합니다:

• 미래 행동 ($L_{act}$).
• 미래의 원래 관측값 (예: 비디오 프레임, $L_{obs}$).
• 새로 도입된 양상의 미래 값 ($L_{new}$, 예: F/T 신호).

전체 손실 함수는 가중 합계입니다: $L = \lambda_a L_{act} + \lambda_o L_{obs} + \lambda_{n+1} L_{new}$. 새로운 양상을 예측하는 것은 표현이 센서 데이터를 인코딩하도록 강제하며, 미래 이미지를 예측하는 것은 표현을 여러 데이터셋에 걸쳐 공유되는 시각적 역학에 고정시킵니다.

3. 경험 재생 (Experience Replay)

미세 조정 중 발생하는 파괴적 망각을 완화하기 위해, MuSe는 경험 재생을 활용합니다. 학습 배치는 새로운 다중 감각 데이터셋($D_{new}$)과 기존 사전 학습 데이터셋($D_{pre}$)의 혼합에서 샘플링됩니다.

• $D_{new}$ 샘플의 경우, 모델은 전체 다중 감각 입력을 받으며 모든 예측 손실에 대해 감독됩니다.
• $D_{pre}$ 샘플의 경우, 새로운 양상이 존재하지 않습니다. 입력은 학습된 "양상 마스크(modality-mask)" 토큰으로 대체되며, 새로운 양상에 대한 손실($L_{new}$)은 마스킹되는 반면, 행동 및 원래 관측에 대한 감독은 유지됩니다.

실험 설정 및 결과

저자들은 21개의 시각 전용 작업에서 1,271개의 에피소드로 사전 학습된 UVA 백본을 사용하여 실제 조작 작업에서 MuSe를 평가했습니다. 이후 모델은 F/T 감독이 포함된 434개의 에피소드로부터 5개의 접촉이 빈번한 작업에 대해 미세 조정되었습니다.

주요 결과

• 교차 양상 일반화: MuSe는 F/T가 기록되었지만 감독에는 사용되지 않은 사전 학습 작업에서도 F/T 신호를 예측하는 능력을 보여주었습니다. MuSe는 절제 실험(예: 경험 재생을 제거하면 에러가 12.38로 증가)과 비교하여 가장 낮은 L2 예측 오차(8.42)를 달로했습니다.
• 순방향 전이: 접촉이 빈번한 미세 조정 작업에서 MuSe는 베이스라인을 크게 앞질렀습니다:
  • 꽃병 닦기 (Vase Wiping): 11.5/15 성공 (MuSe) vs 5/15 (F/T 없음) 및 8/15 (사전 학습 없음).
  • 페그 삽입 (Peg Insertion): 13/15 성공 (MuSe) vs 9/15 (F/T 없음) 및 6/15 (사전 학습 없음).
    MuSe는 F/T를 효과적으로 사용하여 접촉력을 조절하고 끼임 현상으로부터 회복했습니다. 반면, "F/T 없음" 베이스라인은 열악한 접촉 조절로 인해 실패했습니다.
• 역방향 전이: MuSe는 시각 전용 베이스라인과 비교하여 기존 사전 학습 작업의 성능을 유지하거나 향상시켰습니다:
  • 화이트보드 닦기 (Whiteboard Wiping): 12.5/15 (MuSe) vs 8.5/15 (사전 학습 전용).
  • 페그 삽입 (Peg Insertion): 10/15 (MuSe) vs 8/15 (사전 학습 전용).
    결정적으로, "경험 재생 없음(No ER)" 베이스라인은 심각한 망각을 겪었습니다 (예: 화이트보드 닦기에서 0.5/15). 이는 시각적 기술을 유지하는 데 있어 재생의 필요성을 강조합니다.

의의 및 주장

본 논문은 적은 양의 다중 감각 데이터셋이 미세 조정 분포를 넘어 일반적인 모델 능력을 향상시킬 수 있음을 입증한다고 주장합니다. 구체적으로:

1. F/T의 일반화 가능성: 힘-토크 센싱은 제한된 데이터로부터 학습되더라도, 명시적으로 감독되지 않은 광범위한 작업에서도 예측되고 활용될 수 있습니다.
2. 강화된 표현: F/T에 의한 컨디셔닝은 접촉이 빈번한 행동을 위한 풍부한 표현 학습을 가능하게 하며, 미래의 F/T를 예측하는 것은 정밀한 상호작용에 필요한 컴플라이언스 프로파일(compliance profile)에 대한 추정을 제공합니다.
3. 실제 배포: 이 접근 방식은 처음부터 대규모 다중 감각 사전 학습을 요구하지 않고도 로봇 정책을 새로운 센서에 사후적으로 적응시킬 수 있게 하여, 실제 로보틱스의 하드웨어 및 데이터 희소성 문제를 해결합니다.

저자들은 단일 센서 확장(F/T)에 집중했다는 점과 재생을 위해 기존 사전 학습 데이터에 대한 접근이 필요하다는 점을 한계로 언급하며, 향ers는 다른 양상 및 데이터를 저장할 필요가 없는 방법을 탐구해야 한다고 제안했습니다.