M2R2: MultiModal Robotic Representation for Temporal Action Segmentation

"MultiModal Robotic Representation for Temporal Action Segmentation"(M2R2) 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의

시간적 행동 분할 (Temporal Action Segmentation, TAS) 은 정제되지 않은 데이터 내에서 행동 간의 시간적 경계를 식별하고 각 세그먼트에 레이블을 할당하는 작업을 포함합니다. 로봇 공학 (예: 운동 정책 학습, 전제 조건 이해) 과 컴퓨터 비전 (예: 의료 문서화) 에 필수적이지만, 현재 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 로봇 공학의 한계: 전통적인 로봇 TAS 는 주로 고유수용감각 (proprioceptive) 데이터 (힘, 토크, 관절 위치) 에 크게 의존합니다. 이러한 방법들은 종종 수동으로 설계된 휴리스틱이나 미리 정의된 기술 라이브러리를 사용하며, 광범위한 하이퍼파라미터 튜닝이 필요하고 일반화 능력이 부족합니다.
• 비전의 한계: 컴퓨터 비전 접근 방식은 외부수용감각 (exteroceptive) 센서 (카메라) 에 의존합니다. 강력하지만, 조립 작업에서 흔히 발생하는 가림 (occlusions) 이나 시각적으로 유사한 물체 (예: 밀리미터 단위로 다른 핀을 구별하는 경우) 와 같은 시나리오에서는 어려움을 겪습니다.
• 아키텍처의 경직성: 기존 다중 모달 로봇 TAS 모델은 일반적으로 엔드 - 투 - 엔드 (end-to-end) 방식으로, 단일 모델 내에서 특징을 융합하고 분할을 수행합니다. 이로 인해 다른 TAS 아키텍처 간에 학습된 특징을 재사용하거나 새로운 최첨단 분할 헤드에 적응하기가 어렵습니다.

2. 방법론: M2R2

저자들은 다중 모달 로봇 표현 (M2R2, MultiModal Robotic Representation) 을 제안하며, 이는 다중 모달 특징 추출을 TAS 모델과 분리하는 모듈식 프레임워크입니다.

A. 입력 모달리티

M2R2 는 고유수용감각 및 외부수용감각 센서로부터의 데이터를 융합합니다:

• 외부수용감각: RGB 비디오 (시각) 및 오디오.
• 고유수용감각: 엔드 이펙터 포즈 및 트위스트, 그리퍼 너비, 힘/토크 측정값.

B. 아키텍처

이 시스템은 트랜스포머 기반 아키텍처를 사용하여 후기 융합 (late fusion) 전략을 따릅니다:

1. 모달리티별 인코더:
   • 비전: 이미지 특징을 추출하기 위해 ActionCLIP(시각 트랜스포머) 를 사용합니다.
   • 오디오: 로그 멜 스펙트로그램에서 특징을 추출하기 위해 오디오 스펙트로그램 트랜스포머 (AST) 를 사용합니다.
   • 고유수용감각: 원시 센서 데이터는 선형 프로젝션을 통해 업샘플링되고, 특징 차원에 맞추기 위해 학습 가능한 시간적 임베딩으로 임베딩됩니다.
2. 융합 모듈:
   • 모든 모달리티의 특징이 토큰 시퀀스로 쌓입니다.
   • 자기 주의 (Self-Attention) 트랜스포머 인코더가 모달리티 간 정보를 교환합니다.
   • MLP는 업데이트된 토큰을 각 시간 단계당 단일 다중 모달 벡터 ($x_i$) 로 융합합니다.
3. 모듈성: 생성된 특징은 범용적이며 기존 TAS 모델 (예: MSTCN, ASRF, DiffAct) 에 입력될 수 있습니다.

C. 훈련 전략

저자들은 특징이 시간적 순서와 경계를 포착하도록 보장하는 새로운 훈련 전략을 도입합니다:

• 데이터 샘플링: 컨텍스트를 포함하기 위해 패딩이 적용된 3 개의 연속된 행동을 포함하는 짧은 윈도우가 샘플링됩니다.
• 이중 손실 목적 함수:
  1. 행동 순서 손실 ($L_{action}$): Br-Prompt 에서 영감을 받아, 모델은 윈도우 표현과 행동 시퀀스를 설명하는 텍스트 임베딩 (예: "먼저 집기, 그 다음 삽입") 간의 유사성을 최대화합니다. 이는 시간적 의존성 학습을 강제합니다.
  2. 경계 회귀 손실 ($L_{boundary}$): 경계 회귀 네트워크는 프레임이 경계일 확률을 예측합니다. 모델은 예측된 경계와 보정된 실제 경계 간의 평균 제곱 오차 (MSE) 를 최소화합니다.
• 훈련 후: 훈련이 완료되면 융합 트랜스포머, 경계 네트워크 및 텍스트 인코더는 폐기됩니다. 하류 TAS 모델에 대한 입력을 생성하기 위해 특징 추출기만 남습니다.

3. 주요 기여

1. M2R2 특징 추출기: 고유수용감각 및 외부수용감각 데이터를 결합하는 로봇 TAS 를 위한 딥러닝 기반 다중 모달 추출기.
2. 모듈식 훈련 전략: 엔드 - 투 - 엔드 다중 모달 모델의 경직성을 극복하고 다양한 TAS 아키텍처 간에 학습된 특징의 재사용을 가능하게 하는 방법.
3. 포괄적 제거 분석 (Ablation): 분할 성능에 대한 비전, 오디오 및 다양한 고유수용감각 센서 (그리퍼, 힘/토크, 포즈) 의 특정 기여도를 평가한 광범위한 연구.

4. 실험 결과

이 방법은 REASSEMBLE(조립/분해), (Im)PerfectPour(바텐딩), JIGSAWS(외과적 제스처) 의 세 가지 데이터셋에서 평가되었습니다.

• 최첨단 성능:
  • REASSEMBLE에서 M2R2 와 ASRF 모델을 결합한 결과는 **F1@50 점수 82.4%**를 기록하여 비전 전용 베이스라인 (약 8.4% 점수) 과 비지도 고유수용감각 방법 (약 35.8% 점수) 을 크게 능가했습니다.
  • (Im)PerfectPour에서 REASSEMBLE 에서 훈련된 M2R2 특징은 잘 일반화되어 F1@50 에서 비전 전용 베이스라인보다 16.1% 더 높은 성능을 보였습니다.
  • JIGSAWS에서 M2R2 는 F1@50 89.4% 및 EDIT 점수 91.7% 를 달성하여 이전 엔드 - 투 - 엔드 다중 모달 접근 방식을 능가했습니다.
• 강건성:
  • 비전 전용 모델은 외관이 유사한 물체를 자주 혼동했습니다. M2R2 는 접촉 중의 힘 변화와 같은 고유수용감각 단서를 활용하여 이러한 모호성을 해결했습니다.
  • 휴리스틱 방법은 빠른 센서 변화 동안 과도하게 분할하는 경향이 있었으며, M2R2 는 진정한 경계를 식별하는 동안 국소 노이즈를 무시하도록 학습했습니다.
• 제거 분석 통찰:
  • 고유수용감각은 결정적입니다: 비전 단독은 성능이 낮았으나, REASSEMBLE 에서 고유수용감각 단독은 높은 성능 (F1@50 75.4%) 을 달성했으며, 모든 모달리티를 결합했을 때 가장 좋은 결과가 나왔습니다.
  • 그리퍼 너비: 그리퍼 데이터를 제거하면 성능 저하가 가장 크게 발생하여 물체 크기를 구별하는 데 있어 그 중요성이 부각되었습니다.
  • 오디오: 경계 감지 (감지율) 를 개선했으나 물체 식별만으로는 부족했습니다.

5. 의의

• 격차 해소: M2R2 는 의미론적 이해에 탁월한 컴퓨터 비전과 물리적 상호작용 데이터에 의존하는 로봇 공학 간의 격차를 성공적으로 해소하여 복잡한 조작 작업을 위한 강력한 표현을 창출합니다.
• 재사용성과 유연성: 특징 추출을 분할 헤드로부터 분리함으로써 M2R2 는 연구자들이 전체 다중 모달 파이프라인을 재훈련하지 않고도 새로운 개선된 TAS 모델을 플러그인할 수 있게 합니다.
• 일반화: 이 프레임워크는 다양한 작업 도메인 (조립 대 바텐딩 대 수술) 과 로봇 구현체 간에 강력한 전이 능력을 보여주어, 더 적응적인 로봇 학습 시스템으로 나아가는 길을 제시합니다.
• 실용적 영향: 시각적 가림이 흔한 조립과 같은 고정밀 작업에서 다중 모달 데이터를 사용하여 시각적으로 유사한 물체를 구별하는 능력은 매우 중요합니다.