기술 요약: UNIC - 통합 멀티모달 외적 접촉 추정 학습

문제 정의

외적 접촉 추정(Extrinsic contact estimation)은 파지된 물체와 환경 간의 상호작용(예: 그리퍼-물체-환경 또는 다중 물체 체인)을 식별하는 것을 포함한다. 이러한 능력은 구조화되지 않은 환경에서 로봇의 정교한 조작, 도구 사용 및 비전형적 조작(non-prehensile manipulation)에 매우 중요하다. 그러나 기존 방식들은 실세계 배포를 저해하는 심각한 한계점을 가지고 있다:

• 제한적인 가정: 많은 방법론이 사전 정의된 접촉 유형, 고정된 파지 구성, 알려진 물체 기하학 또는 엄격한 카메라 캘리브레이션에 의존한다.
• 일반화 능력 부족: 이러한 제약 사항은 모델이 새로운 물체, 동적인 카메라 시점 또는 누락된 센서 데이터에 적응하는 것을 방해한다.
• 태스크 특이성: 엔드 투 엔드(end-to-end) 정책 학습 방식은 해석 가능성이 부족하고 새로운 태스크를 위해 재학습이 필요하지만, 접촉 추정은 재사용 가능한 태스크 불가지론적(task-agnostic) 능력이 필요하다.

방법론: UNIC 프레임워크

UNIC는 카메라 캘리브레이션이나 물체 기하학에 대한 사전 지식 없이도 외적 접촉을 추정하도록 설계된 통합된, 사전 지식 불필요(prior-free) 멀티모달 프레임워크이다.

1. 사전 지식 불필요 접촉 어포던스 표현

UNIC는 이산적인 접촉 지점을 예측하거나 실제 접촉 지점의 물체 모델에 의존하는 대신, 전체 카메라 프레임 포인트 클라우드 상의 **장면 어포던스 맵(scene affordance map)**으로 외적 접촉을 표현한다.

• 주석(Annotation): 인간 주석자가 3D 공간에서 접촉 지점을 선택한다. 이 희소한 점들은 가우시안 커널을 사용하여 조밀한 어포던스 맵으로 변환된다.
• 정규화(Normalization): 포인트 클라우드의 각 점으로부터 가장 가까운 주석된 접촉 지점까지의 거리는 어포던스 점수(비접촉을 의미하는 -1에서 접촉을 의미하는 1까지의 범위)로 변환된다.
• 장점: 이 접근 방식은 카메라 캘리브레이션이나 사전 정의된 물체 형상의 필요성을 제거하여, 시스템이 자유롭게 배치되거나 움직이는 카메라 환경에서도 작동할 수 있게 한다.

2. 멀티모달 입력 인코딩

UNIC는 네 가지 서로 다른 감지 양상(modality)을 통합하며, 각 양상은 융합 전 전용 인코더에 의해 처리된다:

• 포인트 클라우드(Point Clouds): 카메라 프레임 내의 RGB-D 카메라로부터 캡처된다. 기하학적 특징을 추출하기 위해 PointNet 인코더를 사용하여 인코딩된다.
• 촉각 신호(Tactile Signals): 병렬 그리퍼에 장착된 GelSight Mini 센서의 마커 변위 맵이다. 공간적 전단 분포를 포착하기 위해 트랜스포머(Transformer)를 통해 인코딩된다.
• 말단 장치 회전(End-Effector Rotation): 쿼터니언(quaternions)으로 표현된다. 경량 MLP를 통해 인코딩된다. (기하학적 사전 지식의 중복을 피하기 위해 위치 정보는 제외됨).
• 힘-토크(Force-Torque): 손목 장착 센서로부터 오는 6D 렌치(wrench)이며, 경량 MLP를 통해 인코딩된다.

3. 마스킹된 멀티모달 융합

센서 실패나 데이터 누락에 대한 강건성을 보장하기 위해, UNIC는 훈련 중에 마스킹된 멀티모달 융합(masked multimodal fusion) 전략을 채택한다:

• **무작위 마스킹(Random Masking): 각 양상에서 일부 잠재 토큰(latent tokens)을 무작위로 마스킹하고 이를 학습 가능한 "마스크 토큰"으로 대체한다.
• 훈련 목표: 모델은 남은 가용 양상들과 마스크 토큰을 사용하여 어포던스 맵을 재구성하는 법을 학습하며, 이를 통해 상호 보완적인 교차 모달 표현을 학습하도록 강제된다.
• 배포: 추론 시, 특정 양상이 누락되면 해당 토큰들은 학습된 마스크 토큰으로 대체된다. 이를 통해 하나의 센서 혹은 그 이상의 센서가 실패하더라도 재학습 없이 시스템이 안정적으로 작동할 수 있다.

4. 효율적인 샘플링 아키텍처

이 아키텍처는 전역 특징 융합과 점 단위 추론을 분리한다:

• 트랜스포머 트렁크(transformer trunk)가 융합된 멀티모달 토큰을 처리하여 전역 특징 벡터를 생성한다.
• 이 전역 특징은 포인트 클라우드 샘플 지점들로 브로드캐스트(broadcast)되며, 각 지점의 3D 좌표와 결합된다.
• 경량 "어포던스 헤드(Affordance Head)"가 점 단위 예측을 수행하여 고속 추론(600Hz 이상)을 가능하게 한다.

주요 기여

1. 사전 지식 불필요 프레임워크: 카메라 캘리브레이션, 사전 정의된 물체 기하학 또는 고정된 파지 가정을 요구하지 않고 작동하여, 동적인 시점 하에서도 유연한 배포를 지원하는 통합 시스템을 구축하였다.
2. 통합 접촉 표현: 일관된 점 기반 주석 체계를 사용하여 다양한 접촉 유형(점, 선, 패치)과 복잡한 상호작용 체인(예: 그리퍼-물체-물체-환경)을 포착하는 장면 어포던스 맵 공식을 제시하였다.
3. 강건한 멀티모달 융합: 무작위 토큰 마스킹을 사용하는 훈련 메커니즘을 통해 배포 시 누락된 양상을 처리할 수 있게 함으로써, 실제 시나리오에서의 실용성을 크게 향상시켰다.

실험 결과

저자들은 본 논문에서 본 적 있는 물체(훈련/검증)와 본 적 없는 물체(검증 전용)로 구성된 데이터셋을 통해 UNIC를 평가하였으며, 새로운 접촉 위치와 물체 범주에 대한 일반화 성능을 테스트하였다.

• 본 적 있는 물체에 대한 정확도: UNIC는 본 적 있는 물체의 미지의 접촉 위치에 대해 평균 9.6 mm의 Chamfer 거리와 16.7 mm의 단일 지점 접촉 추정 성능을 달 Achieve 하였다.
• 본 적 없는 물체에 대한 일반화: 모델은 완전히 새로운 물체에 대해서도 합리적인 성능을 유지하였으며, 이는 기하학적 및 상호작용 특징에 대한 의존(물체 특정적 사전 지식 대신)이 일반화를 가능케 함을 입증하였다.
• 누락된 양상에 대한 강건성:
  • 촉각, 힘-토크, 또는 회전 양상이 테스트 시점에 제거되더라도 UNIC의 마스킹된 융합 방식은 안정적인 성능을 유지하였다.
  • 반면, "마스킹된 융합이 없는 UNIC" 베이스라인은 촉각 또는 힘-토크 입력이 제거되었을 때 성능이 급격히 저하되는 현상(예: 오차가 약 15 mm에서 100 mm 이상으로 증가)을 보였다.
• 양상의 중요도:
  • 촉각 신호는 미세한 추정(접촉 패치의 형태)에 가장 결정적인 것으로 나타났다.
  • 힘-토크 신호는 접촉 상태와 비접촉 상태를 구분하는 데 가장 결정적이었다.
• 효율성: 시스템은 단일 RTX 3080 GPU에서 600Hz 이상의 속도로 실행되어 실시간 애플리케이션을 지원한다.

의의 및 주장

본 논문은 UNIC가 접촉이 풍부한 조작을 위한 실용적이고 다재다능한 능력으로서 외적 접촉 추정을 확립했다고 주장한다. 제한적인 사전 지식(캘리브레이션, 물체 모델)에 대한 의존성을 제거하고 데이터 누락을 견고하게 처리하는 메커니즘을 도입함으로써, UNIC는 이론적인 접촉 추정과 구조화되지 않고 동적인 환경에서의 배포 사이의 간극을 메운다. 저자들은 이 태스크 불가지론적 추정기가 다양한 조작 정책을 위한 재사용 가능한 인터페이스 역할을 수행하여, 태스크별 재학습 없이도 로봇의 정교함과 안전성을 높일 수 있다고 역설한다.