Learning 3D Affordances for Blade Insertion in Cluttered Stowing

기술 요약: 복잡한 적재 환경 내 블레이드 삽입을 위한 3D 어포던스 학습

문제 정의
로봇 적재(stowing) 작업은 밀집된 직물 빈(bin) 안에 단단한 블레이드를 삽로 넣어 물건을 옆으로 밀어내고 공간을 만드는 과정을 포함한다. 이 작업은 **자유 공간 어포던스(free-space affordances)**에 대한 추론을 필요로 한다. 즉, 도구가 주변 기하 구조와 충돌하지 않고 안전하게 이동할 수 있는 3D 공간의 부피를 식별하는 것이다. 이는 표면 접촉 어포던스(도구가 물체에 닿는 것)와 달리, 빈 벽과 가려진 물체들에 의해 제약되는 가용 부피에 의존한다.

기존 방식들은 이를 SE(3) 포즈(6-DoF 도구 배치)에 대한 회귀 또는 생성 문제로 취급한다. 그러나 실제 생산 데이터는 본질적으로 **단일 모드(unimodal)**이다. 즉, 주어진 빈 상태에 대해 시스템은 단 하나의 전략만을 실행하지만, 기하학적으로 유효한 삽입 경로는 여러 개 존재할 수 있다. 이러한 단일 모드 포즈 데이터를 기반으로 생성 모델(예: flow matching)을 학습시키면 모델이 단일 모드로 붕괴(collapse)되어, 다양한 기하학적 해법을 복구하는 데 실패하게 된다. 또한, 포즈 공간에서 추론하는 것은 추론의 영역을 기하학적 타당성이 자연스럽게 정의되는 영역(3D 점유 공간)으로부터 이탈시키므로, 관찰되지 않은 배치가 물리적으로 가능한지 판단하기 어렵게 만든다.

방법론: VulcanVoxel
저자들은 추론을 포즈 공간으로 투영하는 대신 공간 도메인에 유지하는 프레임워크인 VulcanVoxel을 제안한다. 핵심 가설은 블레이드 어포던스가 공간적 객체(3D 공간의 부분 집합)이며, 따라서 그렇게 추론되어야 한다는 것이다.

1. 표현(Representation): 시스템은 단일 RGB-D 프레임으로부터 장면을 다채널 3D 점유 그리드($32^3$ 복셀)로 재구성한다. 채널 구성은 다음과 같다:
   • 벽 및 물체 통합 점유 공간 ($O_{occupy}$)
   • 물체 전용 점유 공간 ($O_{object}$)
   • 실제 블레이드 점유 공간 ($O_{blade}$)
2. 아키텍처: VulcanVoxel은 **3D U-Net Masked Autoencoder (MAE)**를 채택한다.
   • 학습 목표: 포즈 분포를 예측하는 대신, 관측된 장면 기하 구조를 조건으로 하여 마스킹된 블레이드 점유 채널을 재구성하도록 모델을 학습시킨다.
   • 채널 마스킹: 학습 과정에서 세 채널의 무작위 조합을 마스킹한다. 이는 모델이 실행 패턴을 암기하는 것이 아니라, 채널 간의 기하학적 관계(예: 벽과 물체의 위치가 주어졌을 때 블레이드가 들어갈 수 있는 위치를 추론하는 법)를 학습하도록 강제한다.
   • 손실 함수: 블레이드 복셀의 희소성(sparsity) 때문에, 클래스 불균형을 처리하고 형태의 일관성을 강제하기 위해 Focal Loss와 Dice Loss를 결적으로 사용한다.
3. 추론 파이프립:
   • 모델은 유효한 블레이드 점유를 나타내는 3D 확률장을 출력한다.
   • 포즈 추출: 점유 필드 내의 유효한 연결 성분(connected components)을 식별한다. 이 성분들을 중심으로 후보 SE(3) 포즈를 열거하고, 예측된 필드와의 부피 중첩도를 기준으로 점수를 매긴다. 이는 공간 추론이 먼저 수행되도록 보장하기 위해 포즈 추출을 사후 단계로 미루는 방식이다.
4. 증류(Distillation): 추론 지연 시간 문제를 해결하기 위해(복셀-투-복셀 모델은 약 2.3초 소요), RGB 이미지로부터 직접 블레이드 점유를 약 30ms 만에 예측하는 증류된 학생(distilled student) 모델을 학습시킨다. 이 학생 모델은 ViT 인코더와 3D 디코더를 사용하며, 카메라 캘리브레이션에서 유도된 기하학적 제약을 통해 2D 특징을 3D로 리프팅한다.

주요 기여

1. 자유 공간 어포던스를 위한 공간적 추론: 본 논문은 어포던스를 SE(3) 포즈 분포가 아닌 3D 점유 필드로 표현함으로써, 단일 모드 생산 데이터로부터 다중 모드 예측을 복구할 수 있음을 입증한다.
2. 표현 분석: 체계적인 절제 연구(ablation study, 입력 양상, 출력 표현 및 학습 목표 비교)를 통해 저자들은 다음을 보여준다:
   • 공간 도메인에서의 작동은 필요조건이지만 충분조건은 아니다.
   • 재구성 목표(기하학적으로 일관된 것을 학습하는 것)가 다중 모달리티를 가능하게 하는 핵심 요소이며, 이는 동일한 공간 도메인에서 작동하는 flow-matching 베이스라인과 차별화되는 지점이다.
3. 실패에 대한 일반화: 모델은 생산 시스템이 실패한 빈 구성에서도 기하학적으로 유효한 자유 공간 부피를 식별할 수 있으며, 이를 통해 실패 사례를 유익한 학습 신호로 전환한다.
4. StowAffordance 데이터셋: 10,000개 이상의 실제 블레이드 삽입 사이클(RGB-D 관측, SE(3) 궤적, 결과 레이블 포함)을 담은 대규모 데이터셋을 공개한다.

결과
1,000개의 실제 테스트 에피소드(2025년 7월) 및 추가적인 시간적/고밀도 클러터 세트에서 평가한 결과는 다음과 같다:

• 커버리지(Coverage): VulcanVoxel은 Top-5 커버리지(Cov5) 0.89를 달성하여, 가장 우수한 포즈 기반 베이스라인인 Voxel FM Pose(0.71)를 크게 앞질렀다. 이는 89%의 장면에서 예측된 5개의 포즈 중 적어도 하나는 기하학적으로 유효함을 의미한다.
• 다중 모달리티(Multi-modality): VulcanVoxel은 장면당 평균 2.7개의 뚜렷한 모드를 예측하며 공간적 퍼짐 정도($\sigma$)는 8.4cm이다. 반면, flow-matching 베이스라인은 단일 모드로 붕괴($N_m \approx 1.0$)하거나 기하학적으로 일관성 없는 확산을 보인다.
• 정확도(Accuracy): 단일 예측 비용은 VulcanVoxel이 최선형 포즈 기반 베이스라인보다 약간 높지만(0.81 vs 0.60), 단일 예측 정확도 측면에서는 생산 성능과 일치하면서도 훨씬 뛰어난 다양성을 제공한다.
• 증류(Distillation): RGB 학생 모델은 30ms의 추론 시간을 달성(46배 속도 향상)하면서도 교사 모델의 예측 품질을 약 65% 복구하며 부분적인 다중 모달리티를 유지한다.
• 실패 일반화: 생산 실패 사이클에서도 VulcanVoxel은 높은 커버리지(>0.80)를 유지한다. 이는 많은 생산 실패가 지각적 오류보다는 실행 또는 힘 피드백 문제에서 기인함을 시사한다.

의의 및 주장
본 논문은 도구 어포서스는 공간적 객체이며, 이를 SE(3) 포즈 공간에서 추론하는 것은 타당성 추론에 필수적인 기하학적 구조를 버리는 것이라고 주장한다. 저자들은 공간 도메인에서 추론을 수행하고 재구성 목표를 사용하는 것이 강체 도구 조작을 위한 자유 공간 어포드 학습의 정석적인 해결책이라고 주장한다. 또한, 이 원칙이 단순한 적재를 넘어 기하학적 호환성이 주요 제약 조건인 모든 조작 도메인으로 확장될 수 있다고 보며, 생산 데이터가 풍부하더라도(비록 단일 모드일지라도) 공간적 추론이 기본 접근 방식이 되어야 함을 시사한다. 이 연구는 이러한 작업의 병목 현상이 모델 용량이나 데이터 규모보다는 추론의 영역(포즈 vs 공간)과 학습 목표(생성 vs 재구성)에 있음을 강조한다.