Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

1. 문제 정의 (Problem)

로봇 조작 (Robotic Manipulation) 작업은 다양한 품질의 3D 메시 (Mesh) 재구성이 필요합니다.

• 세밀한 조작 (Dexterous Manipulation): 정교한 표면 디테일이 필요하므로 고품질 재구성이 필수적입니다.
• 충돌 회피 계획 (Collision-free Planning): 거친 표현도 허용되므로 저비용/저지연 재구성이 선호됩니다.

현재 여러 Image-to-3D 모델 (예: TripoSR, Hunyuan3D 등) 이 존재하며, 각 모델은 추론 속도, 기하학적 정확도, 텍스처 품질 등에서 서로 다른 장단점을 가집니다. 또한, 재구성의 품질은 입력 뷰포인트 (Viewpoint) 에 크게 의존합니다 (예: 정면 뷰는 모서리 뷰보다 재구성이 어려울 수 있음). 반면, 구조광 스캐닝 (Structured Light Scanning) 과 같은 뷰포인트 불변 (View-invariant) 방법은 추가 센싱 시간이 필요하지만 초기 뷰에 덜 민감합니다.

핵심 문제:

1. 모든 모델을 매번 실행하는 것은 계산 비용이 너무 큽니다.
2. 단일 모델은 모든 입력과 작업 요구사항 (비용 제약) 에 대해 최적의 성능을 내지 못합니다.
3. 기존 LLM(대형 언어 모델) 분야의 모델 라우팅 기법은 3D 재구성에 적용하기 어렵습니다. (비용 구조가 다름, 뷰포인트 의존성 문제, 뷰포인트 불변 방법의 동적 추가 필요성 등)

따라서, 주어진 입력 이미지와 비용 제약 (지연 시간, 메모리, 금전적 비용 등) 하에서 가장 적합한 재구성 모델을 동적으로 선택하는 라우팅 프레임워크가 필요합니다.

---

2. 방법론: SCOUT (Methodology)

저자들은 SCOUT (Score-Conditioned Optimal Utility Targeting) 라는 새로운 라우팅 프레임워크를 제안합니다. 이 프레임워크의 핵심 아이디어는 재구성 점수 (Score) 를 두 가지 구성 요소로 분해 (Decoupling) 하는 것입니다.

2.1. 점수 분해 (Score Decoupling)

재구성 점수 $s(x, m)$을 다음 두 가지로 나눕니다:

1. 상대적 성능 (Relative Performance): 입력 이미지 $x$에 기반한 뷰포인트 의존적 모델들 간의 상대적 우위를 나타냅니다. 이는 학습된 확률 분포 $\hat{p}$로 포착됩니다.
2. 전체 이미지 난이도 (Overall Image Difficulty): 입력 이미지 자체의 난이도를 나타내는 스칼라 값입니다. 이는 파티션 함수 추정치 $\hat{z}$로 포착됩니다.

이러한 분해는 뷰포인트 불변 (View-invariant) 방법 (예: 스캐너 설정 변경 등) 을 학습 네트워크에 포함시키지 않고도 동적으로 추가하거나 제거할 수 있게 해줍니다.

2.2. SCOUT 의 단계별 프로세스

1. 전처리 (Preprocessing):
   • 뷰포인트 의존적 모델들의 점수를 구문적 카테고리 (Semantic Category) 로 그룹화하여 태그 기반 스무딩 (Tag-based Smoothing) 을 적용합니다. 이는 객체 카테고리별 편향을 줄이고 모델 간 상대적 성능 학습을 안정화합니다.
2. 학습된 모델 (Learned Models):
   • $\hat{p}$ 예측: 스무딩된 점수를 Softmax 확률 분포로 변환하여 신경망이 학습합니다. 이는 KL 발산을 최소화하도록 훈련되며, 이미지 난이도를 정규화하여 모델 간 상대적 우위만 학습합니다.
   • $\hat{z}$ 예측: 절대 점수 값을 복원하기 위해 두 번째 지도 학습 모델 (Ridge Regression 등) 을 사용합니다. 이 모델은 입력 이미지 $x$를 받아 파티션 함수 추정치 $\hat{z}$를 출력합니다.
   • 가중치 최적화: 각 모델의 예측 오차와 신호 대 잡음비를 기반으로 가중치 $w_j$를 계산하여 $\hat{z}$를 추정합니다. 이는 노이즈가 큰 모델의 영향을 줄입니다.
3. 유틸리티 최적화 (Utility Optimization):
   • 예측된 $\hat{p}$와 $\hat{z}$를 결합하여 절대 점수를 복원합니다: $s(x, m) \approx T \cdot \ln(\hat{p} \cdot \hat{z})$.
   • 뷰포인트 불변 모델의 점수 $s_{inv}$는 별도의 고정 점수나 추정치로 처리됩니다.
   • 최종적으로 주어진 비용 벡터 $c$에 대해 다음 식을 최대화하는 모델을 선택합니다:
     $$\hat{m} = \arg \max_{m \in M} (\hat{s}(x, m) - c(m))$$
   • 이 과정은 재학습 없이 추론 시 임의의 비용 제약에 적응할 수 있습니다.

---

3. 주요 기여 (Key Contributions)

1. 3D 재구성을 위한 최초의 모델 라우팅 공식화: 뷰포인트 의존적 (Image-to-3D) 과 뷰포인트 불변 방법을 임의의 비용 제약 하에서 통합적으로 다룰 수 있는 프레임워크를 제시했습니다.
2. 이론적으로 정당화된 파티션 함수 프록시: 학습된 상대적 분포에서 절대 점수를 복원하기 위해 최적 가중치를 가진 파티션 함수 추정치를 도입했습니다. 이는 이론적으로 최적의 가중치를 보장합니다.
3. 분해 (Decoupling) 기법: 이미지 난이도와 상대적 모델 성능을 분리함으로써, 뷰포인트 불변 방법의 추가/제거/재구성이 재학습 없이 가능하도록 했습니다. 이는 로봇 하드웨어 구성이 변경되는 환경에서 매우 중요합니다.

---

4. 실험 결과 (Results)

저자들은 Google Scanned Objects (GSO), BigBIRD, YCB 데이터셋을 사용하여 SCOUT 을 평가했습니다.

• 벤치마크 성능:

  • SCOUT 은 LLM 문헌에서 차용한 다양한 라우팅 베이스라인 (ZOOTER, RouterDC, MLP, kNN, 선형 회귀 등) 보다 일관되게 낮은 후회 (Regret) 를 보였습니다.
  • 특히 다양한 비용 제약 벡터 (지연 시간, 메모리, 비용-품질 트레이드오프) 하에서 우수한 성능을 발휘했습니다.
  • 뷰포인트 불변 방법이 추가될 때, 분해가 없는 방법들은 성능이 저하되는 반면 SCOUT 은 성능을 유지했습니다.

• 로봇 조작 실험:

  • 충돌 없는 그립 제안 (Grasp Proposal): 재구성된 메시를 기반으로 생성된 그립 제안의 충돌률 (Collision Rate) 을 측정했습니다. SCOUT 은 가장 낮은 충돌률과 높은 메시 IoU 를 기록했습니다.
  • 교묘한 조작 (Dexterous Manipulation): 시뮬레이션 환경에서 정교한 그립 성공률을 평가했습니다. SCOUT 이 선택한 모델은 다른 단일 모델보다 높은 성공률을 보였습니다.
  • 실제 로봇 실험 (Real-world Pick-and-Place): Franka Panda 로봇을 사용하여 실제 물체 집기 및 놓기 작업을 수행했습니다. SCOUT 은 입력 뷰의 난이도에 따라 Hunyuan3D(고품질) 나 TRELLIS(저지연) 를 지능적으로 선택하여 전체 파이프라인의 성공률을 극대화했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 로봇 공학 분야에서 비용 인식 (Cost-Aware) 3D 재구성을 위한 중요한 진전을 이루었습니다.

• 실용성: 로봇은 제한된 시간과 계산 자원 내에서 작업을 수행해야 하므로, 상황에 맞는 최적의 모델을 선택하는 라우팅 메커니즘은 필수적입니다. SCOUT 은 이를 효율적으로 해결합니다.
• 확장성: 새로운 재구성 모델이나 하드웨어 구성 (뷰포인트 불변 방법) 이 추가되어도 재학습이 필요하지 않아 시스템 유지보수 비용을 크게 줄입니다.
• 하드웨어-소프트웨어 통합: 단순한 이미지 처리를 넘어, 실제 로봇의 그립 성공률과 같은 하위 작업 (Downstream Task) 의 성능 향상에 직접적으로 기여함을 실험을 통해 입증했습니다.

결론적으로, SCOUT 은 단일 모델의 한계를 극복하고, 다양한 비용 제약과 환경 변화에 유연하게 대응할 수 있는 적응형 3D 재구성 라우팅 시스템의 새로운 표준을 제시합니다.