1. 문제 정의 (Problem)

로봇 조작 (Robotic Manipulation) 을 위해서는 로봇이 관찰한 물체의 형태뿐만 아니라, 그 물체와 **어떻게 상호작용할 수 있는지 (Affordance, 기능적 속성)**를 이해해야 합니다. 기존 연구들은 다음과 같은 한계를 가지고 있습니다.

• 부분 관측의 한계: 로봇은 RGBD 카메라를 통해 제한된 시점에서 물체를 관찰하므로, 손잡이와 같이 가려진 (Occluded) 부분이 많은 **부분적인 관측 (Partial Observation)**만 가능합니다.
• 가시 표면만 예측: 기존 오퍼런스 그라운딩 (Affordance Grounding) 방법들은 주로 관측된 가시 표면 (Visible surfaces) 에만 affordance 를 예측합니다. 따라서 가려진 부분 (예: 컵의 뒷면 손잡이) 에 대한 상호작용을 추론하지 못합니다.
• 기하학적 완성도 부재: 기존 3D 생성/복원 방법들은 기하학적 구조를 완성하지만 기능적 affordance 를 예측하지 못하거나, 단일 RGB 이미지만을 사용하여 깊이 (Depth) 정보를 활용하지 못해 기하학적 디테일이 부정확할 수 있습니다.

핵심 문제: 부분적인 RGBD 관측으로부터 완전한 3D 기하학 (가려진 부분 포함) 을 생성하고, 생성된 전체 형상 위에 자연어 쿼리에 기반한 affordance 를 그라운딩하는 것.

2. 제안 방법: Affostruction (Methodology)

저자들은 Affostruction이라는 생성적 프레임워크를 제안합니다. 이는 TRELLIS(3D 생성 기반 모델) 를 확장하여, 부분적인 관측에서 완전한 형상을 복원하고 affordance 를 예측하는 3 단계 프로세스로 구성됩니다.

1 단계: 생성적 다중 뷰 복원 (Generative Multi-view Reconstruction)

• Sparse Voxel Fusion: TRELLIS 의 흐름 변환기 (Flow Transformer) 를 확장하여, 여러 RGBD 뷰에서 추출된 DINOv2 특징을 깊이 (Depth) 정보와 카메라 외향 파라미터를 이용해 3D 공간에 투영합니다.
• 상수 복잡도 (Constant Complexity): 중첩된 보크셀 (Voxel) 의 특징을 평균화하고, 겹치지 않는 보크셀은 합치는 방식으로 **고정된 크기의 토큰 (Token)**으로 특징을 융합합니다. 이를 통해 다중 뷰 입력 시에도 계산 복잡도가 일정하게 유지됩니다.
• 생성적 외삽: 학습된 흐름 매칭 (Flow Matching) 모델을 통해 부분적인 관측 데이터에서 **관측되지 않은 기하학적 구조를 외삽 (Extrapolate)**하여 완전한 3D 형상을 생성합니다.

2 단계: 흐름 기반 Affordance Grounding (Flow-based Affordance Grounding)

• 다중 모드 (Multi-modal) 모델링: 동일한 쿼리 (예: "잡기") 에 대해 여러 개의 유효한 상호작용 영역이 존재할 수 있습니다 (다중 모드성). 이를 해결하기 위해 **흐름 기반 생성 모델 (Flow-based Generative Model)**을 사용하여 affordance 히트맵의 분포를 학습합니다.
• 텍스트 조건부 생성: CLIP 텍스트 인코더를 통해 자연어 쿼리를 인코딩하고, 이를 조건으로 하여 복원된 기하학 (Sparse Voxels) 위에 affordance 히트맵을 생성합니다.
• 손실 함수: 이진 마스크 손실 (Binary Cross-Entropy + Dice Loss) 을 사용하여 기능적 영역의 정확한 공간적 위치를 학습합니다.

3 단계: Affordance 기반 능동 뷰 선택 (Affordance-driven Active View Selection)

• 최적의 다음 뷰 선정: 복원된 형상과 예측된 affordance 히트맵을 기반으로, **기능적 영역 (Functional Regions) 을 가장 잘 관찰할 수 있는 다음 시점 (Next-best View)**을 선택합니다.
• 반복적 정제: 선택된 새로운 뷰에서 추가 관측을 얻어 3D 복원과 affordance 그라운딩을 반복적으로 정제합니다. 이는 제한된 뷰 수 (View Budget) 내에서 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 생성적 다중 뷰 복원: 깊이 조건부 DINOv2 특징을 sparse voxel fusion 으로 통합하여, 실제 물체 방향에 정렬된 상수 복잡도의 생성적 복원을 가능하게 함. 부분 관측에서 완전한 기하학을 외삽.
2. 흐름 기반 Affordance Grounding: 자연어 쿼리에 조건부인 흐름 기반 생성 모델을 도입하여, affordance 의 본질적인 다중 모드성 (Multi-modality) 을 히트맵 분포로 모델링.
3. Affordance 기반 능동 뷰 선택: 예측된 affordance 를 활용하여 기능적 영역의 가시성을 극대화하는 다음 뷰를 선택함으로써, 제한된 관측 예산 하에서 효율적인 복원 및 그라운딩 달성.

4. 실험 결과 (Results)

Affogato 및 Toky4K 벤치마크에서 기존 방법 (OpenAD, PointRefer, Espresso-3D, TRELLIS, MCC 등) 과 비교 평가되었습니다.

• 3D 복원 성능 (Toky4K):
  • IoU: 32.67 (기존 최선인 MCC 대비 54.8% 향상, TRELLIS 대비 67.6% 향상).
  • 깊이 정보를 활용한 생성적 복원이 RGB-only 생성이나 판별적 복원 방법보다 기하학적 정확도가 훨씬 높음을 입증.
• 완전 3D Affordance Grounding (Affogato):
  • aIoU (Average Intersection over Union): 19.1 (기존 최선인 Espresso-3D 대비 40.4% 향상).
  • 생성적 모델링이 판별적 접근법보다 affordance 영역의 공간적 위치를 더 정확하게 파악함을 보여줌.
• 부분 관측 Affordance Grounding:
  • 단일 RGBD 뷰 입력 시, 가려진 부분까지 포함한 전체 형상에서 9.26 aIoU 달성 (기존 2 단계 파이프라인 대비 약 2 배 성능 향상).
• 능동 뷰 선택:
  • affordance 기반 선택 전략은 순차적 (Sequential) 또는 무작위 (Random) 샘플링보다 2 배 빠른 속도로 성능을 개선함 (추가 뷰 1 개로 2.0 배 향상).
• 효율성:
  • TRELLIS(25 스텝) 대비 샘플링 스텝을 5 로 줄여 7.2 초의 빠른 실행 시간을 기록 (기존 2 단계 파이프라인 대비 1.1 배 이상 빠름).

5. 의의 및 결론 (Significance)

• 로봇 조작의 실용성 향상: 로봇이 물체의 일부만 보더라도 가려진 부분의 기능적 속성 (예: 컵의 손잡이 위치) 을 추론할 수 있게 하여, 실제 로봇 조작 계획 (Manipulation Planning) 에 필수적인 정보를 제공합니다.
• 생성적 AI 와 로봇의 융합: 3D 생성 모델 (Generative AI) 의 기하학적 완성 능력과 affordance 예측을 결합하여, 관측의 한계를 넘어선 상황 인식 능력을 제시했습니다.
• 능동적 지각 (Active Perception): 단순히 데이터를 수집하는 것을 넘어, **어떤 정보를 더 필요로 하는지 (Affordance)**를 판단하여 최적의 관측을 선택하는 폐루프 (Closed-loop) 시스템을 구현했습니다.

이 연구는 부분 관측 환경에서 로봇이 물체의 형태와 기능을 동시에 이해하고, 능동적으로 정보를 수집하여 작업을 수행하는 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.