GraphSeg: Segmented 3D Representations via Graph Edge Addition and Contraction

기술 요약: GraphSeg

문제 정의

비정형 환경에서 작동하는 로봇은 파지(grasping) 및 동작 생성과 같은 다운스트림 작업을 용이하게 하기 위해 정확하고 일관된 객체 수준의 표현을 필요로 합니다. Segment Anything (SAM)와 같은 최근의 파운데이션 모델들은 2D 이미지 세그멘테이션에는 뛰어나지만, 이를 물리적인 3D 세계로 직접 변환하지는 못합니다. 다중 뷰(multi-view) 2D 이미지에 적용될 때, 이러한 모델들은 과분할(over-segmentation)(단일한 일관된 객체를 여러 개의 마스크로 쪼개는 현상) 문제를 겪거나 서로 다른 뷰 사이에서 일관된 마스크 대응 관계를 구축하는 데 실패하곤 합니다. 기존의 3D 인스턴스 세그멘테이션 방법들은 사전에 정의된 클래스 집합(closed-set)에 의존하거나, 방대한 3D 학습 데이터를 필요로 하거나, 시각적 중첩이 제한적인 희소 뷰(sparse-view) 설정에서 어려움을 겪습니다. 이 논문이 다루는 핵심 과제는 깊이 센서나 사전에 정의된 객체 클래스에 의존하지 않고, 희소한 2D RGB 이미지 세트로부터 일관되고 통합된 3D 객체 세그멘테이션을 생성하는 것입니다.

방법론: GraphSeg

저자들은 GraphSeg를 제안하며, 이는 다중 뷰 3D 세그멘테이션 문제를 그래프 에지 추가 및 수축(edge addition and contraction) 문제로 취급하는 프레임워크입니다. 이 방법은 로봇 매니퓰레이터에 의해 촬영된 희소한 RGB 이미지 세트에서 작동하며, 깊이 센서 없이 3D 파운데이션 모델을 활용하여 장면의 기하학적 구조를 복구합니다.

1. 핵심 프레임워크

프로세스는 사전 학습된 오픈 보캐블러리 모델(예: SAM)을 사용하여 각 입력 이미지에 대한 2D 세그멘테이션 마스크를 생성하는 것으로 시작됩니다. 이후 프레임워크는 이 잠재적인 과분할된 2D 마스크들을 통합된 3D 객체로 병합하기 위해 **이중 대응 그래프(dual correspondence graphs)**를 구축합니다:

• 그래프 구축: 각 2D 마스크는 그래프의 정점(vertex)으로 취급됩니다.
• 에지 추가 (이중 대응):
  • 2D 픽셀 수준 그래프 ($G_{2D}$): 픽셀 간 특징 매칭(feature matching)을 기반으로 서로 다른 이미지 내의 마스크 사이에 에지를 추가합니다. 두 마스크 사이의 매칭되는 픽셀 비율이 임계값($\tau_{2D}$)을 초과하면 에지가 형성됩니다.
  • 3D 구조적 그래프 ($G_{3D}$): 표면 디테일로 인한 과분할 문제를 해결하기 위해, 이 방법은 3D 파운데이션 모델(예: DUST3R)을 사용하여 2D 이미지를 3D 포인트 클라우드로 리프팅(lift)합니다. 에지는 대응하는 3D 포인트 클라우드 간의 **방향성 챔퍼 거리(directed Chamfer distance)**를 기반으로 '슈퍼 정점(super-vertices)'(2D 단계에서 집계된 마스크들) 사이에 추가됩니다. 거리가 임계값($\tau_{3D}$) 미만이면 정점들이 연결됩니다.
• 그래프 수축 (Graph Contraction): 구축된 그래프는 무작위 스타 수축(Randomized Star Contraction) 알고리즘을 사용하여 수축됩니다. 에지에 의해 연결된 정점들은 하나의 '슈퍼 정점'으로 병합됩니다. 이 과정은 각 슈퍼 정점이 단일하고 일관된 3D 객체를 나타낼 때까지 반복적으로 그래프를 축소합니다.

2. 구현 휴리스틱

• 배경 필터링: 테이블 표면 및 로봇의 도달 범위 외 영역을 필터링하기 위해 배경 클래스를 명시적으로 정의하여 효율성을 높였습니다.
• 희소 뷰 최적화: 불필요한 계산을 피하기 위해, 픽셀 간 대응 관계는 "가까운" 카메라 포즈에서 촬영된 이미지들 사이에서만 계산되며, 대응 관계가 나타나기 어려운 매우 다른 뷰포트의 이미지들은 필터링됩니다.

주요 기여

본 논문은 세 가지 주요 기술적 기여를 설명합니다:

1. GraphSeg 프레임워크: 깊이 정보 없이도 희소한 2D 이미지 세트로부터 깔끔하게 세그멘테이션된 3D 장면 표현을 생성할 수 있는 새로운 시스템입니다.
2. 그래프 정식화: 3D 세그멘테이션을 그래프 에지 추가 및 수축 문제로 정식화하고, 이를 해결하기 위한 효율적인 알고리즘을 결합했습니다. 이 접근 방식은 뷰 전반에 걸친 마스크의 대응 관계를 명시적으로 모델링합니다.
3. 실증적 검증: 3D 세그멘테이션에서 최첨단 성능을 입증하고, 다운스트림 로봇 조작 작업에 대한 방법론의 유용성을 증명하는 광범-한 평가를 수행했습니다.

실험 결과

저자들은 GraspNet-1Billion 데이터셋(main, similar, unseen 서브셋)에서 GraphSeg를 평가하였으며, 최첨단 베이스라인인 MaskClustering 및 SAM3D와 비교하였습니다.

• 세그멘테이션 품질: GraphSeg는 GraspNet-1B-main 데이터셋에서 가장 높은 IoU (0.5945) 및 **F1 점수 (0.7595)**를 달이트했으며, 이는 SAM3D와 MaskClustering을 크게 상회하는 수치입니다. 3D 에지 추가가 없는 베이스라인 GraphSeg($GraphSeg^-$)는 더 낮은 챔퍼 거리를 달성했으나, 이는 객체를 과분할함으로써 얻은 결과였습니다. 전체 GraphSeg 방법은 높은 IoU를 유지하면서도 낮은 챔퍼 거리(0.0142)를 유지함으로써 이 사이의 균형을 맞추었습니다.
• 픽셀 유용성: 중요한 발견 중 하나는 GraphSeg가 MaskClustering(불확실한 점들을 공격적으로 필터링하여 유용성이 3% 미만으로 떨어짐)이나 SAM3D(~86%)에 비해 훨씬 높은 비율의 비배경 픽셀(중앙값 유용성 >90%)을 유지한다는 점입니다. 이는 더 밀도 있고 완전한 3D 포인트 클라우드를 생성하는 결과로 이어집니다.
• 희소 뷰 강건성: 본 방법은 단 3장의 이미지($N=3$)만으로도 테스트되었습니다. GraphSeg는 다른 방법들이 3D 공간 관계를 찾는 데 어려움을 겪는 이러한 희소 조건에서도 신뢰할 수 있는 성능을 유지했습니다.
• 다운스트림 조작: 저자들은 실제 Unitree Z1 매니퓰레이터에서 시스템을 시연했습니다. 세그멘테이션된 포인트 클라우드를 사용하여, 파지 생성기(grasp generator)는 다양한 객체(예: 망치, 리모컨, 컵)에 대해 실행 가능한 파지 위치를 성공적으로 생성하였고, 로봇은 이를 성공적으로 수행했습니다.

의의 및 주장

본 논문은 GraphSeg가 다중 뷰 이미지를 통해 세그멘테이션된 3D 장면을 구축하는 강력한 솔루션을 제공하며, 직접적인 2D-to-3D 변환의 한계를 극복한다고 주장합니다. 그 의의는 다음과 같습니다:

• 과분할에 대한 강건성: 문제를 그래프 수축으로 정식화함으로써, 이 방법은 파편화된 2D 마스크를 일관된 3D 객체로 효과적으로 병합합니다.
• 데이터 효율성: 매우 적은 수의 이미지(희소 뷰)로도 효과적으로 작동하며, 깊이 센서나 3D 학습 데이터 없이 3D 파운데이션 모델에 의존하여 기하학적 구조를 복구합니다.
• 실용적 유용성: 생성된 밀도 높은 객체 수준의 표현은 로봇 조작에 직접 적용 가능하며, 비정형 테이블탑 환경에서의 성공적인 파지를 가능하게 합니다.

저자들은 현재 시스템이 효과적이지만, 향후 연구로서 불확실성을 인지하는 행동(uncertainty-aware behaviors)을 주입하여 로봇이 모호한 영역에 대해 추가 사진을 능동적으로 촬영함으로써 세그멘테이션 품질을 더욱 개선할 수 있을 것이라고 결론지었습니다.