기술 요약: TrackRef3D

문제 정의

자연어 쿼리를 사용하여 3D 객체를 분할하는 참조 3D 가우스 스플래팅 (R3DGS) 은 embodied AI, 로봇 공학, 자율 주행에 필수적인 기능입니다. 그러나 기존 방법들은 현실 세계의 오픈 월드 시나리오로 확장할 때 세 가지 근본적인 장애물에 직면합니다:

1. 수동 주석에 대한 의존성: 현재 파이프라인은 장면별 인간이 주석한 카테고리 레이블과 참조 설명이 필요하여 비용이 많이 들고 배포가 비현실적입니다.
2. 다중 뷰 불일치: 감독 신호는 일반적으로 2D 파운데이션 모델을 사용하여 뷰별로 생성됩니다. 이러한 모델들은 가려짐이나 도메인 특화 어휘 하에서 실패하는 경우가 많아, 서로 다른 시점에서 모순되는 의사 가짜 마스크를 생성합니다.
3. 쿼리 구체성에 대한 낮은 일반화: 주로 길고 상세한 참조 설명으로 훈련된 모델들은 과적합되는 경향이 있어, 사용자가 자주 사용하는 짧고 자연스러운 쿼리 (예: 단일 카테고리 이름) 에서는 성능이 저하됩니다.

방법론: TrackRef3D

TrackRef3D 는 다중 뷰 일관성 있는 추적 후 라벨링 패러다임을 도입하여 수동 주석을 제거하는 완전 자동화 파이프라인을 제안합니다. 이 접근법은 객체 발견과 의미론적 그라운딩을 분리합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 초기 객체 발견

시스템은 파운데이션 모델 (탐지를 위한 Florence-2, 분할을 위한 SAM-2) 을 사용하여 주석이 없는 RGB 이미지를 처리하여 각 뷰의 잠재적 객체 마스크와 오픈 보카불러리 카테고리 레이블을 추출합니다. 이는 다양한 객체를 포착하지만, 가려짐으로 인해 노이즈가 있는 마스크와 일관성 없는 레이블 (예: 같은 객체에 대해 뷰마다 "bowl" 대 "ramen") 을 본질적으로 생성합니다.

2. 궤적 인식 의미론적 합의 모듈 (TSCM)

다중 뷰 불일치를 해결하기 위해 TSCM 은 개별 뷰가 아닌 일관된 객체 궤적으로 주석 초점을 이동합니다:

• 비디오 추적: 추적기 (DEVA) 가 뷰별 마스크를 시간적으로 일관된 궤적으로 연결하여, 객체가 가려졌다가 다시 나타날 때도 고유한 트랙 ID 를 할당합니다.
• 동의어 클러스터링: 감지된 카테고리 레이블의 텍스트 임베딩을 코사인 유사도에 기반한 계층적 클러스터링을 사용하여 클러스터링합니다. 이는 의미적으로 동일한 레이블 (예: "cup"과 "mug") 을 단일 그룹으로 병합합니다.
• 궤적 인식 투표: 각 궤적에 대해 시스템은 모든 뷰에서 클러스터된 정체성의 빈도를 계산합니다. 가장 빈번한 정체성이 표준 의미론적 정체성으로 선택되어 해당 궤적의 모든 뷰로 전파되어 일관된 감독을 보장합니다.
• 가시성 인식 설명 생성: 참조 설명을 생성하기 위해 시스템은 객체가 가장 잘 보이는 "키프레임"을 선택합니다. 가시성 점수는 궤적 전체의 중앙값 면적에 대해 마스크 면적을 균형 있게 평가하여 극단적인 스케일 (너무 가까움/너무 김) 을 패널티로 부과함으로써 선택된 뷰가 객체 속성과 공간적 맥락을 모두 포착하도록 합니다. 그런 다음 비전 - 언어 모델 (CogVLM-2) 이 이 키프레임을 기반으로 다중 세분화 설명을 생성합니다.

3. 하이브리드 학습 전략 (HTS)

긴 설명에 대한 과적합 문제를 해결하기 위해 HTS 는 다중 긍정 대비 목적 함수를 사용합니다.

• 긴 설명만을 긍정 쌍으로 취급하는 대신, 이 전략은 각 트랙에 대해 대략적인 카테고리 의미론(표준 정체성) 과 세밀한 참조 설명을 공동으로 최적화합니다.
• 동일한 궤적과 관련된 모든 설명은 3D 가우스 임베딩에 대해 긍정 쌍으로 간주됩니다. 이는 모델이 짧은 쿼리 (카테고리 이름) 와 긴 쿼리 (상세한 설명) 모두에 대해 올바르게 활성화되는 견고한 표현을 학습하도록 강제합니다.
• 전체 손실은 공간적 정확성을 보장하기 위해 이 대비 손실과 이진 교차 엔트로피 분할 손실을 결합합니다.

주요 기여

1. 완전 자동화 파이프라인: TrackRef3D 는 장면별 수동 주석 없이 3DGS 에서 오픈 월드 참조 분할을 달성합니다.
2. 일관성을 위한 TSCM: 궤적 인식 의미론적 합의 모듈은 동의어 클러스터링과 투표를 통해 교차 뷰 예측을 집계하여 표준 의미론적 정체성을 확립함으로써 다중 뷰 불일치를 근본적으로 해결합니다.
3. 견고성을 위한 HTS: 하이브리드 학습 전략은 대략적이고 세밀한 단서를 공동으로 최적화하여 다양한 쿼리 구체성 하에서 견고성을 보장하고, 짧은 프롬프트에서의 성능 저하를 방지합니다.
4. 최첨단 성능: 이 방법은 이전의 수동 및 자동 접근법과 비교하여 여러 벤치마크에서 우수한 성능을 입증했습니다.

실험 결과

저자들은 TrackRef3D 를 Ref-LERF, LERF-OVS, 3D-OVS, 그리고 자체 수집한 실내 실험실 장면 네 가지 데이터셋에서 평가했습니다.

• Ref-LERF: TrackRef3D 는 평균 mIoU 38.8을 달성하여 이전 최첨단 (ReferSplat) 보다 9.6 포인트만큼 우월한 성능을 보였습니다. 특정 장면에서 상당한 향상을 보였습니다 (예: Ramen 장면에서 +10.5 mIoU).
• 실험실 장면: 수동 학습 레이블이 없는 자체 수집 장면에서 TrackRef3D 는 참조 설명에 대해 48.5 mIoU, 짧은 쿼리에 대해 68.3 mIoU를 달성했습니다. 특히, 동일한 자동 감독으로 훈련된 ReferSplat 은 짧은 쿼리에서 24.4 mIoU 로 떨어졌는데, 이는 HTS 의 필요성을 입증합니다.
• 오픈 보카불러리 벤치마크: LERF-OVS 와 3D-OVS 에서 TrackRef3D 는 각각 평균 mIoU 63.2와 95.2를 달성하여 LangSplat 과 GOI 를 포함한 모든 비교 방법을 능가했습니다.
• 절대 실험: 실험은 TSCM 또는 HTS 를 제거하면 성능이 크게 저하됨을 확인했습니다. 구체적으로, 가시성 인식 키프레임 선택과 다중 긍정 대비 손실이 가려짐과 쿼리 변이를 처리하는 데 중요한 구성 요소로 확인되었습니다.

의의

이 논문은 TrackRef3D 가 3D 가우스 스플래팅에서 참조 분할을 위한 확장 가능하고 오픈 월드 솔루션을 제공한다고 주장합니다. 객체 발견과 의미론적 그라운딩을 근본적으로 분리하고 궤적 추적을 통해 교차 뷰 일관성을 강제함으로써, 이 방법은 수동 주석의 병목 현상을 제거합니다. 또한 짧은 쿼리와 긴 쿼리 간의 일반화 격차를 해결함으로써, 현실 세계 환경에서 embodied AI 시스템에 더 직관적이고 견고한 상호작용을 가능하게 합니다.