Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation

기술 요약: 탐지기 신뢰도가 가려짐(Occlusion)이 아닌 존재성(Presence)을 나타내는 현상 - 복잡한 조작 환경에서의 연구

문제 정의
능동적 인지(Active perception) 및 로봇 조작 분야에서, 오픈 보캐블러리(Open-vocabulary) 탐지기는 이름이 지정된 객체가 장면 내에 존재하는지, 그리고 보이는지를 결정하기 위해 널리 사용됩니다. 시스템은 종종 특정 타겟의 가시성(Visibility)을 판단하는 대리 지표로 탐지기의 신뢰도 점수(Confidence score)를 활용하여, 탐지 결과 필터링, 언어 접지(Grounding), 인스턴스 검색, 또는 능동적 인지의 게이팅(Gating, 예: 숨겨진 객체를 드러내기 위해 카메라를 움직일지 결정하는 것)과 같은 중요한 결정을 내립니다. 본 논문은 탐지기 신뢰도가 특정 타겟의 실제 가시성을 추적한다는 근본적인 가정에 이의를 제기합니다. 저자들은 복잡한 환경에서 높은 신뢰도 점수가 특정 타겟 인스턴스의 가시성을 나타내기보다는, 해당 객체 범주(Category)가 시야 어딘가에 존재함을 나타낼 수 있다고 주장합니다. 특히 타겟이 동일한 범주의 방해 요소(Distractor)에 의해 가려져 있을 때 이러한 현상이 두드러집니다.

방법론: 기하학적 오라클 감사 (The Geometry-Oracle Audit)
이 가설을 엄격하게 검증하기 위해, 저자들은 탐지기를 사용하지 않는 진단 프레임워크인 "기하학적 오라클 감사"를 제안합니다.

• 그라운드 트루스 오라클 (Ground Truth Oracle): 탐지기 출력에 의존하는 대신, 장면의 3D 구조로부터 유도된 기하학적 세그멘테이션 오라클을 사용합니다. 이 오라클은 탐지기와 무관하게, 세그멘테이션 렌더링에서 가시적인 픽셀 수를 계산하여 타겟 객체의 실제 가시성($V$)을 산출합니다.
• 실험 설정: 장면은 LIBERO 시뮬레이터에서 생성되었으며(ManiSkill 3 및 DAVIS-2017의 실제 영상에서도 재현됨), 타겟 객체를 중앙에 배치하고 주변을 $k$개의 방해 객체로 둘러쌌습니다. 두 가지 레이아웃이 테스트되었습니다:
  • 전면 레이아웃 (Frontal Layout): 방해 요소들이 카메라와 타겟 사이에 벽을 형성하며, $k$가 증가함에 따라 타겟을 점진적으로 가립니다.
  • 링 레이아웃 (Ring Layout): 방해 요소들이 타겟을 대칭적으로 둘러싸며, 타겟은 완전히 보이지만 혼잡도(Clutter density)는 증가합니다.
• 비교: 모든 뷰(고정된 기본 뷰 및 능동적 후보 뷰)에 대해, 시스템은 오라클의 실제 가시성($V$)을 오픈 보캐블러리 탐지기의 신뢰도 점수($c$) 및 예측 영역($r$)과 비교합니다.
• 평가된 탐지기: Grounding DINO (tiny 및 base), OWLv2, 그리고 SAM 3를 감사했습니다.
• 지표: 연구는 신뢰도와 실제 가시성 간의 상관관계, 탐지기가 타겟이 가려졌음에도 불구하고 타겟을 "해결됨(Resolved)"(신뢰도 > 임계값)으로 보고하는 비율, 그리고 예측된 영역과 실제 타겟 마스크 사이의 IoU(Intersection-over-Union)를 측정합니다.

주요 기여

1. 기하학적 오라클 감사: 오픈 보캐블러리 탐지기가 실제 객체 가시성을 추적하는지 측정하기 위해, 그라운드 트루스 세그멘테이션과 비교하는 탐지기 독립적 진단 도구를 도입했습니다.
2. 디커플링(Decoupling)의 문서화: 가려진 시나리오에서 탐지기 신뢰도가 실제 가시성과 거의 상관관계가 없음을 보여주는 실증적 증거를 제시합니다. 탐지기는 동일한 범주의 방해 요소를 탐지하기 때문에 숨겨진 타겟을 높은 신뢰도로 "존재함"이라고 보고하는 경우가 많습니다.
3. 시스템적 비용의 정량화: 신뢰도 신호에 의존할 때 발생하는 두 가지 구체적인 실패를 입증했습니다:
   • 능동적 인지의 과소평가: 신뢰도 기반 지표는 가려짐을 해결하기 위해 카메라를 움직이는 것의 가치를 약 10배 정도 과소평가합니다 (예: 신뢰도의 8포인트 상승 vs 실제 가시성의 88포인트 상승).
   • 게이팅 실패: 신뢰도 기반 게이트는 객체가 숨겨져 있을 때 카메라 이동을 트리거하지 못합니다. 이는 탐지기가 방해 요소 덕분에 여전히 높은 신뢰도를 유지하기 때문입니다.
4. 일반화: 이러한 실패는 세 가지 서로 다른 탐지기 아키텍처, 9개의 객체 범주, 서로 다른 렌더러를 가진 두 개의 시뮬레이터, 그리고 실제 영상 전반에 걸쳐 나타납니다.

실험 결과

• 신뢰도와 가시성의 디커플링: 전면 레이아웃에서 12개의 방해 요소로 인해 실제 가시성이 100%에서 ~12%로 떨어질 때, Grounding DINO의 평균 신뢰도는 약 0.40으로 거의 일정하게 유지되며 "해결됨" 비율도 90% 이상을 유지합니다. 신뢰도와 가시성 사이의 상관관계는 0에 가깝습니다.
• 오위치 (Mislocalization): 심한 가려짐 상황에서, 신뢰도가 높은 탐지의 88%는 가려진 타겟이 아니라 동일 범주의 방해 요소 위에 위치합니다. 즉, 탐지기는 특정 타겟의 가시성이 아닌 범주의 존재성을 신호하는 것입니다.
• 단일 뷰 신호의 실패: 단일 뷰 신호(신뢰도 또는 추적된 위치를 이용한 위치 확인 포함) 중 그 어떤 것도 가려짐을 안정적으로 감지하지 못합니다. 이는 가려는 요소가 타겟이 있어야 할 위치에 정확히 자리 잡고 있어, 단일 뷰에서는 가려진 타겟에 대한 탐지와 가려는 요소에 대한 탐지를 공간적으로 구분할 수 없기 때문입니다.
• 능동적 인지의 가치: 오라클은 카메라를 움직이는 것이 가려진 장면의 거의 100%에서 가시성을 회복함을 보여주지만(88포인트의 이득), 신뢰도 기반 지표는 미미한 이득(3~8포인트)만을 시사하여 능동적 인사가 불필요하다는 잘못된 결론을 내리게 합니다.
• 링 레이아웃의 아티팩트: 타겟이 가려지지 않는 링 레이아웃에서는 혼잡도가 증가함에 따라 탐지기 신뢰도가 떨어집니다. 이는 링 레이아웃을 사용하는 표준 벤치마크가 가려짐이 아닌 혼잡도에 대한 민감도를 측정하고 있음을 나타내며, 평가 결과를 왜곡할 수 있습니다.
• 다운스트림 영향: 파지(Grasping) 작업에서 "신뢰도 게이트"(신뢰도가 높으면 제자리에 머무름)는 가려진 장면의 95%에서 타겟을 찾는 데 실패합니다. 반면 "이동 후 검증(Move-and-verify)" 전략은 국지화 가능성을 100%로 끌어올리지만, 가려짐으로 인한 잔여 깊이 오차가 여전히 많은 경우 성공적인 파지를 방해합니다.

의의 및 주장
본 논문은 복잡한 조작 작업에서 오픈 보캐블러리 탐지기 신뢰도를 가시성 신호로 사용하는 광범위한 관행이 근본적으로 결함이 있다고 주장합니다. 저자들은 이러한 디커플링이 단순한 캘리브레이션 문제가 아니라, 탐지기가 주변의 유사한 객체를 탐지함으로써 특정 타겟의 존재를 환각(Hallucination)하는 구조적 실패라고 주장합니다.

본 연구의 의의는 다음과 같습니다:

1. 평가의 교정: 신뢰도 기반 지표가 능동적 인사의 효용성을 심각하게 과소평가하여, 잠재적으로 견고한 조작 시스템의 발전을 저해할 수 있음을 경고합니다.
2. 게이팅의 안전성: "언제 볼 것인가"를 결정할 때 신뢰도에 의존하는 것은 위험합니다. 시스템이 타겟이 숨겨져 있는 바로 그 순간에 정지 상태를 유지할 수 있기 때문입니다.
3. 권고 사항: 저자들은 평가 및 게이팅 메커니즘을 원시 범주 신뢰도가 아닌 "타겟에 접지된(Target-grounded)" 신호(예: 추적된 타겟 마스크와의 중첩 또는 위치 오차)로 전환할 것을 권장합니다. 또한, 벤치마크가 타겟을 실제로 가리는 레이아웃(전면)과 단순히 혼잡하게 만드는 레이아웃(링)을 구분하여 오해를 피해야 한다고 제안합니다.

결론적으로, 카메라를 움직이는 것이 가시성 문제를 해결할 수는 있지만, 신뢰도를 무력화하는 것과 동일한 가려짐 현상이 파지를 위한 위치 결정의 정밀도 또한 제한한다는 점에서, 향후 연구는 가시성과 성공적인 조작 사이의 간극을 메우기 위해 다중 뷰 퓨전(Multi-view fusion) 또는 접촉 중심 탐색(Contact-rich search)을 다루어야 한다고 밝히고 있습니다.