SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization

기술 요약: SceneFunRI – 작업 주도 기능성 객체 로컬라이제이션을 위한 보이지 않는 것 추론

문제 정의
현재의 비전 - 언어 모델 (VLM) 은 목표 객체가 완전히 보이지 않는 실제 시나리오에서 공간 추론에 어려움을 겪습니다. 인간은 문맥과 상식 지식을 활용하여 가려진 기능성 객체의 위치를 추론할 수 있지만, 기존 벤치마크와 모델은 대부분 가시적 단서나 부분적 가림 (예: 그림자나 반사) 에 의존합니다. 이 논문은 시각 필드 밖으로 완전히 벗어나 간접적 시각적 증거가 없는 '보이지 않는' 객체에 대한 추론 능력을 평가하는 데 있어 공백이 있음을 지적합니다. 이는 작업 지시, 장면 배치, 그리고 상식적 사전 지식만으로 추론해야 하는 과제를 요구합니다.

방법론
저자들은 '보이지 않는 것 추론 (Reasoning the Invisible, RI)'을 평가하기 위해 특별히 설계된 벤치마크인 SceneFunRI를 소개합니다.

• 데이터셋 구축: SceneFun3D 데이터셋을 기반으로 하여, 이 벤치마크는 855 개의 작업 주도 인스턴스를 생성하기 위해 반자동 파이프라인을 활용합니다. 과정은 다음과 같습니다:
  1. 프레임 선택: 기능성 객체가 카메라 시야 내에 존재하지만 2D 이미지에서는 완전히 가려져 ($V_o = 0\%$) 있는 프레임을 식별합니다.
  2. 정답 생성: 숨겨진 객체의 3D 포인트 클라우드 주석을 2D 이미지 평면에 투영하여 정답 바운딩 박스를 생성합니다.
  3. 품질 관리: 인간 검증을 통해 충분한 문맥적 단서 (예: 밤선더의 위치를 추론하기 위한 침대의 존재) 와 명확한 지시사항을 가진 작업이 있는지 확인하여, 초기 1,232 개의 후보를 855 개의 고품질 인스턴스로 필터링합니다.
• 평가 지표: 표준 교차율 (Intersection over Union, IoU) 은 보이지 않는 목표에는 너무 엄격하다고 판단됩니다. 저자들은 다음을 제안합니다:
  • 포함 정확도 (Containment Accuracy, CAcc@$\theta$): 정답 박스가 예측 영역 내에 포함되는지 측정하며, 지나치게 큰 예측에 대해 패널티를 부과합니다.
  • Dist: 박스가 겹치지 않더라도 로컬라이제이션 근접성을 평가하기 위한 정규화된 코너 거리 지표입니다.
• 프롬프트 전략: 이 연구는 세 가지 프롬프트 카테고리를 분석합니다:
  1. 강력한 지시 프롬프팅: 모델에게 가시적 객체를 무시하고 보이지 않는 영역에 집중하거나 상식 규칙을 적용하도록 명시적으로 지시합니다.
  2. 추론 기반 프롬프팅: 단계별 추론을 장려하기 위해 사고의 사슬 (Chain-of-Thought, CoT) 과 자기 성찰이 포함된 CoT (CoT-SR) 를 활용합니다.
  3. 공간적 배제 과정 (Spatial Process of Elimination, SPoE): 인간의 의사결정에 영감을 받은 반복적 프레임워크입니다. 모델은 이미지를 영역으로 점진적으로 분할하고, 저확률 후보를 제거하며, 목표 위치가 로컬라이제이션될 때까지 검색 공간을 축소합니다.

주요 결과

• 모델 성능: 가장 강력한 베이스라인인 Gemini 3 Flash 조차도 CAcc@75 에서 15.20, Dist 에서 28.65 의 낮은 수치를 기록하여, 인간 베이스라인 (CAcc@75 66.43) 보다 현저히 뒤처집니다. 오픈소스 모델 (Qwen, InternVL, Gemma) 과 전문 공간 추론 모델은 일반적으로 더 나쁜 성능을 보이며, 이는 현재 VLM 들이 보이지 않는 것에 대한 추론에 있어 견고한 능력을欠缺하고 있음을 시사합니다.
• 프롬프팅 분석:
  • 강력한 지시: '숨겨진 (Hidden)' 프롬프트 (가시적 객체 무시) 는 잠재된 추론 능력을 시사하는 안정적인 개선을 보였습니다. 그러나 명시적인 상식 지식을 추가하는 ('Common' 프롬프트) 것은 종종 성능을 저하시켜, 언어 이해와 공간적 그라운딩 사이의 불일치를 강조했습니다.
  • 추론: CoT 와 CoT-SR 은 자동화된 구조적 추론이 부족한 더 큰 모델 (Qwen 3.5 27B/122B) 의 경우에만 성능을 향상시켰으며, 구조화된 추론을 본질적으로 생성하는 Gemini 3 Flash 와 같은 모델은 개선이 없거나 오히려 약간 저하되었습니다.
  • SPoE: SPoE 전략은 반복이 증가함에 따라 Dist 지표를 효과적으로 감소시켰는데, 이는 모델이 보이지 않는 위치를 직접 추론하는 것보다 저확률 가시 영역을 배제하는 데 더 능숙함을 보여줍니다. 그러나 모델은 최적의 중단점을 결정하는 데 어려움을 겪어, 검색 공간이 충분히 제한된 후에도 영역을 계속 제거하는 경향이 있었습니다.
• 정성적 발견: 모델들은 종종 유사한 시각적 외관이나 의미적 연관성을 가진 객체를 잘못 식별했습니다 (예: 소켓을 전원 스위치로 혼동). 또한 일반적인 작업 영역을 식별하더라도 가려진 문 손잡이의 위치와 같은 세밀한 세부 사항을 추론하지 못했습니다.

의의 및 주장
이 논문은 SceneFunRI 가 현재 VLM 들의 근본적인 한계를 드러낸다고 주장합니다. 즉, 완전한 시각적 불확실성 하에서 작업 의도, 상식적 사전 지식, 그리고 공간적 그라운딩을 통합하여 추론하는 능력의 부재입니다.

• 벤치마크 기여: 이는 공간 추론 연구를 가시적이고 명시적인 관계에서 보이지 않고 암시적인 추론으로 확장하여, 체화 에이전트와 실제 세계 의사결정을 위한 필수적인 테스트베드를 제공합니다.
• 방법론적 통찰: 저자들은 숨겨진 영역을 직접 추론하는 것은 상당한 도전이라고 주장합니다. 대신, 이 논문은 현재 모델에게 더 실행 가능한 접근법은 SPoE 가 입증했듯이 관찰 가능한 영역을 분석하여 저확률 후보를 배제하는 것이지, 보이지 않는 위치를 직접 생성하려는 시도가 아니라고 제안합니다.
• 미래 방향: 이 결과는 불확실성 인식 검색과 의미적 의도 및 공간적 그라운딩 간의 더 긴밀한 결합을 통합할 수 있는 모델 개발을 고무합니다. 현재 모델은 보이지 않는 영역에 대한 추론에서 여전히 불안정하기 때문입니다.