기술 요약: PInVerify: 능동적 인스턴스 검증을 위한 오프라인 체화된 벤치마크 (An Offline Embodied Benchmark for Active Instance Verification)

1. 문제 정의

현재의 체화된 AI(Embodied AI) 벤치마크(예: ObjectNav, OVON, PIN)는 주로 에이전트가 타겟 객체 카테고리나 언어로 지정된 인스턴스의 근처로 이동하는 능력을 평가합니다. 그러나 목표 근처에 도달하는 것이 에이전트가 올바른 인스턴스를 식별했음을 보장하지는 않습니다. 미세한 속성 차이(예: "흰색 꽃무늬" 머그컵 vs "흰색 줄무늬" 머그컵)는 이를 해결하기 위해 근거리에서의 다각도 검사가 필요할 때가 많습니다. 기존의 내비게이션 지표는 목표 근처에 도착하는 것을 성공으로 간주하며, 이는 에이전트가 올바른 위치에 도달했음에도 불구하고 잘못된 물체를 전달하는 치명적인 실패 모드를 은폐합니다.

본 논문은 기하학적 성공(목표 근처 도착)과 의미론적 성공(미세한 설명에 따른 인스턴스 정체성 검증) 사이의 간극을 지적합니다. 최근 연구 중 일부가 내비게이션 체인에 "타겟 검증" 단계를 삽입하기도 하지만, 검증은 여전히 독립적인 의사 결정 문제라기보다 내비게이션에 내재된 단계로 남아 있습니다. 저자들은 **능동적 인스턴스 검증(Active Instance Verification, AIV)**을 제안합니다. 이는 에이전트가 후보 객체와 미세한 자연어 설명을 제공받았을 때, 해당 객체가 설명과 일치하는지 결정하기 위해 일련의 관점(viewpoints)을 능동적으로 선택하는 작업입니다.

2. 방법론 및 벤치마크 설계

2.1. AIV 작업 정식화

AIV는 유한 시계(finite-horizon) 의사 결정 과정으로 정식화됩니다. 에피소드는 튜플 $(Q, o_{query}, o_{target}, G)$로 정의됩니다:

• $Q$: 쿼리 인스턴스를 특징짓는 자연어 설명들의 집합.
• $o_{target}$: 장면 내에 물리적으로 배치된 후보 객체.
• $G$: $o_{target}$ 주변의 내비게이션 그래프로, 사전 캡처된 관점(노드)과 이동 가능한 전이(에지)로 구성됩니다.

상태 및 행동:

• 상태 ($S_t$): 현재 관점($p_t$), 관측값(RGB 이미지 + 가시성 경고), 그리고 검증 결정에 대한 내부 신념($B_t$)을 포함합니다.
• 행동 공간 ($A$): $K=6$개의 방위각 섹터 중 하나로 이동하기 위한 내비게이션 행동($NAV_{d_k}$)과 최종 검증 결정($YES, NO$)을 포함합니다.
• 시계 (Horizon): $T=6$ 단계 (각 섹터는 최대 한 번씩 방문).

쌍(Pair) 유형:
보정 편향(calibration bias)과 인식 능력(recognition ability)을 구분하기 위해, 평가 세트는 세 가지 쌍 유형에 대해 균형 있게 구성되었습니다:

1. Positive (긍정): $o_{query} = o_{target}$ (동일 인스턴스).
2. Neg Same (부정-동일 카테고리): 동일 카테고리 내에서 미세한 속성이 다른 경우 (예: 색상이 다른 두 개의 배낭).
3. Neg Diff (부정-다른 카테고리): 서로 다른 카테고리 (예: 배낭 쿼리 vs 모자 타겟).

2.2. PInVerify 벤치마크

PInVerify는 PInNED 데이터셋(HM3D 장면 및 Objaverse-XL 객체 기반)을 구축한 오프라인 체화된 벤치마크입니다. 주요 혁신 요소는 다음과 같습니다:

• 데이터 규모: 18개 객체 카테고리(예: 배낭, 머그컵, 열쇠)에 걸친 3,000개의 평가 에피소드.
• 다중 관점 토폴로지: 2개의 관측 링(Far: 1.4–1.7m; Near: 0.9–1.2m)을 가진 6-섹터 내비게이션 그래프.
• 프로토콜 수준의 주석:
  • Trap Views (함정 관점): 기하학적으로는 이동 가능하지만, 타겟의 투영 마스크가 가시성 임계값 미만으로 떨어져 정보가 없는 섹터 (폐쇄 또는 각도로 인해 유효하지 않음).
  • Unreachable Sectors (도달 불가능한 섹터): 벽이나 가구에 의해 막혀 내비게이션이 실패하는 섹터.
  • 층화된 쌍 (Stratified Pairs): 긍정, 부정-동일, 부정-다른 쌍을 명시적으로 분리하여 실패 모드를 분석.
• 오프라인 특성: 사전 캡처된 관측값은 렌더링의 확률성을 제거하고, 로코모션 제어를 검증 결정으로부터 분리하여 탐지와 추론에 대한 통제된 절제 실험(ablation)을 가능하게 합니다.

2.3. 참조 에이전트

저자들은 PInVerify의 난이도를 매핑하기 위해 두 가지 베이스라인 에이전트를 제공합니다:

1. 훈련이 필요 없는 모듈형 파이프라인 (Training-Free Modular Pipeline):
   • 속성 분해 (Attribute Decomposition): MLLM을 사용하여 설명을 구조화된 속성으로 분해합니다.
   • 관점별 검증 (Per-View Verification): 객체를 국지화(Grounding DINO 또는 GT 박스 활용)하고 속성을 하나씩 검증합니다.
   • 신뢰도 가중치 트래커 (Confidence-Weighted Tracker): 증거를 여러 관점에 걸쳐 축적하며, 가시성이 낮은(trap) 관측값의 가중치를 낮추어 잘못된 거부를 방지합니다.
   • 차선 관점 선택 (Next-Best-View, NBV): Random, Angular Farthest-Point Sampling (FPS), LLM 가이드 전략을 비교합니다.
2. LoRA 미세 조정된 엔드투엔드 에이전트 (LoRA-Fine-Tuned End-to-End Agent):
   • Qwen3-VL-4B를 기반으로 하며, LoRA를 통해 미세 조정되었습니다.
   • Chain-of-Thought 추적을 통한 지도 미세 조정(SFT) 후, 정렬 전략(DPO, GRPO, GSPO)을 통해 학습되었습니다.
   • 단일 순전파(forward pass)를 통해 검증과 내비게이션을 수행합니다.

3. 주요 결과

3.1. 베이스라인 성능

• MLLM vs. 임베딩: 가장 우수한 MLLM 기반 베이스라인(속성 분해 및 다중 관점 트래킹을 사용하는 Qwen3-VL-4B)은 **85.0%**의 전체 정확도를 달 기록하여, 최상의 임베딩 베이스라인(SigLIP2, 80.1%)보다 4.9 퍼센트 포인트(pp) 높았습니다. 이 격차는 긍정 쌍(positive pairs)에서 훨씬 더 크게 나타났습니다 (59.6% vs. 42.9%).
• 탐지 병목 현상 (Detection Bottleneck): Grounding DINO 대신 GT 바운딩 박스를 사용한 절제 실험 결과, 전체 정확도가 +3.1 pp 향상되었고 (긍정 쌍에서는 +10.6 pp), 이는 탐지 품질이 특히 작은 객체(예: 열쇠, 시계)에서 주요 병목임을 보여줍니다.
• NBV 전략: 테스트된 범위 내에서, 서로 다른 NBV 전략(Random, FPS, LLM-guided)은 95% 신뢰 구간($\pm 1.3$ pp) 내의 결과를 보였습니다. 훈련이 필요 없는 설정에서는 무작위 샘플링 대비 능동적 선택을 통한 신뢰할 만한 이득을 보이는 전략이 없었습니다.

3.2. 학습된 에이전트 성능

• SFT의 영향: LoRA 미세 조정된 에이전트(SFT)는 전체 정확도를 70.6%(기본)에서 **84.8%**로 개선했으며, 특히 긍정 쌍의 정확도에서 엄청난 도약(0.146 $\to$ 0.759)을 보였습니다.
• 정렬 (Alignment): SFT 이후 GSPO(Group Sequence Policy Optimization)를 통한 정렬은 성능을 85.6%(GT 박스 사용 시 88.9%)까지 더욱 향상시켰습니다.
• 트레이드오프 (Trade-offs): 학습된 에이전트는 보정(calibration)의 변화를 보입니다. 즉, 긍정 확인 능력은 크게 향상되었으나, 훈련이 필요 없는 파이프라인에 비해 "neg same" 거부 정확도는 감소했습니다. 또한, 평균 결정 단계(ASD)를 2.34에서 1.62로 줄이고 내비게이션 실패율을 28%에서 9%로 낮추는 등 효율성이 높아졌습니다.

4. 의의 및 주장

본 논문은 PInVerify를 기존 내비게이션 벤치마크를 대체하기보다는 보완하는 통제된 테스트베드로 포지셔닝합니다. 그 의의는 다음과 같습니다:

1. 의미론적 검증의 격리: 로코모션을 추상화함으로써, 폐쇄 및 관점 불확실성 하에서 미세한 인스턴스 정체성을 검증하는 구체적인 과제를 연구할 수 있게 합니다.
2. 보정 문제의 규명: 결과는 온디바이스 MLLM($\le$ 8B 파라미터)의 경우, 원시 능력만큼이나 보정(일치 확인과 불일치 거부 사이의 균형)이 매우 중요하다는 점을 강조합니다. 최적의 쿼리 전략은 모델의 특정 보정 프로필에 따라 달라집니다.
3. 병목 현상 식별: 본 벤치마크는 탐지 품질과 "trap view" 처리를 주요 실패 모드로 명시적으로 드러내며, 향하여 오픈 보캐블러리 탐지와 불확실성을 인지하는 관점 선택을 해결해야 함을 시사합니다.
4. 오프라인 재현성: 사전 캡처된 데이터를 사용함으로써 렌더링 변동이나 제어의 확률성에 의해 결과가 혼동되지 않도록 보장하며, 검증 알고리즘의 공정한 비교를 용이하게 합니다.

저자들은 현재의 MLLM이 능동적 검증을 수행할 수는 있지만, 모든 시나리오에서 "최선의" 관점을 안정적으로 선택할 만큼 견고하지는 않으며, 탐지 품질이 체화된 AI의 미세한 의미론적 검증에 있어 여전히 제한 요소로 남아 있다고 결론짓습니다.