Personalized Object Identification and Localization via In-Context Inference with Vision-Language Models

기술 요약: 시각-언어 모델(VLM)의 인컨텍스트 추론을 통한 개인화된 객체 식별 및 로컬라이제이션

1. 문제 정의

본 논문은 IPLoc이라는 방법론에 의해 개척된 **개인화된 객체 로컬라이제이션(Personalized Object Localization, POL)**의 한계점을 다룹니다. IPLoc은 참조 이미지와 바운딩 박스 주석을 기반으로 쿼리 이미지 내의 특정 객체 인스턴스를 로컬라이제이션하기 위해 시각-언어 모델(VLM)을 성공적으로 활용하지만, 쿼리 이미지에 타겟 객체가 항상 존재한다는 결정적인 가정을 전제로 합니다.

실제 환경(예: 이미지 검색, 비디오 그라운딩)에서는 쿼리 이미지에 참조 객체가 포함되어 있지 않은 경우가 빈번합니다. 이러한 조건에서 IPLoc은 이미지를 거부하지 못하고 대신 허위 양성(false-positive) 바운딩 박스를 생성합니다. 이러한 한계는 POL의 실질적인 적용 가능성을 심각하게 제한합니다.

이를 해결하기 위해 저자들은 새로운 작업인 **개인화된 객체 식별 및 로컬라이제이션(Personalized Object Identification and Localization, POIL)**을 제안합니다. POIL은 기존 POL 프레임워크를 확장하여 모델이 다음을 수행하도록 요구합니다:

1. 쿼리 이미지에 참조된 특정 객체 인스턴스가 존재하는 경우 이를 **로컬라이제이션(Localize)**한다.
2. 참조 객체 인스턴스가 없는 경우 쿼리 이미지를 **거부(Reject)**한다(바운딩 박스를 출력하지 않음).

이 작업은 클래스 수준(클래스의 모든 객체를 탐지)에서 작동하는 표준적인 퓨샷 객체 탐지(Few-Shot Object Detection, FSOD)와 달리, 인스턴스 수준의 판별 능력과 타겟 인스턴스와 클래스 내 방해 요소(distractor)를 구분하는 능력을 요구한다는 점에서 차이가 있습니다.

2. 방법론: IPLoc-ID

저자들은 테스트 데이터에 대한 미세 조정(fine-tuning) 없이 VLM을 사용하여 POIL 작업을 해결하기 위해 설계된 인컨텍스트 알고리즘인 IPLoc-ID를 제 제안합니다. 이 방법은 VLM의 자기회귀적(autoregressive) 생성 능력을 활용하여 단일 텍스트 시퀀스 내에서 로컬라이제이션과 식별을 순차적으로 수행합니다.

주요 구성 요소:

• 순차적 생성 (Sequential Generation): 오직 바운딩 박스($\langle B \rangle$)만을 출력하는 IPLoc과 달리, IPLoc-ID는 세 부분으로 구성된 시퀀스를 생성합니다:
  1. 후보 바운딩 박스 ($\langle B \rangle$): 쿼리 이미지 내의 참조 조건부 후보 박스.
  2. 자기 제시 쿼리 ($\langle Q \rangle$): 후보 박스와 참조 데이터를 연결하는 고정된 중간 쿼리 (예: "이 모든 박스들이 동일한 객체를 가지고 있는가?").
  3. 식별 답변 ($\langle A \rangle$): 후보가 참조 인스턴스와 일치하는지 결정하는 이진 응답 ("Yes" 또는 "No").
• 통합 학습 목표 (Unified Training Objective): 모델은 전체 시퀀스($B, Q, A$)의 가능성을 최대화하는 통합 손실 함수를 사용하여 미세 조정됩니다. 이를 통해 모델은 후보 로컬라이제이션과 인스턴스 수준의 식별을 공동으로 학습할 수 있습니다.
• 부정 예시 처리 (Handling Negative Examples): 학습 과정에서 모델은 타겟이 존재하는 양성 예시와 타겟이 존재하지 않는 부정 예시에 모두 노출됩니다. 부정 예시의 경우, 모델은 여전히 가장 그럴듯한 객체를 나타내는 후보 박스를 생성하지만, 식별 단계에서 "No"를 출력하도록 학습되어 효과적으로 이미지를 거부하는 법을 배웁니다.
• 해석 (Interpretation): 사후 처리 해석기(post-processing interpreter)가 좌표와 "Yes/No" 결정을 추출합니다. 만약 답변이 "No"라면 최종 출력은 거부($\emptyset$)가 되며, 그렇지 않으면 바운딩 박스를 반환합니다.

구현 세부 사항:

• 이 방법은 VLM 백본(예: Qwen2-VL, Qwen3-VL)의 매개변수 효율적인 미세 조정을 위해 **LoRA (Low-Rank Adaptation)**를 사용합니다.
• 데이터셋은 공개 비디오 트래킹 소스(LaSOT, PDM, GOT-10K, VastTrack)로부터 참조 프레임을 샘플링하고 쌍을 이룬 양성/부정 쿼리 이미지를 생성하여 구축되었습니다.

3. 주요 기여

1. 작업 정의 (Task Formulation): 인스턴스 수준의 로컬라이제이션과 부정 쿼리 거부를 결합하여, POL과 실제 응용 간의 간극을 메우는 엄격한 작업 정의인 POIL을 도입했습니다.
2. 데이터셋 구축 (Dataset Construction): 인스턴스 수준의 판별 능력을 평가하기 위해 도전적인 클래스 내 방해 요소를 포함하도록 설계된, 양성 및 부정 쿼리 이미지를 포함하는 맞춤형 POIL 데이터셋을 제작했습니다.
3. 알고리즘 (IPLoc-ID): 자기 제시 쿼리(self-posed query) 메커니즘을 통합한 새로운 인컨텍스트 추론 프레임워크를 제안합니다. 이 설계는 로컬라이제이션 단계를 식별 단계와 연결하여, 모델이 단일 자기회귀 생성 과정 내에서 자신의 예측을 검증할 수 있게 합니다.
4. 실증적 검증 (Empirical Validation): IPLoc-ID가 원래의 IPLoc의 로컬라이제이션 정확도를 유지하면서도 부정 이미지에 대한 허위 양성을 유의미하게 억제함을 입증하는 종합적인 실험을 수행했습니다.

4. 실험 결과

저자들은 네 가지 데이터셋(LaSOT, PDM, GOT-10K, VastTrack)과 다양한 N-shot 설정에 대해 기존의 객체 탐지(OD), 퓨샷 객체 탐지(FSOD), 그리고 원본 IPLoc을 포함한 최신 베이스라인들과 IPLoc-ID를 비교 평가했습니다.

• 로컬라이제이션 성능 (mIoU): IPLoc-ID는 모든 데이터셋과 백본에 대해 IPLoc과 대등하거나 약간 더 나은 로컬라이제이션 성능을 유지합니다.
• 식별 성능 (F1-Score):
  • 로컬라이제이션 전용 방법들(IPLoc, OD, FSOD)은 균형 잡힌 데이터셋에서 항상 "양성"으로 예측할 때의 이론적 베이스라인인 0.667 근처의 F1-스코어를 지속적으로 기록하며, 이는 부정 이미지를 거부하는 데 실패했음을 나타냅 most.
  • IPLoc-ID는 훨씬 높은 F1-스코어(종종 0.90을 초과하고 특정 분할에서는 0.99에 도달)를 달성하여, 부정 쿼리 이미지를 효과적으로 거부함을 보여줍니다.
• 어블레이션 연구 (Ablation Studies):
  • 통합형 vs. 2단계 방식: 통합 학습 목표가 2단계 접근 방식(로컬라이제이션을 먼저 학습한 후 식별 학습)보다 우수한 성능을 보였으며, 2단계 방식은 로컬라이제이션 능력의 파괴적 망각(catastrophic forgetting) 문제를 겪었습니다.
  • 자기 제시 쿼리: 자기 제시 쿼리의 구체적인 문구는 성능에 미미한 영향을 미쳤으며, 이는 모델이 미세 조정 과정에서 쿼리의 구조적 역할을 학습함을 시사합니다.
  • 백본 확장성: 성능이 더 큰 모델 크기(예: Qwen3-VL-235B)에 따라 향상되어, 이 접근 방식의 확장성을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 IPLoc-ID가 실질적인 인스턴스 수준의 POIL 작업을 효과적으로 해결한다고 주장합니다. 이 문제는 다음과 같은 방법으로는 충분히 해결될 수 없습니다:

• 전통적인 OD/FSOD: 클래스 수준에서 작동하며 특정 인스턴스를 구별하지 못합니다.
• 로컬라이제이션 전용 IPLoc: 타겟이 없는 이미지를 거부하는 메커니즘이 부족하여, 실제 환경에서 높은 허위 양성률을 초래합니다.

자기 제시 쿼리와 식별 구성 요소를 도입함으로써, 저자들은 VLM이 로컬라이제이션과 함께 인스턴스 수준의 검증을 수행하도록 유도될 수 있음을 입증했습니다. 저자들은 본 연구를 타겟 객체가 존재하지 않을 수 있는 현실적인 쿼리 설정 하에서의 검색, 그라운딩, 트래킹을 포함한 미래의 개인화된 비전 작업들을 위한 기초적인 단계로 포지셔닝합니다.

인정된 한계점:

• 현재 프레임워크는 쿼리 이미지당 단일 객체 로컬라이제이션에 집중하고 있으며, 여러 타겟 객체를 동시에 처리하지는 않습니다.
• 추론은 개별 이미지에 대해 수행됩니다. 비디오 시퀀스에서의 **시간적 일관성(temporal consistency)**은 명시적으로 활용되지 않았으나, 저자들은 이를 향후 연구 방향으로 언급했습니다.