DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection

이 논문은 멀티모달 대형 언어 모델 (MLLM) 을 활용한 소량 학습 (Few-Shot) 객체 탐지의 한계를 극복하기 위해 제안된 검출 프롬프트 최적화 (Detection Prompt Optimization, DetPO) 프레임워크에 대한 연구입니다.

1. 문제 정의 (Problem)

• MLLM 의 일반화 한계: Qwen-VL, Gemini 등 최신 MLLM 은 제로샷 (Zero-shot) 객체 탐지 벤치마크 (OdinW-13, RefCOCO 등) 에서 우수한 성능을 보이지만, 사전 학습 데이터에 없는 분포 외 (Out-of-Distribution, OOD) 클래스, 작업, 이미징 모드 (예: X-ray, 열화상, 항공 사진) 에 대해서는 성능이 급격히 저하됩니다.
• In-Context Learning (ICL) 의 비효율성: 일반적인 ICL 전략인 '소량의 시각적 예시 (Few-shot visual examples)'를 프롬프트에 직접 포함시키는 방식은 오히려 탐지 정확도를 낮추는 경우가 많습니다. 이는 MLLM 이 훈련된 후 고정된 프롬프트 구조 때문에 추가적인 멀티모달 컨텍스트를 효과적으로 활용하지 못하기 때문입니다.
• 실제 적용의 제약: 최첨단 MLLM 은 대부분 API 를 통해만 접근 가능 (Black-box) 하며, 오픈 가중치 모델조차 소비자용 하드웨어에서 파인튜닝 (Fine-tuning) 하기에 비용이 너무 비쌉니다. 따라서 그레이디언트 (Gradient) 가 없는 (Gradient-free) 방식으로 모델을 적응시킬 수 있는 방법이 필요합니다.

2. 제안 방법론: DetPO (Methodology)

DetPO 는 시각적 예시를 모델에 직접 입력하는 대신, 텍스트 전용 프롬프트 (Text-only prompts) 를 최적화하여 탐지 성능을 극대화하는 블랙박스 최적화 접근법입니다.

핵심 구성 요소

1. 대조적 프롬프트 정제 (Contrastive Prompt Refinement):

   • 기존 탐지기는 양의 예시 (True Positive) 만 학습하지만, DetPO 는 **음의 예시 (False Positive) 와 누락된 예시 (False Negative)**를 활용합니다.
   • 과정:
     1. 초기 클래스 설명을 생성합니다.
     2. 훈련 데이터셋에서 모델을 추론하여 오검출 (FP) 과 미검출 (FN) 을 식별합니다.
     3. 가장 심각한 오검출 (높은 신뢰도의 잘못된 박스) 과 미검출 (낮은 IoU 의 실제 객체) 을 샘플링합니다.
     4. MLLM 에게 "이 잘못된 예시는 왜 해당 클래스가 아닌지 (FP)"와 "이 누락된 예시는 왜 해당 클래스인지 (FN)"를 설명하도록 요청하여 프롬프트를 정제합니다.
     5. 이 과정을 수렴할 때까지 반복하여 클래스 간의 혼란을 줄이고 판별력을 높입니다.

2. 신뢰도 점수 추정 (Confidence Score Estimation):

   • MLLM 은 기본적으로 박스별 신뢰도 점수를 제공하지 않거나 보정이 잘 되지 않습니다.
   • VQA Score 활용: 탐지된 박스를 이미지 위에 겹쳐서 "이 박스 안에 {클래스} 인스턴스가 있는가?"라는 이진 질문을 MLLM 에게 던집니다. 'Yes' 토큰의 확률을 정규화하여 최종 신뢰도 점수로 사용합니다. 이는 오검출 (False Positive) 을 효과적으로 억제합니다.

3. 블랙박스 최적화:

   • 모델의 내부 가중치를 수정하지 않고, 오직 프롬프트 텍스트만 반복적으로 수정하여 훈련 세트의 성능을 최대화합니다.

3. 주요 기여 (Key Contributions)

1. MLLM 의 ICL 한계 규명: 멀티모달 ICL(시각적 예시 포함) 이 객체 탐지에서는 오히려 성능을 저하시킬 수 있음을 실험적으로 증명했습니다.
2. DetPO 프레임워크 제안: 그레이디언트 없이 텍스트 프롬프트만 최적화하여 MLLM 의 개념 정렬 (Concept Alignment) 을 개선하는 새로운 방법을 제시했습니다.
3. 성능 향상 및 보편성: 다양한 MLLM(Qwen2.5-VL, Qwen3-VL, Gemini 3 Pro 등) 에서 일관된 성능 향상을 보였으며, 기존 블랙박스 프롬프트 최적화 기법 (GEPA, MIPROv2) 을 능가했습니다.
4. 신뢰도 보정 메커니즘: VQA Score 를 활용한 사후 처리가 탐지 정확도 (mAP) 를 크게 향상시킨다는 것을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크: Roboflow20-VL (20 개 도메인 포함) 과 LVIS Rare 50 에서 평가되었습니다.
• 성능 비교:
  • 전문가 모델 vs 일반화 모델: 기존 전문 객체 탐지기 (GroundingDINO, LLMDet 등) 의 최고 성능은 약 17.2 mAP 였으나, DetPO 를 적용한 일반화 MLLM(Gemini 3 Pro) 은 26.4 mAP를 기록하여 9.2%p 향상되었습니다.
  • 기존 프롬프트 최적화 대비: DetPO 는 GEPA 나 MIPROv2 와 같은 기존 기법들보다 Roboflow20-VL 에서 최대 9.7%p 더 높은 성능을 달성했습니다.
  • 모델 규모 무관성: 7B 에서 72B, 30B 모델에 이르기까지 모든 규모의 Qwen 모델에서 DetPO 적용 시 일관된 성능 향상 (예: Qwen2.5-VL 7B 기준 6.2 → 9.1 mAP) 을 보였습니다.
• 오류 분석: DetPO 는 클래스 혼동 (Class Confusion) 을 크게 줄였으며, VQA Score 는 오검출을 억제하는 대신 미검출을 약간 증가시키는 트레이드오프를 보였으나 전체적인 mAP 는 향상되었습니다.

5. 의의 및 결론 (Significance)

• 실용적 대안: 폐쇄형 API 모델이나 파인튜닝 비용이 과도한 최첨단 오픈 모델의 경우, 파인튜닝 없이 프롬프트 최적화만으로 전문 모델 수준의 성능을 달성할 수 있음을 보여줍니다.
• 새로운 패러다임: 객체 탐지 분야에서 "시각적 예시"를 직접 입력하는 전통적인 ICL 방식 대신, 시각적 피드백을 통해 텍스트 프롬프트를 진화시키는 방식이 더 효과적임을 입증했습니다.
• 미래 전망: 추론 속도가 빨라지고 있는 추론 엔진 (vLLM 등) 과 결합될 경우, 실시간 Few-Shot 적응이 가능한 강력한 시스템으로 발전할 잠재력을 가집니다.

요약하자면, DetPO 는 MLLM 이 새로운 객체를 학습할 때 시각적 예시를 직접 보여주는 것보다, 모델의 실수를 분석하여 텍스트 설명을 정교하게 다듬는 것이 훨씬 효과적임을 증명하고, 이를 통해 블랙박스 MLLM 을 다양한 도메인의 객체 탐지 작업에 효과적으로 적용할 수 있는 길을 열었습니다.