기술 요약: DETR-ViP

문제 제기

시각적 프롬팅은 개방형 어휘 객체 감지를 위한 유연하고 상호작용적인 접근 방식을 제공하며, 종종 직접적인 시각적 도메인 호환성 덕분에 희귀 카테고리 인식에서 텍스트 프롬팅보다 우수한 성능을 보입니다. 그러나 전반적인 성능은 텍스트 기반 프롬팅 대응 모델에 비해 여전히 최적화되지 못합니다. 기존 연구는 시각적 프롬팅을 텍스트 프롬팅 감지기 훈련의 부산물로 간주하는 경향이 강해, 이를 주요 목표로 최적화하지 못했습니다.

저자들은 이러한 최적화되지 않은 성능의 근본 원인을 시각적 프롬팅 표현의 전역적 변별력 부족으로 파악했습니다. Grounding DINO 를 기반으로 구축된 베이스라인 모델 (VIS-GDINO) 에 대한 분석을 통해 다음과 같은 사실을 관찰했습니다:

1. 동일한 카테고리의 서로 다른 인스턴스에서 생성된 시각적 프롬팅은 높은 분산을 보입니다.
2. 서로 다른 카테고리의 시각적 프롬팅은 전역 임베딩 공간에서 강하게 얽혀 있어 명확한 의미적 경계가 부재합니다.
3. 표준 훈련 전략 (예: "현재 이미지 프롬팅, 현재 이미지 감지") 은 부정적 예시의 다양성을 제한하여 모델이 전역적으로 최적의 프롬팅 분포를 학습하는 것을 방해합니다.

방법론

본 논문은 시각적 프롬팅의 의미적 일관성과 변별력을 강화하도록 설계된 DETR-ViP(Robust Discriminative Visual Prompts 를 갖춘 Detection Transformer) 를 제안합니다. 이 방법론은 Grounding DINO 를 기반으로 하며 세 가지 핵심 구성 요소를 도입합니다:

1. 전역 프롬팅 통합

표준 훈련 배치에서의 제한된 카테고리 다양성 문제를 해결하기 위해, DETR-ViP 는 배치 내 모든 샘플로부터 시각적 프롬팅을 집계합니다.

• 메커니즘: 프롬팅을 카테고리별로 그룹화하고 각 카테고리에 대한 클래스 프로토타입 (평균 벡터) 을 계산합니다. 이러한 프로토타입은 연결되어 배치 내 모든 이미지에서 공유되며 분류기 가중치로 사용됩니다.
• 효과: 이 전략은 각 카테고리별 부정적 예시 수를 효과적으로 증가시키고, 암묵적으로 이미지 간 프롬팅을 시뮬레이션합니다. 훈련 동안 더 넓은 분포의 시각적 인스턴스에 모델을 노출시킴으로써 클래스 내 군집화를 촉진하고 클래스 간 경계를 명확하게 합니다.

2. 시각 - 텍스트 프롬팅 관계 증류

언어 모델에 내재된 강력한 의미적 사전 지식을 활용하면서도 직접 정렬을 방해하는 모달리티 간극을 피하기 위해, 저자들은 관계 증류 손실 (relation distillation loss) 을 도입했습니다.

• 메커니즘: 개별 이미지 - 텍스트 쌍 간의 직접 정렬 (불완전할 수 있음) 을 강제하는 대신, 이 방법은 텍스트 프롬팅의 관계 구조를 시각적 프롬팅으로 전이합니다. 텍스트 프롬팅의 유사성 행렬과 시각적 프롬팅의 유사성 행렬 간의 교차 엔트로피를 최소화합니다.
• 효과: 이는 시각적 프롬팅이 텍스트 임베딩 공간의 의미적 조직을 계승하도록 안내합니다 (예: "트럭"과 "차"가 "트럭"과 "의자"보다 더 가깝도록 함). 이를 통해 클래스 내 분산을 줄이고 클래스 간 분리를 강화합니다.

3. 선택적 융합 전략

저자들은 모든 프롬팅 임베딩을 이미지 특징과 단순하게 융합하는 것은 프롬팅 수의 변동 시 (예: 단일 객체 감지 대 모든 80 개 COCO 카테고리 감지) 특히 불안정성을 초래한다고 파악했습니다.

• 메커니즘: 융합 레이어에 게이트 메커니즘을 도입했습니다. 보조 브랜치가 목표 이미지 내 각 카테고리의 존재 여부를 추정합니다. 부재하는 카테고리에 해당하는 프롬팅은 억제 (게이트 아웃) 되고, 관련 프롬팅만 융합됩니다.
• 효과: 이는 사용자가 지정하는 프롬팅 수에 관계없이 안정적이고 강력한 감지를 보장하며, 고프롬팅 시나리오에 과적합된 모델에서 관찰되는 성능 붕괴를 방지합니다.

주요 기여

• 시각적 프롬팅 한계 분석: 본 논문은 시각적 프롬팅의 낮은 성능이 프롬팅 임베딩 공간의 전역적 변별력과 의미적 일관성 부족에서 비롯됨을 체계적으로 분석하여 밝혔습니다.
• DETR-ViP 프레임워크: 전역 프롬팅 통합, 관계 증류, 선택적 융합을 통합하여 시각적 프롬팅 표현을 최적화하는 강력한 감지 프레임워크를 제안했습니다.
• 새로운 지표 (IISR): 클래스 내 유사성과 클래스 간 분리성을 평가하여 시각적 프롬팅의 품질을 정량적으로 측정하는 **클래스 내 - 간 유사성 비율 (Intra-Inter Similarity Ratio, IISR)**을 도입했습니다.
• 종합 평가: DETR-ViP 가 T-Rex2 및 YOLOE 와 같은 최신 시각적 프롬팅 방법들을 여러 벤치마크에서 크게 능가함을 보여주는 광범위한 실험을 수행했습니다.

실험 결과

저자들은 제로샷 설정 하에서 COCO, LVIS, ODinW, Roboflow100에서 DETR-ViP 를 평가했습니다.

• COCO (Visual-G 프로토콜): DETR-ViP-T(Swin-Tiny 백본) 는 43.2 mAP를 달성하여 T-Rex2-T(38.8 mAP) 보다 +4.4 mAP만큼 우위를 보였습니다. DETR-ViP-L(Swin-Large) 은 50.2 mAP에 도달하여 T-Rex2-L(46.5 mAP) 보다 +3.7 mAP만큼 더 높은 성능을 기록했습니다.
• LVIS: DETR-ViP-T 는 41.1 mAP를 달성하여 T-Rex2-T 보다 +3.7 mAP를 초과했습니다. 특히 희귀 및 일반 카테고리에서 유의미한 향상을 보였는데, T-Rex2 대비 APr 에서 +5.2 AP, APc 에서 +9.4 AP의 개선을 기록했습니다.
• 도메인 이동 (ODinW 및 Roboflow100): DETR-ViP-T 는 ODinW 에서 T-Rex2-L 보다 3.4 mAP를, Roboflow100 에서 5.1 mAP를 초과하여 보이지 않는 도메인에 대한 강력한 일반화 능력을 입증했습니다.
• 상호작용 감지 (Visual-I): Visual-I 프로토콜 하에서 DETR-ViP-T 는 COCO 에서 65.4 mAP를 달성하여 T-Rex2-Swin-T(56.6 mAP) 를 크게 능가했습니다.

애블레이션 연구는 각 구성 요소 (전역 프롬팅 통합, 관계 증류, 선택적 융합) 가 성능에 점진적으로 기여함을 확인했습니다. 또한 t-SNE 시각화 및 IISR 지표는 이러한 개선이 프롬팅 임베딩 공간의 구조를 점진적으로 최적화하여 카테고리 간 중첩을 줄이고 클래스 내 군집을 강화함을 검증했습니다.

의의

본 논문은 DETR-ViP 가 시각적 프롬팅 기반 감지의 베이스라인을 크게 advancement 시켰다고 주장합니다. 시각적 프롬팅의 의미적 비일관성이라는 근본적인 문제를 해결함으로써, 이 연구는 시각적 프롬팅이 특히 희귀 카테고리 및 오픈 월드 시나리오에서 텍스트 프롬팅 방법과 동등하거나 더 높은 성능 수준을 달성할 수 있음을 입증했습니다. 제안된 프레임워크는 사용자 제공 프롬팅 수에 관계없이 안정적인 성능을 가능하게 하는 상호작용 객체 감지를 위한 강력한 솔루션을 제공하며, 교차 모달 정렬에만 의존하지 않고 개방형 어휘 작업에서 시각적 표현을 최적화하는 새로운 방향을 제시합니다.