Show or Tell? Effectively prompting Vision-Language Models for semantic segmentation

기술 요약: 보여줄 것인가, 말할 것인가? 시맨틱 세그멘테이션을 위한 효과적인 시각-언어 모델 프롬프팅

문제 정의

본 논문은 특정 작업에 맞춘 미세 조정(fine-tuning) 없이, 대규모 시각-언어 모델(VLM)을 시맨틱 세그멘테이션을 위해 효과적으로 프롬프팅하는 과제를 다룹니다. VLM은 교차 모달 추론을 위한 강력한 백본으로서 입지를 다져왔으나, 세밀한 예측(dense prediction) 작업인 세그멘테이션을 위한 "파운데이션 모델"로서의 능력은 아직 입증되지 않았습니다. 저자들은 텍스트 프롬프트(TP)와 시각적 프롬프트(VP) 중 무엇이 이미지 내 객체를 묘사하는 데 더 효율적인지, 특히 분포 외(out-of-distribution, OOD) 시나리오에서 조사합니다.

전통적인 퓨샷 학습(모델 미세 조정이 필요한 방식)과 제안된 퓨샷 프롬프트 시맨틱 세그멘테이션(Few-Shot Prompted Semantic Segmentation, FPSS) 프로토콜 사이에는 중요한 차이가 있습니다. FPSS에서 모델은 동결(frozen)된 상태를 유지하며, 사용자는 새로운 이미지를 안내하기 위해 소수의 주석이 달린 예시(시각적 프롬프트) 또는 텍스트 설명(텍스트 프롬프트)을 제공합니다. 본 논문은 텍스트 프롬프트는 흔히 일반적(예: "모든 고양이를 세그먼트하라")인 반면, 시각적 프롬프트는 일반적으로 이미지 특이적(image-specific)이라고 상정합니다. 그러나 저자들은 고정된 주석 예시 세트가 임의의 거대한 테스트 세트를 위한 프롬프트 역할을 수행하여, 일정한 오버헤드만을 발생시키며 확장 가능한 시각적 프롬프팅 접근 방식을 옹호합니다.

방법론

평가 프레임워크

저자들은 General, Earth, Medical, Engineering, Agriculture의 5개 도메인에 걸친 22개의 다양한 세그멘테이션 데이터셋으로 구성된 벤치마크인 MESS 데이터셋 컬렉션에서 다양한 모델을 평가합니다. 평가는 모델의 내재된 일반화 능력을 평가하기 위해 엄격하게 트레이닝 프리(training-free) 프로토콜을 준수하며, 사전 학습 데이터와 중복될 수 있는 COCO나 Pascal VOC와 같은 표준 벤치마크로부터의 정보 누출을 방지합니다.

연구는 세 가지 범주의 모델을 비교합니다:

1. 텍스트 프롬프트 모델: 오픈 보캐블러리 세그멘테이션 모델(CAT-Seg, NACLIP) 및 VLM(Florence-2, PALI-Gemma, LISA).
2. 시각적 프롬프트 모델: 시각적 단서로 학습된 모델(SEEM, DINOv) 및 매칭 알고리즘을 활용한 트레이닝 프리 프레임워크(Matcher, SoftMatcher, SoftMatcher+).
3. 지도 학습 베이스라인: 성능의 상한선 역할을 하는, 해당 도메인 내에서 학습된 도메인 특화 모델.

핵심 분석: 오라클 앙상블(Oracle Ensembles)

두 모달리티의 상호 보완적 성격을 이해하기 위해, 저자들은 "오라클" 앙상블을 구축합니다:

• Oracle Ensemble: 데이터셋별로 가장 성능이 좋은 방법(TP 또는 VP)을 선택합니다.
• Oracle Ensemble+: 이미지별로 가장 성능이 좋은 방법을 선택합니다.

이 분석은 텍스트와 시각적 프롬프트가 매우 상호 보완적임을 드러냅니다. 즉, 한 모달리티가 해결하지 못하는 사례를 다른 모달리티가 해결할 수 있습니다. Oracle Ensemble+는 최고의 순수 텍스트 프롬프트 베이스라인보다 11% 향상된 성능을 보여주며, 두 모달리티를 결합할 가능성을 강조합니다.

제안된 프레임워크: PromptMatcher

TP와 VP의 상호 보완적인 강점에 착안하여, 저자들은 두 모달리티를 통합하는 트레이닝 프리 프레임워크인 PromptMatcher를 제안합니다. 이 프레임워크는 두 단계로 작동합니다:

1. 마스크 생성:
   • 텍러 브랜치(Text Branch): LISA(LLaVA, CLIP, SAM을 통합한 VLM)를 사용하여 텍스트 프롬프트를 처리하고, 특화된 <SEG> 토큰을 통해 세그멘테이션 마스크를 생성합니다.
   • 시각 브랜치(Visual Branch): SoftMatcher+(AM-RADIO 특징을 활용한 개선된 SoftMatcher)를 사용하여 시각적 프롬프트(마스크가 포함된 참조 이미지)를 처리하고, SAM을 위한 포인트 프롬프트를 생성하여 마스크 후보를 만듭니다.
2. 검증 및 융합:
   • SoftMatcher+의 리젝션 파이프라인에 기반한 검증 모듈이 두 브랜치에 대한 "비평가(critic)" 역할을 수행합니다. 이는 참조 이미지에 대한 마스크 일관성을 테스트합니다.
   • 일관성 검사(예: 텍스트 브랜치의 환각 또는 시각 브랜치의 노이즈)를 통과하지 못한 마스크는 폐기됩니다.
   • 검증된 나머지 마스크들은 이진 합집합(binary union)을 통해 최종 세그멘테이션 결과물로 결합됩니다.

주요 결과

성능 격차

연구 결과, 가장 진보된 VLM조차도 특정 작업을 위해 학습된 전문 모델에 비해 크게 뒤처지는 것으로 나타났습니다. MESS 데이터셋에서 VLM은 평균적으로 지도 학습 베이스라인보다 약 **30% 낮은 IoU(Intersection-over-Union)**를 기록했습니다.

모달리티 비교

• 텍스트 프롬프트: 평균적으로는 일반적으로 더 나은 성능을 보이지만, 모호한 설명(예: "상의")이나 매우 구체적이고 흔하지 않은 용어(예: "Worm-eating warbler")에서 어려움을 겪습니다.
• 시각적 프롬프트: 평균 성능은 텍스트 프롬프트보다 일반적으로 낮지만, 기술적 도메인(Engineering, Medical) 및 텍스트 설명이 모호한 클래스에서 탁월한 성능을 보입니다. 예를 들어, 기술 도메인에서는 SoftMatcher+가 LISA보다 우수한 성능을 보입니다.
• 상호 보완성: IoU 차이가 가장 큰 상위 10개 클래스 분석에 따르면, 언어의 모호성 때문에 시각적 프롬프트가 특정 클래스에서 텍스트 프롬프트보다 최대 80%까지 더 높은 성능을 낼 수 있습니다.

PromptMatcher 성능

PromptMatcher는 퓨샷 프롬프트 설정에서 최첨단(SOTA) 결과를 달성했습니다:

• 최고의 텍스트 프롬프트 VLM(LISA)보다 2.5% 우수합니다.
• 최고의 시각적 프롬프트 VLM보다 3.5% 우수합니다.
• 완전히 지도 학습된 도메인 특화 모델과의 격차를 완전히 좁히지는 못했지만, 단일 모달리티 접근 방식에 비해 성능 격차를 크게 줄였습니다.

의의 및 주장

본 논문은 현재의 VLM이 전문 모델과 대등한 성능으로 여러 작업을 제로샷 방식으로 해결할 수 있는 진정한 "파운데이션 모델"이 아직 아니라고 주장합니다. 저자들은 다음을 강조합니다:

1. 모달리티 상호 보완성: 텍스트와 시각적 프롬프트는 서로 대체 가능한 것이 아니라, 서로 다른 실패 모드를 해결합니다. 가장 효과적인 모달리티를 예측하지 못하면 최적의 성능을 낼 수 없습니다.
2. 언어의 모호성: 텍스트 프롬프팅의 주요 한계는 자연어의 내재적인 모호성과 특수성이며, 시각적 프롬프트는 이를 효과적으로 우회할 수 있습니다.
3. 트레이닝 프리의 생존 가능성: 단순한 검증 메커니즘을 통해 두 모달리티를 효과적으로 결합함으로써, 미세 조정 없이도 퓨샷 세그멘테이션에서 최첨단 결과를 얻는 것이 가능합니다.

이 연구는 시각을 위한 미래의 파운데이션 모델이 단일 모달리티 지침의 한계를 극복하기 위해 텍스트와 시각적 프롬프팅 메커니즘을 네이티브하게 지원하고 통합해야 함을 시사합니다.