INST-IT: Boosting Instance Understanding via Explicit Visual Prompt Instruction Tuning

1. 문제 정의 (Problem)

대형 멀티모달 모델 (LMMs) 은 지시 튜닝 (Instruction Tuning) 을 통해 이미지와 비디오를 전반적으로 이해하는 능력에서 큰 발전을 이루었습니다. 그러나 사용자의 질의에 포함된 특정 인스턴스 (Instance, 예: 특정 사람, 사물) 에 대한 세밀한 이해와 정렬 (Alignment) 에서는 여전히 한계를 보입니다.

• 현황: 기존 모델은 전체적인 장면 (Holistic level) 은 잘 이해하지만, 사용자가 관심 있는 구체적인 객체의 속성, 객체 간의 관계, 그리고 비디오에서의 시공간적 변화를 정밀하게 파악하는 데 어려움을 겪습니다.
• 결함: 기존 멀티모달 데이터셋과 벤치마크는 대부분 전체 이미지에 대한 coarse-grained(거친) 설명에 치중되어 있어, 개별 인스턴스 수준의 fine-grained(세밀한) 주석이 부족합니다. 또한, 비디오에서의 인스턴스 이해는 공간적 정보뿐만 아니라 시간적 역동성 (Temporal dynamics) 도 필요로 하므로 더 큰 도전 과제입니다.

2. 방법론 (Methodology)

저자들은 LMM 의 인스턴스 이해 능력을 향상시키기 위해 Inst-IT라는 프레임워크를 제안했습니다. 이는 크게 세 가지 핵심 요소로 구성됩니다.

가. 인스턴스 중심 주석 파이프라인 (Instance-centric Annotation Pipeline)

기존의 자동화 파이프라인을 개선하여 GPT-4o 를 활용한 고품질 데이터 생성을 수행했습니다.

• 시각적 프롬프트 (Visual Prompting): GPT-4o 가 특정 객체에 집중하도록 돕기 위해 Set-of-Marks (SoM) 기법을 적용했습니다. 각 인스턴스 위에 고유한 숫자 ID 를 오버레이하여 시각적으로 강조함으로써, 모델이 할루시네이션을 줄이고 특정 객체에 대한 정확한 설명을 생성하도록 유도합니다.
• 다단계 주석 생성:
  1. 프레임 레벨: 개별 객체 설명, 전체 이미지 설명, 이전 프레임과의 시간적 차이 (Temporal differences) 를 생성.
  2. 비디오 레벨: 모든 프레임 정보를 통합한 전체 비디오 요약 생성.
  3. 질문 - 답변 (QA): 특정 인스턴스나 객체 간 상호작용에 초점을 맞춘 오픈 엔디드 (Open-ended) QA 쌍 생성.

나. Inst-IT 데이터셋 (Inst-IT Dataset)

위 파이프라인을 통해 구축된 대규모 지시 튜닝 데이터셋입니다.

• 규모: 51,000 개의 이미지와 21,000 개의 비디오로 구성.
• 내용: 207,000 개의 프레임 레벨 캡션, 135,000 개의 시간적 변화 설명, 21,000 개의 비디오 레벨 캡션, 335,000 개의 오픈 엔디드 QA 쌍 포함.
• 특징: 이미지와 비디오를 모두 포함하며, 개별 인스턴스를 기반으로 한 다단계 (Multi-level) 세밀한 주석이 제공되는 최초의 데이터셋입니다.

다. Inst-IT 벤치마크 (Inst-IT Bench)

LMM 의 인스턴스 이해 능력을 진단하기 위해 설계된 평가 벤치마크입니다.

• 구성: 이미지 338 개, 비디오 206 개에 대해 각각 3.7 개의 정제된 QA 쌍 (오픈 엔디드 및 객관식) 을 포함.
• 목적: 기존 벤치마크가 누락했던 비디오 영역의 인스턴스 이해 평가와 객관식/서술형 평가를 모두 지원하여 종합적인 성능 측정을 가능하게 함.

라. 연속 지시 튜닝 (Continuous Instruction Tuning)

• 학습 전략: Inst-IT 데이터셋을 기존 일반 지시 튜닝 데이터 (LLaVA-NeXT-DATA) 와 혼합하여 학습합니다.
• 아키텍처: 시각 프롬프트 (SoM) 가 포함된 이미지를 입력으로 사용하며, 시공간적 이해를 강화하기 위해 비디오 데이터에 대해 2x2 공간 풀링을 적용합니다.
• 전략적 조정: 이미지 이해 능력의 저하를 방지하기 위해 비전 인코더의 하위 12 레이어를 고정 (Freeze) 하고, 시각 프롬프트로 인한 분포 변화를 완화하는 연속 SFT (Supervised Fine-Tuning) 방식을 채택했습니다.

3. 주요 기여 (Key Contributions)

1. Inst-IT 데이터셋 구축: 이미지와 비디오를 모두 포함하며, 명시적인 시각적 프롬프트 (SoM) 와 개별 인스턴스 기반의 세밀한 주석을 제공하는 최초의 대규모 지시 튜닝 데이터셋을 공개했습니다.
2. Inst-IT 벤치마크 제안: 이미지와 비디오의 인스턴스 이해 능력을 진단하기 위해 인간이 검증한 새로운 벤치마크를 개발했습니다.
3. 성능 향상 방법론 제안: 인스턴스 이해를 위한 전용 데이터와 일반 데이터를 결합한 연속 지시 튜닝 방식을 제안하여, 인스턴스 이해 능력뿐만 아니라 일반적인 이미지/비디오 이해 능력까지 동시에 향상시켰습니다.

4. 실험 결과 (Results)

Inst-IT 로 향상된 모델 (LLaVA-NeXT-Inst-IT) 은 다양한 벤치마크에서 뛰어난 성능을 보였습니다.

• Inst-IT 벤치마크: 기존 최첨단 모델 (GPT-4o, Gemini-1.5 등 포함) 대비 평균 점수에서 약 20% 이상의 개선을 기록하며, 인스턴스 이해 능력의 한계를 극복함을 입증했습니다.
• 일반 벤치마크 (General Benchmarks):
  • 이미지: AI2D(4.4% 향상), ChartQA(13.5% 향상) 등 일반 이해도 벤치마크에서도 기저 모델 대비 유의미한 성능 향상을 보였습니다.
  • 비디오: Egoschema(7.8% 향상), NExT-QA(11.8% 향상) 등 비디오 이해 벤치마크에서도 일관된 개선을 보였습니다.
• 외부 벤치마크: ViP-Bench, RefCOCOg 등 다른 인스턴스 이해 벤치마크에서도 제로샷 (Zero-shot) 환경에서 우수한 일반화 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

• 핵심 통찰: 단순히 모델 크기를 키우거나 거친 데이터로 학습하는 것보다, **명시적인 시각적 프롬프트 (Explicit Visual Prompts)**와 인스턴스 중심의 세밀한 주석 데이터를 통해 학습하는 것이 멀티모달 모델의 정밀한 이해 능력을 획기적으로 향상시킵니다.
• 영향: 이 연구는 LMM 이 단순히 장면을 묘사하는 것을 넘어, 사용자가 관심 있는 구체적인 객체와 그 상호작용, 시간적 변화를 정밀하게 추론할 수 있는 능력을 갖추는 데 중요한 이정표가 되었습니다. 이는 로봇 공학, 의료 영상 분석, 보안 등 구체적인 객체 추적이 필요한 실제 응용 분야에서 모델의 활용도를 높일 것으로 기대됩니다.