INST-IT: Boosting Instance Understanding via Explicit Visual Prompt Instruction Tuning

1. Het Probleem

Grote Multimodale Modellen (LMMs) hebben aanzienlijke vooruitgang geboekt door middel van instructie-aanpassing (instruction tuning) en kunnen afbeeldingen en video's op een holistisch niveau begrijpen. Echter, ze worstelen nog steeds met instance-level begrip (het begrijpen van specifieke individuele objecten of entiteiten).

• Huidige tekortkomingen: Bestaande modellen kunnen vaak niet nauwkeurig reageren op gebruikersvragen die gericht zijn op specifieke elementen binnen een scène (bijv. "Wat is het verschil in kleding tussen de man en de vrouw in frame 3?"). Ze missen het vermogen om fijne details te onderscheiden en ruimtelijke-tijds relaties tussen specifieke objecten nauwkeurig te aligneren.
• Data-tekort: Bestaande datasets voor instructie-aanpassing bieden voornamelijk grofkorrelige (coarse-grained) beschrijvingen van de hele afbeelding of video, zonder gedetailleerde annotaties voor individuele objecten.
• Video-uitdaging: Het begrijpen van objecten in video's is complexer dan in afbeeldingen omdat het niet alleen ruimtelijke informatie vereist, maar ook het vastleggen van tijdsdynamiek (beweging, interacties over tijd).

2. Methodologie

De auteurs stellen Inst-IT voor, een oplossing die bestaat uit drie pijlers: een nieuw dataset, een nieuwe benchmark en een trainingsparadigma.

A. Inst-IT Dataset (Data Generatie)

Om het gebrek aan instance-gebaseerde data op te lossen, hebben de auteurs een geautomatiseerd pipeline ontwikkeld om gedetailleerde annotaties te genereren voor zowel afbeeldingen als video's.

• Visuele Prompts (Set-of-Marks): Om hallucinaties te voorkomen en het model (GPT-4o) te focussen op specifieke objecten, worden de invoerbeelden verrijkt met Set-of-Marks (SoM) visuele prompts. Dit houdt in dat elk object in de afbeelding/video een uniek numeriek ID (bijv. [1], [2]) krijgt dat over de frames heen consistent blijft.
• Multi-level Annotatie: De pipeline genereert verschillende soorten annotaties:
  1. Frame-level: Beschrijvingen van individuele objecten, een algehele beeldbeschrijving en tijdsdynamische verschillen tussen opeenvolgende frames.
  2. Video-level: Een samenvatting van de volledige video die de ruimtelijke-tijds dynamiek van objecten vastlegt.
  3. Open-ended Q&A: Vraag-antwoordparen die specifiek gericht zijn op objecten en hun relaties.
• Omvang: De dataset bevat 51.000 afbeeldingen en 21.000 video's, met in totaal meer dan 1,2 miljoen tekstuele annotaties (inclusief 836k instance-level beschrijvingen en 335k Q&A-paren).

B. Inst-IT Bench (Evaluatie)

De auteurs introduceren een nieuwe benchmark om het instance-begrip van LMMs te diagnosticeren.

• Opbouw: Bestaat uit 1.000 Q&A-paren voor afbeeldingen en 1.000 voor video's.
• Format: Ondersteunt zowel open-ended antwoorden als meerkeuzevragen (met harde negatieve opties gegenereerd door het model zelf).
• Focus: De vragen zijn specifiek ontworpen om het vermogen te testen om specifieke objecten te identificeren, hun eigenschappen te beschrijven en hun interacties over tijd te begrijpen.

C. Trainingsparadigma (Continuous Instruction Tuning)

In plaats van een model van nul te trainen, gebruiken ze een continue instructie-aanpassing (continuous instruction tuning).

• Architectuur: Gebaseerd op LLaVA-NeXT.
• Strategie: Het model wordt eerst getraind op algemene instructie-data (LLaVA-NeXT-DATA) en vervolgens verfijnd met de Inst-IT Dataset.
• Technische details:
  • Beelden en videoframes worden verrijkt met SoM-visuele prompts.
  • De data wordt omgezet in dialoogformaten (single-turn en multi-turn).
  • Om verlies van lage-niveau visuele features te voorkomen, worden de eerste 12 lagen van de visuele encoder bevroren tijdens de fine-tuning op de visueel geprompte data.

3. Belangrijkste Bijdragen

1. Inst-IT Dataset: De eerste instructie-aanpassingsdataset die zowel afbeeldingen als video's omvat, met expliciete instance-level visuele prompts en fijne, instance-gebaseerde annotaties.
2. Inst-IT Bench: Een menselijk geverifieerde benchmark specifiek ontworpen om instance-level begrip in zowel afbeeldingen als video's te evalueren, wat een gat in de huidige literatuur opvult.
3. Trainingsmethode: Een effectief continuous instruction-tuning recept dat instance-begrip verbetert zonder de algemene prestaties te schaden, en zelfs de algemene ruimtelijke-tijds begripscapaciteiten versterkt.

4. Resultaten

Experimentele resultaten tonen aan dat modellen versterkt met Inst-IT aanzienlijke verbeteringen laten zien:

• Op Inst-IT Bench: De modellen behalen een gemiddelde verbetering van bijna 20% ten opzichte van de baselines (zoals LLaVA-NeXT en ViP-LLaVA).
• Op andere Instance Benchmarks: Er zijn consistente verbeteringen op bestaande benchmarks zoals ViP-Bench en RefCOCOg, wat aantoont dat de kennis generaliseert en niet alleen overfit op de trainingsdata.
• Op Algemene Benchmarks (Generalization):
  • Afbeeldingen: Significant betere prestaties op AI2D (+4.4%) en ChartQA (+13.5%).
  • Video: Grote verbeteringen op Egoschema (+7.8%) en NExT-QA (+11.8%).
  • Dit bewijst dat het verbeteren van instance-begrip ook de algemene ruimtelijke en tijdsbegripscapaciteiten van het model versterkt.

5. Betekenis en Impact

Het paper benadrukt dat instance-level begrip cruciaal is voor het toepassen van LMMs in real-world scenario's, waar gebruikers vaak geïnteresseerd zijn in specifieke objecten en hun interacties, niet alleen in de algemene sfeer van een scène.

• Technische doorbraak: Het paper toont aan dat het gebruik van expliciete visuele prompts (SoM) gecombineerd met high-quality, instance-gebaseerde data een krachtige methode is om de beperkingen van huidige multimodale modellen te overwinnen.
• Toekomstperspectief: De methode biedt een blauwdruk voor het ontwikkelen van meer nauwkeurige multimodale agenten die kunnen "zien" en "redeneren" op het niveau van individuele entiteiten, wat essentieel is voor toepassingen zoals robotica, geavanceerde video-analyse en interactieve assistenten.

Kortom, Inst-IT sluit de kloof tussen holistisch beeldbegrip en fijnkorrelig objectbegrip, waardoor LMMs veel robuuster en bruikbaarder worden voor complexe visuele taken.