InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

Probleemstelling

Bestaande Vision-Language Pre-training (VLP) paradigma's, zoals CLIP en zijn video-varianten, blinken uit in het begrijpen van globale scènes (holistische context). Ze kampen echter met een fundamenteel tekort aan instance-level redenering. Omdat deze modellen voornamelijk worden getraind op globale video-texkoppelingen, missen ze het vermogen om specifieke objecten of entiteiten in een tekstuele beschrijving te koppelen aan hun precieze ruimtelijke en temporele locatie in het beeld.

Bijvoorbeeld, bij een caption als "een kind gooit een rode bal terwijl een hond springt", kan een globaal getraind model het algemene gebeuren begrijpen, maar faalt het vaak om te lokaliseren welk visueel gebied correspondeert met de "bal" of de "hond". Dit beperkt de prestaties op taken die fijne-granulariteit vereisen, zoals gedetailleerde zoekopdrachten, ruimtelijk-temporele grounding en objectgerichte vraag-antwoord systemen. Bestaande oplossingen die instance-informatie toevoegen (bijv. via objectdetectoren na het trainen) worden vaak als bijzaak behandeld en erven fouten van die detectoren, in plaats dat instance-bewustzijn een kernonderdeel van de representatie is.

Methodologie: InstAP Framework

De auteurs introduceren InstAP (Instance-Aware Pre-training), een raamwerk dat zowel globale context als rijke instance-level informatie leert door tekstuele vermeldingen direct te verankeren aan specifieke ruimtelijk-temporele regio's.

1. Het InstVL Dataset

Om dit te ondersteunen, hebben de auteurs InstVL ontwikkeld, een groot dataset met 2 miljoen afbeeldingen en 50.000 video's. Het unieke kenmerk is de dubbele granulariteit van de annotaties:

• Globale Captions: Een holistische beschrijving van de hele scène.
• Instance Captions: Dichte, verankerde beschrijvingen van specifieke entiteiten. Voor video's worden deze gekoppeld aan temporele trajectoïden (sequentie van bounding boxes) in plaats van statische frames.
• Data Curation: De data is gegenereerd met behulp van tools zoals GroundingDINO (voor detectie) en SAM2 (voor tracking), waarna een groot vision-language model de beschrijvingen genereerde.

2. Architectuur en Trainingsdoelen

InstAP gebruikt een Teacher-Student architectuur en combineert twee fasen:

• Self-Supervised Masked Video Modeling: Een student-model wordt getraind om gemaskeerde tokens te reconstrueren op basis van een bevroren CLIP-ViT leraar. Dit bouwt een sterke ruimtelijk-temporele representatie op.
• Instance-Aware Alignment: Dit is de kerninnovatie. Het model optimaliseert gelijktijdig twee soorten doelen:
  • Globale Alignering: Standaard contrastief leren tussen volledige video en tekst (VTC, VTM, MLM).
  • Instance-Aware Alignering: Een specifiek contrastief doel waarbij de visuele features van een specifiek object (geëxtraheerd via een Trajectory RoI Encoder) worden vergeleken met de bijbehorende tekstuele beschrijving.
    • Een Global-Local Cross Attention mechanisme fuseert globale context met instance-features.
    • Een speciaal verlies (Instance VTC) zorgt ervoor dat het model positieve paren matcht terwijl het negatieve paren uit dezelfde video (andere objecten) correct onderscheidt, wat voorkomt dat het model "verward" raakt door overlappende beschrijvingen.

Kernbijdragen

1. InstVL Dataset: De eerste grote, algemene dataset met vrije-zins annotaties voor zowel statische regio's als volledige video-trajectoïden.
2. InstAP Framework: Een nieuw pre-training paradigma dat instance-bewustzijn direct in de core encoder integreert, in plaats van het als een later toegevoegde laag te behandelen.
3. Demonstratie van Synergie: Het bewijs dat fijne-granulariteit training niet ten koste gaat van globaal begrip, maar dit juist verbetert.

Resultaten

De experimenten tonen aan dat InstAP aanzienlijk beter presteert dan state-of-the-art modellen (zoals UMT-L, VideoPrism, CLIP4Clip):

• Instance Retrieval: InstAP slaat alle bestaande modellen op de InstVL-benchmarks. Bijvoorbeeld, op de video-instance zoekopdracht (InstVL-1K video) bereikt het 60.63% T2V R@1, wat een grote sprong is ten opzichte van eerdere werken.
• Isolatie van Effect: Door InstAP te vergelijken met een sterke baseline (UMT-L) getraind op exact dezelfde data, maar zonder het instance-aware doel, blijkt dat de winst volledig komt door het nieuwe trainingsparadigma en niet alleen door de grotere dataset.
• Zero-Shot Generalisatie: InstAP presteert competitief of beter op standaard benchmarks zoals MSR-VTT en DiDeMo. Interessant genoeg presteert een baseline die op InstVL is getraind (zonder instance-objectieven) vaak slechter dan het originele model, terwijl InstAP de prestaties verbetert. Dit toont aan dat instance-training robuustere representaties levert.
• Visual Grounding: InstAP lokaliseert tekstuele vermeldingen veel nauwkeuriger in tijd en ruimte dan globale modellen, wat zichtbaar is in hogere IoU-scores (Intersection over Union) bij grounding-taken.

Betekenis en Conclusie

InstAP markeert een belangrijke verschuiving in Vision-Language Pre-training. Het paper toont aan dat het integreren van instance-level verankering als een fundamenteel onderdeel van het leerproces essentieel is voor het begrijpen van complexe visuele scènes.

De belangrijkste inzichten zijn:

1. Instance-awareness is fundamenteel: Het is geen bijzaak, maar een kerncapaciteit die nodig is voor nauwkeurige redenering.
2. Verbetering van het globale beeld: Door te leren om specifieke details te onderscheiden, wordt het globale begrip van de scène sterker en robuuster.
3. Toekomstige richting: Dit werk opent de deur voor meer geavanceerde video-analyse taken die vereisen dat AI-systemen niet alleen "zien wat er gebeurt", maar ook precies weten "wie of wat" er bij betrokken is en "waar en wanneer" dit plaatsvindt.

Kortom, InstAP levert een krachtig raamwerk voor het overbruggen van de kloof tussen globale scènebegrip en fijnmazige, objectgerichte redenering in video's.