Technische Samenvatting: DRScaffold

Probleemstelling

Lichtgewicht Vision-Language Modellen (VLM's) hebben concurrerende prestaties behaald op standaard benchmarks, maar vertonen systematische fouten in redenering over dichte scènes. In dergelijke scenario's zijn meerdere objecten, attributen en relaties nauw met elkaar verweven, wat multi-stap inferentie over visuele afhankelijkheden vereist. Huidige lichtgewicht modellen lijden vaak aan verkeerde interpretatie van relaties, verkeerde koppeling van attributen en gehallucineerde afhankelijkheden in deze rommelige omgevingen.

Het kernprobleem ligt in het mismatch tussen het multi-stadia redeneerproces dat nodig is voor dichte scènes en de bestaande trainingsignalen. Huidige methoden vertrouwen op op uitkomst gebaseerde supervisie (enkel trainen op de uiteindelijke antwoorden) of platte Chain-of-Thought (CoT) supervisie (redeneren distilleren als een ongestructureerde tokensequentie). Geen van beide benaderingen dwingt een uitlijning af tussen redeneerstappen en de onderliggende visuele bewijslast. Bijgevolg minimaliseren lichtgewicht modellen de trainingsfout door vloeiende taalpatronen na te bootsen zonder te verifiëren op welk visueel entiteit elke stap slaat, wat leidt tot redenering die plausibel klinkt maar feitelijk ongegrond is.

Methodologie

Het artikel stelt DRScaffold voor, een supervised fine-tuning framework ontworpen om redenering over dichte scènes te verbeteren zonder de modelarchitectuur te wijzigen. De methodologie bestaat uit twee hoofdbestanddelen: een nieuwe benchmark voor gestructureerde supervisie en een gefaseerd trainingsframework.

1. DRBench: Een Benchmark voor Redenering over Dichte Scènes

Om het gebrek aan gestructureerde supervisiegegevens aan te pakken, introduceren de auteurs DRBench, bestaande uit 14.573 vragen over 2.943 afbeeldingen.

• Data Bronnen: Afbeeldingen zijn ontleend aan Hypersim (fotorealistische synthetische binnenruimtes) en Cityscapes (dynamische buitenstedelijke rijscènes) om diversiteit in ruimtelijke lay-outs en redeneeruitdagingen te waarborgen.
• Taxonomie: Vragen zijn georganiseerd in vijf categorieën die drie progressieve redeneerlagen omvatten:
  1. Structurele Gronding: Perceptie (multi-hop verwijzende uitdrukkingen) en Ruimtelijke Redenering.
  2. Contextuele Toepassing: Affordance Redenering (gebruik van objecten) en Anomalie Detectie.
  3. Logische Strenge: Afwijzing van Valse Premises, waarbij modellen queries moeten identificeren en afwijzen die visueel afwezige referenten bevatten die zijn ingebed in attribuut- of relatievragen.
• Gestructureerde Annotaties: In tegenstelling tot standaard benchmarks, biedt DRBench tussenannotaties voor elke steekproef, inclusief sleutelentiteiten, een scènegrafiek (object-relatie triades) en een gefaseerde redeneerketen (Perceptie, Relatie, Logica, Conclusie).
• Kwaliteitscontrole: Een multi-stadia pijplijn met tekstblinde verificatie (om taal-only antwoorden te filteren), scène-matchende filtering en consistentiecontroles met grote modellen (Qwen-VL-Max, DeepSeek) en menselijke verificatie waarborgt dat de annotaties feitelijk gegrond zijn.

2. DRScaffold Trainingsframework

DRScaffold decomposeert het supervisiedoel in een schema-geconstrueerde pijplijn met vier causaal geordende stadia:

1. Entiteit Gronding: Detecteren en lokaliseren van relevante objecten.
2. Relatie Modellering: Oplossen van ruimtelijke of logische afhankelijkheden (Scènegrafiek).
3. Stapsgewijze Redenering: Uitvoeren van multi-stap inferentie gebaseerd op de gestructureerde relaties.
4. Antwoord Generatie: Produceren van het uiteindelijke antwoord.

Trainingsdoel:
Het framework maakt gebruik van gefaseerde gradient masking om een curriculum learning-benadering af te dwingen. De training verloopt in vier fasen:

• Fase 1: Supervisie wordt alleen toegepast op het veld Entiteit Gronding ($F_1$); daaropvolgende velden zijn gemaskeerd.
• Fase 2: Supervisie breidt zich uit om Relatie Modellering te omvatten ($F_1, F_2$).
• Fase 3: Supervisie omvat Stapsgewijze Redenering ($F_1, F_2, F_3$).
• Fase 4: Volledige supervisie ($F_1$ tot $F_4$) wordt toegepast.
• Anti-Vergeten: In Fase 4 worden DRBench-steekproeven 1:1 gemengd met 15.000 steekproeven van LLaVA-Instruct-150K om catastrofaal vergeten van algemene vaardigheden te voorkomen.

De gezamenlijke outputverdeling factoriseert zodanig dat de verdeling van antwoordtokens expliciet is geconditioneerd op de eerder gegrondde entiteiten en geverifieerde relaties:
$$p_\theta(y | x) = \prod_{k=1}^{4} p_\theta(F_k | F_1, \dots, F_{k-1}, x)$$

Belangrijkste Resultaten

Experimenten werden uitgevoerd op drie lichtgewicht VLM's (schaal 2B–6B): InternVL2.5-2B, Qwen2.5-VL-3B en Phi4-multimodal.

• Prestaties op DRBench: DRScaffold levert aanzienlijke winsten op voor alle modellen.
  • Qwen2.5-VL-3B getraind met DRScaffold behaalt 62,6% nauwkeurigheid op DRBench, wat de bevroren Qwen2.5-VL-32B (44,7%) overtreft.
  • InternVL2.5-2B verbetert van 32,5% naar 66,6%.
  • Phi4-multimodal verbetert van 45,8% naar 50,7%, en behaalt de hoogste gemiddelde score onder alle geteste modellen.
• Behoud van Algemene Benchmarks: In tegenstelling tot basismethoden (Antwoord-alleen, CoT, LLaVA-CoT) die de prestaties op algemene benchmarks (MMMU, MMStar, RealWorldQA) verslechteren, behoudt DRScaffold of verbetert het de prestaties op deze taken licht, terwijl het tegelijkertijd de redenering over dichte scènes aanzienlijk verbetert.
• Robuustheid tegen Hallucinaties: Modellen getraind met DRScaffold tonen verbeterde prestaties op HallusionBench en de categorie Afwijzing van Valse Premises van DRBench, wat aantoont dat causale gronding effectief gehallucineerde afhankelijkheden reduceert.
• Ablatiestudies: Het verwijderen van een trainingsstadium of het herschikken daarvan (bijvoorbeeld redeneren trainen voor gronding) degradeert consistent de prestaties, wat bevestigt dat de causale volgorde (Gronding $\to$ Relaties $\to$ Redenering $\to$ Antwoord) een noodzakelijke inductieve bias is.

Betekenis en Claims

Het artikel beweert dat gestructureerde supervisie een significant deel van de modelgrootte kan vervangen bij redenering over dichte scènes. Door expliciet de causale afhankelijkheden tussen visuele bewijslast en redeneerstappen te modelleren, stelt DRScaffold lichtgewicht modellen in staat om beter te presteren dan veel grotere, bevroren tegenhangers in complexe omgevingen.

De auteurs benadrukken dat hun aanpak een fundamentele kloof in de huidige VLM-training aanpakt: het gebrek aan expliciete gronding tussen redeneerstappen en visuele entiteiten. Door een gescaffold, stapsgewijs leerproces af te dwingen, voorkomt DRScaffold dat modellen vloeiende maar verankerde redeneerketens genereren, en biedt het een praktische oplossing voor het inzetten van betrouwbare VLM's in resource-beperkte real-world toepassingen zoals huishoudelijke robotica en autonoom rijden.

Het werk concludeert dat hoewel grootschalige modellen sterke redeneervermogens bezitten, lichtgewicht modellen vergelijkbare of superieure prestaties kunnen behalen in specifieke domeinen van dichte scènes door gestructureerde supervisie in plaats van louter parameter-schaling.