Technische Samenvatting: Ill-Posed by Design: Probing Evidence Use in VLMs

Probleemstelling

Counterfactuele analyse is een standaardinstrument voor het bestuderen van bewijsvoering in Vision-Language Models (VLM's), maar de diagnostische waarde ervan is beperkt bij wel-gestelde taken (well-posed tasks). Bij taken zoals objectherkenning ondersteunen meerdere visuele aanwijzingen vaak onafhankelijk van elkaar hetzelfde antwoord; het maskeren van één aanwijzing kan de voorspelling onveranderd laten, waardoor het onmogelijk wordt om te onderscheiden of een aanwijzing niet wordt gebruikt of simpelweg redundant is.

Dit artikel stelt monoculaire metrische objectgrootte-schatting voor als een ill-posed (niet-wel-gestelde) diagnostische setting. Omdat fysieke schaal niet bepaald kan worden vanuit een enkele ongekalibreerde afbeelding zonder stereoscopische aanwijzingen of bekende referenties, is de taak fundamenteel onderbepaald. Modellen moeten vertrouwen op imperfecte, potentieel conflicterende aanwijzingen zoals categorie-priors, de verschijning van het doelobject, lokale context, de schijnbare grootte van de afbeelding en de scènegeometrie. Standaard accuratiewaarden reduceren deze strategieën tot een enkele score, waardoor verborgen blijft welke specifieke bewijsbron een model gebruikt of juist niet gebruikt.

Methodologie

Benchmark: Metric VQA

De auteurs introduceren Metric VQA, een benchmark bestaande uit 10.813 dimensionale queries gekoppeld aan grondwaarheid-metingen (ground-truth), verdeeld in twee complementaire datasets:

1. Objectron-afgeleide Split (10.482 queries): Gecureerde frames uit de Objectron-dataset met 3D bounding box ground-truth, dekkend over negen alledaagse objectcategorieën.
2. In-the-Wild (ITW) Split (331 queries): Rommelige, real-world scènes met tape-gemeten ground-truth, bevattende meerdere objecten met willekeurige occlusie en verlichting.

Counterfactuele Interventies

De kernmethodologie bestaat uit het toepassen van zes afbeelding-niveau interventies, terwijl de natuurlijke taalquery constant wordt gehouden. Deze interventies onderzoeken zes verschillende bewijskanalen:

1. Text-only: Het volledig verwijderen van de beeldmodaliteit (of het vervangen door een grijze afbeelding) om de afhankelijkheid van taal-priors te meten.
2. Target Pixels: Het maskeren van de gehele scène behalve het doelobject (object_only).
3. Target Identity: Het vervangen van het doelobject door een ander object in dezelfde scène (wrong_object), waarbij locatie en scène-statistieken behouden blijven.
4. Local Context: Het behouden van het doelobject en een dunne ring van de omliggende context (object_ring).
5. Apparent Size: Het herschalen van het doelobject binnen de afbeelding (inzoomen 1.4× en uitzoomen 0.6×) om de gevoeligheid voor de pixel-voetafdruk te testen.
6. Global Scene Geometry: Het toepassen van radiale lensvervorming (barrel en pincushion) om de structuur van verdwijnpunten te verstoren terwijl de identiteit van het object behouden blijft.

Evaluatie-opzet

De studie evalueert 12 open-weight VLMs variërend van 3B tot 397B parameters (inclusief de Qwen, InternVL, LLaVA en Molmo families). Prestaties worden gemeten tegenover:

• Een text-only frontier LLM (ChatGPT 5.5) die zonder afbeeldingen wordt bevraagd.
• Een menselijke baseline op de ITW-split.
• Acc@10% (fractie van voorspellingen binnen 10% van de ground truth) is de primaire metriek.

De auteurs analyseren ook LoRA fine-tuning als een actiegerichte interventie, waarbij adapters worden getraind op de Objectron-split om te observeren hoe supervised learning de patronen van bewijsvoering verandert.

Belangrijkste Resultaten

1. Taal-priors domineren in de praktijk (In the Wild)

Zelfs de grootste geteste open VLMs (Qwen3.5-397B, InternVL3.5-241B) blijven achter bij een text-only frontier LLM op de in-the-wild split van Metric VQA. Dit geeft aan dat voor metrische schatting sterke categorie-niveau taal-priors vaak meer verklaart van de variantie in prestaties dan visueel bewijs in ongestructureerde omgevingen.

2. Gestratificeerd gebruik van bewijs

Counterfactuele signaturen onthullen een hiërarchisch patroon van bewijsvoering:

• Target Identity is essentieel (Load-Bearing): Het vervangen van het doelobject veroorzaakt de meest consistente en significante daling in accuratesse over alle modellen, wat aangeeft dat modellen hun schattingen zwaar baseren op wat object zichtbaar is.
• Target Pixels en Local Context zijn selectief: Alleen een subset van grotere modellen maakt gebruik van ruwe target pixels voor metrische schatting. Lokale context biedt een kleiner, model-afhankelijk voordeel, en voor sommige modellen werkt scène-rommel eerder als een afleiding dan als een aanwijzing.
• Apparent Size is niet-directioneel: Hoewel voorspellingen verschuiven wanneer de objectgrootte verandert, zijn de verschuivingen niet directioneel consistent (bijv. inzoomen leidt niet systematisch tot een grotere voorspelde grootte). De schijnbare grootte fungeert voor veel modellen eerder als een destabiliserend signaal dan als een betrouwbare metrische aanwijzing.
• Scene Geometry wordt grotendeels niet gebruikt: De globale scènegeometrie (perspectief/verdwijnpunten) is de zwakste kanaal; slechts één model vertoonde een betrouwbare daling in accuratesse onder lensvervorming, en geen enkel model vertoonde directioneel consistent gedrag.

3. Beperkingen van LoRA Fine-Tuning

Supervised LoRA fine-tuning verbetert de algemene accuratesse op de metrische schattings Taak. Echter, de analyse laat zien dat modellen niet leren om scènegeometrie te benutten of een nieuw begrip van visuele geometrie ontwikkelen. In plaats daarvan verbetert fine-tuning de specifieke kanalen die het basismodel al gedeeltelijk gebruikt (bijv. het stabiliseren van taal-priors, het verdiepen van de sensitiviteit voor target-identiteit, of het benutten van lokale context). De taak is leerbaar, maar het mechanisme is het patchen van bestaande zwakke kanalen in plaats van het verwerven van nieuwe geometrische capaciteiten.

Betekenis en Claims

Het artikel betoogt dat ill-posed taken dienen als een superieur diagnostisch instrument voor multimodale systemen vergeleken met wel-gestelde benchmarks. Door modellen te dwingen te kiezen tussen imperfecte, niet-redundante bronnen van bewijs, isoleren counterfactuele interventies specifieke patronen van aanwijzing-gebruik die geaggregeerde accuratiewaarden verbergen.

Belangrijkste inzichten:

• Diagnostiek boven Ranking: De studie geeft prioriteit aan het begrijpen van hoe modellen redeneren (bewijsselectie) boven het simpelweg rangschikken van modellen op basis van accuratesse.
• De illusie van visuele meting: Een centimeter-schatting van een VLM moet niet worden beschouwd als een betrouwbare meting. Het moet beter worden begrepen als een categorie-niveau prior met selectieve, model-afhankelijke visuele modulatie.
• Beperkingen van huidige training: Standaard next-token-loss fine-tuning (LoRA) faalt in het induceren van echt begrip van scènegeometrie, wat suggereert dat huidige trainingsparadigma's mogelijk niet voldoende zijn om de kloof tussen taal-priors en fysiek redeneren te overbruggen.

De auteurs publiceren Metric VQA (data, interventie-varianten, voorspellingen en code) om een reproduceerbare diagnostische analyse van bewijsvoering in toekomstige multimodale systemen te ondersteunen.