Technische Samenvatting: Van Priors naar Perceptie: Video-LLMs Verankeren in Fysieke Realiteit

1. Probleemstelling

Hoewel Video Large Language Models (Video-LLMs) bekwaamheid tonen in algemeen videobegrip, vertonen ze systematische en ernstige tekortkomingen in fijnmazig fysiek redeneren. State-of-the-art (SOTA) modellen falen regelmatig in het identificeren van voor de hand liggende fysieke schendingen (bijvoorbeeld zwevende objecten, doorgang van starre lichamen) en, cruciaal, falen ze in tegen-intuïtieve scenario's waarbij visuele feiten statistische verwachtingen tegenspreken (bijvoorbeeld een bal die een rij dominostenen mist).

Bestaande ingrepen, zoals decoding tijdens de inferentie, versterkt leren of invasieve architecturale wijzigingen (bijvoorbeeld integratie van expliciete trackers of Neuronale ODE's), lijden onder beperkte generalisatie, hoge rekenkundige overhead of het niet aanpakken van de oorzaak. Bovendien vertrouwen huidige evaluatiedatasets vaak op het vastleggen van natuurlijke fouten van generatieve videomodellen. Dit paradigma verwardt laag-niveau visuele artefacten (bijvoorbeeld textuurflikkering, smeltende objecten) met echte fysieke drogredenen, waardoor modellen terugvallen tot "op shortcuts gebaseerde artefactendetectoren" in plaats van rigoureuze fysieke redenaars.

De auteurs identificeren dat deze fouten niet voortkomen uit een gebrek aan perceptie of kennis, maar uit Dominantie van Semantische Priors. Het redeneermechanisme wordt gekaapt door interne narratieve scripts en statistische priors, waardoor het model objectief visueel bewijs moet overschrijven met subjectieve verwachtingen. In anti-fysica scenario's fabriceren modellen onzichtbare krachten om anomalieën te rationaliseren; in tegen-intuïtieve scenario's hallucineren ze verwachte uitkomsten ondanks duidelijke visuele gaten.

2. Methodologie

Om Dominantie van Semantische Priors aan te pakken zonder invasieve architecturale wijzigingen, stellen de auteurs een unificerend kader voor dat bestaat uit een hoogwaardig dataset en een nieuw redeneermechanisme.

2.1 Programmatic Adversarial Curriculum (PACC)

PACC is de eerste hoogwaardige adversariële videodataset die op basis van fysieke wetten is gesynthetiseerd, ontworpen om visuele artefacten strikt te ontkoppelen van logische fouten.

• Constructie: Met behulp van een Human-in-the-Loop (HITL) pijplijn synthetiseert PACC gepaarde adversariële video's (een factuele positieve en een gemanipuleerde negatieve) over acht fijnmazige dimensies afgeleid van ontwikkelingspsychologie en benchmarks voor intuïtieve fysica.
• Taxonomie: De dataset omvat twee stromen:
  1. Anti-Fysica Stroom: Richt zich op rationalisatie-drogredenen door objectieve wetten te schenden (bijvoorbeeld Temporaal: coherentie-schendingen, causale omkering; Permanentie: bestaans-/identiteitsschendingen; Interactie: dynamische/beperkingsschendingen).
  2. Tegen-Intuïtieve Stroom: Richt zich op stereotiepe drogredenen waarbij verwachte gebeurtenissen niet plaatsvinden (bijvoorbeeld Near-Miss, Consequence Arrest).
• Kwaliteitscontrole: In tegenstelling tot eerdere datasets zorgt PACC voor visuele ongereptheid terwijl het fysieke ongeldigheid afdwingt, waardoor modellen worden verhinderd generatieve artefacten als shortcuts te exploiteren.

2.2 Visual-Anchored Reasoning Chain (VARC)

VARC is een mechanisme dat modellen dwingt oordelen te verankeren in laag-niveau visuele feiten voordat logische afweging plaatsvindt. Het herformuleert het redeneerproces als een gerichte Markoviaanse keten:

1. Gedwongen Observatie: Het model moet laag-niveau ruimtelijke relaties en toestandsveranderingen expliciet beschrijven (bijvoorbeeld "ruimtelijke kloof") zonder voortijdige subjectieve oordelen.
2. Causale Toeschrijving: Gebaseerd op de objectieve observatie, raadpleegt het model zijn fysieke kennisbank om conflicten te detecteren (bijvoorbeeld het herkennen van thermodynamische onmogelijkheden).
3. Bewijsgebaseerd Vonnis: Het uiteindelijke oordeel is strikt beperkt door de voorgaande observatie- en attributienodes.

2.3 Trainingsstrategie: PhyAR

De auteurs introduceren PhyAR (Physics-Anchored Reasoner), een model dat met standaard LoRA is fijngetuned op de PACC-dataset.

• Gekoppelde Gradiëntonderdrukking: Tijdens training worden positieve en negatieve videoparen gezamenlijk geoptimaliseerd. Dit induceert gradiëntonderdrukking op gedeelde visuele semantiek (achtergronden, verlichting), waardoor het model strikt convergeert naar kernfysieke discrepanties in plaats van statische visuele distributies.
• Architectuur: De visuele encoder is bevroren; LoRA wordt uitsluitend toegepast op de visuele projector en de LLM-ruggengraat, wat een architectuur-agnostische, lichtgewicht oplossing garandeert.

3. Belangrijkste Bijdragen

1. Unificerende Toeschrijvings Theorie: Het artikel stelt dat dubbele fouten (anti-fysica en tegen-intuïtief) manifestaties zijn van Dominantie van Semantische Priors, waarbij interne narratieve scripts het redeneermechanisme kaapten en objectief visueel bewijs overrulen.
2. Programmatic Adversarial Curriculum (PACC): Een nieuwe dataset van 758 hoogwaardige adversariële videoparen die generatieve artefacten ontkoppelt van echte fysieke drogredenen, en zo een rigoureus diagnostisch benchmark biedt.
3. Visual-Anchored Reasoning Chain (VARC): Een redeneerkader dat mechanisch voorkomt dat priors worden gekaapt door expliciete visuele verankering af te dwingen.
4. Empirische Validatie: Aantonen dat standaard LoRA-fijntuning met PACC en VARC priors-interferentie in SOTA-modellen effectief neutraliseert, wat aanzienlijke sprongen in fysiek redeneren oplevert zonder architecturale wijzigingen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de PACC-testset (154 videoparen) tegen SOTA propriëtaire (GPT-4o, Gemini 2.5 Flash) en open-source Video-LLMs.

• Pair-wise Consistency Accuracy (PCA): PhyAR behaalde een gemiddelde PCA van 41,56%, wat significant beter presteerde dan alle baselines. Opvallend genoeg scoorden propriëtaire modellen zoals GPT-4o 38,31%, terwijl kleinere open-source modellen instortten tot bijna nul prestaties (bijvoorbeeld Video-ChatGPT-7B op 0,65%) vanwege ernstige semantische traagheid en een "Ja-bias".
• Reasoning Alignment Score (RAS): PhyAR behaalde een gemiddelde RAS van 2,036 (op een schaal van 1-5), wat de open-source baselines (die stagneerden rond 1,0) overtrof en de prestaties van propriëtaire modellen benaderde. Cruciaal overtrof PhyAR alle baselines in Tegen-Intuïtieve categorieën, wat het vermogen aantoont om statistische priors te weerstaan.
• Semantic Prior Bias (RPB): De Relative Prior Bias-maatstaf toonde een reductie van 79,1% in het basismodel (VideoLLaMA3) naar 24,9% in PhyAR, wat de onderdrukking van prior-afhankelijkheid bevestigt.
• Ablatiestudies: Het verwijderen van VARC liet de PCA dalen naar 28,57%, en het verwijderen van gepaarde optimalisatie liet deze dalen naar 29,22%, wat valideert dat zowel visuele verankering als gepaarde gradiëntonderdrukking essentieel zijn om semantische priors te overwinnen.

5. Betekenis en Claims

Het artikel claimt een fundamentele verschuiving te bieden in hoe Video-LLMs fysiek redeneren benaderen. Door te onthullen dat deze modellen niet lijden aan perceptietekorten maar aan Dominantie van Semantische Priors, daagt het werk de heersende opvatting uit dat meer data of grotere modellen alleen de kloof in fysiek redeneren zullen oplossen.

De betekenis ligt in de demonstratie dat echte fysiek redeneren kan worden bereikt door:

1. Artefacten ontkoppelen van logica: Het gebruik van PACC om modellen te trainen op pure fysieke drogredenen in plaats van generatieve ruis.
2. Visuele verankering afdwingen: Het gebruik van VARC om het model te dwingen te "zien" voordat het "denkt", waardoor de op shortcuts gebaseerde afhankelijkheid van narratieve scripts wordt ontmanteld.

De auteurs positioneren dit werk als een noodzakelijke stap naar betrouwbare Wereldmodellen en Embodied AI, en betogen dat het doorbreken van de knelpunt in fysiek redeneren noodzakelijk is voor veilige interactie in de echte wereld. Ze erkennen huidige beperkingen, waarbij ze opmerken dat PACC momenteel beperkt is in schaal (758 paren) vanwege het rigoureuze Human-in-the-Loop verificatieproces, waarbij prioriteit wordt gegeven aan kwaliteit boven volume, maar suggereren dat toekomstig werk geautomatiseerde synthese kan verkennen voor bredere schaalvergroting.