Résumé Technique : Des Priors à la Perception : Ancrer les Video-LLM dans la Réalité Physique

1. Énoncé du Problème

Bien que les Grands Modèles de Langage Vidéo (Video-LLM) démontrent une compétence dans la compréhension générale des vidéos, ils présentent des déficits systématiques et sévères en matière de raisonnement physique fin. Les modèles les plus avancés (SOTA) échouent fréquemment à identifier des violations physiques évidentes (par exemple, la lévitation d'objets, la pénétration de corps rigides) et, de manière cruciale, échouent dans des scénarios contre-intuitifs où les faits visuels contredisent les attentes statistiques (par exemple, une balle manquant une série de dominos).

Les interventions existantes, telles que le décodage au moment de l'inférence, l'apprentissage par renforcement ou les modifications architecturales invasives (par exemple, l'intégration de trackers explicites ou d'EDO neuronales), souffrent d'une généralisation limitée, d'une surcharge computationnelle élevée ou d'une incapacité à traiter la cause racine. De plus, les ensembles de données d'évaluation actuels reposent souvent sur la capture d'échecs naturels provenant de modèles vidéo génératifs. Ce paradigme confond les artefacts visuels de bas niveau (par exemple, le scintillement des textures, la fusion d'objets) avec de véritables fallaces physiques, poussant les modèles à régresser vers des « détecteurs d'artefacts pilotés par des raccourcis » plutôt que vers des raisonneurs physiques rigoureux.

Les auteurs identifient que ces échecs ne proviennent pas d'un manque de perception ou de connaissances, mais de la Dominance des Priors Sémantiques. Le mécanisme de raisonnement est détourné par des scripts narratifs internes et des priors statistiques, forçant le modèle à écraser les preuves visuelles objectives avec des attentes subjectives. Dans les scénarios anti-physiques, les modèles fabriquent des forces invisibles pour rationaliser les anomalies ; dans les scénarios contre-intuitifs, ils hallucinent des résultats attendus malgré des lacunes visuelles claires.

2. Méthodologie

Pour traiter la Dominance des Priors Sémantiques sans modifications architecturales invasives, les auteurs proposent un cadre unifié comprenant un ensemble de données haute fidélité et un nouveau mécanisme de raisonnement.

2.1 Programme Adversarial Programmé (PACC)

Le PACC est le premier ensemble de données vidéo adversarial haute fidélité synthétisé sur la base des lois physiques, conçu pour découpler strictement les artefacts visuels des erreurs logiques.

• Construction : En utilisant un pipeline Homme-dans-la-boucle (HITL), le PACC synthétise des paires de vidéos adversariales appariées (une positive factuelle et une négative manipulée) à travers huit dimensions fines dérivées de la psychologie du développement et des benchmarks de physique intuitive.
• Taxonomie : L'ensemble de données couvre deux flux :
  1. Flux Anti-Physique : Cible les fallaces de rationalisation en violant les lois objectives (par exemple, Temporel : violations de cohérence, inversion causale ; Permanence : violations d'existence/identité ; Interaction : violations dynamiques/de contrainte).
  2. Flux Contre-Intuitif : Cible les fallaces stéréotypées où les événements attendus ne se produisent pas (par exemple, Rase-motte, Arrêt de conséquence).
• Contrôle Qualité : Contrairement aux ensembles de données antérieurs, le PACC assure une propreté visuelle tout en imposant une invalidité physique, empêchant les modèles d'exploiter les artefacts génératifs comme des raccourcis.

2.2 Chaîne de Raisonnement Ancrée Visuellement (VARC)

La VARC est un mécanisme conçu pour forcer les modèles à ancrer leurs jugements dans des faits visuels de bas niveau avant l'adjudication logique. Elle reformule le processus de raisonnement comme une chaîne markovienne dirigée :

1. Observation Forcée : Le modèle doit décrire explicitement les relations spatiales de bas niveau et les changements d'état (par exemple, « écart spatial ») sans jugement subjectif prématuré.
2. Attribution Causale : Conditionné par l'observation objective, le modèle interroge sa base de connaissances physiques pour détecter les conflits (par exemple, la reconnaissance d'impossibilités thermodynamiques).
3. Verdict Basé sur les Preuves : Le jugement final est strictement contraint par les nœuds d'observation et d'attribution précédents.

2.3 Stratégie d'Entraînement : PhyAR

Les auteurs introduisent PhyAR (Raisonneur Ancré en Physique), un modèle fine-tuné utilisant LoRA standard sur l'ensemble de données PACC.

• Suppression de Gradient Appariée : Pendant l'entraînement, les paires de vidéos positives et négatives sont optimisées conjointement. Cela induit une suppression de gradient sur les sémantiques visuelles partagées (arrière-plans, éclairage), forçant le modèle à converger strictement sur les écarts physiques fondamentaux plutôt que sur les distributions visuelles statiques.
• Architecture : L'encodeur de vision est figé ; LoRA est appliqué exclusivement au projecteur visuel et au socle LLM, garantissant une solution agnostique à l'architecture et légère.

3. Contributions Clés

1. Théorie Unifiée d'Attribution : L'article propose que les échecs doubles (anti-physique et contre-intuitif) sont des manifestations de la Dominance des Priors Sémantiques, où des scripts narratifs internes détournent le mécanisme de raisonnement, annulant les preuves visuelles objectives.
2. Programme Adversarial Programmé (PACC) : Un nouvel ensemble de données de 758 paires de vidéos adversariales haute fidélité qui découple les artefacts génératifs des véritables fallaces physiques, fournissant un benchmark diagnostique rigoureux.
3. Chaîne de Raisonnement Ancrée Visuellement (VARC) : Un cadre de raisonnement qui bloque mécaniquement le détournement des priors en imposant un ancrage visuel explicite.
4. Validation Empirique : Démonstration que le fine-tuning standard LoRA avec PACC et VARC neutralise efficacement les interférences de priors dans les modèles SOTA, produisant des bonds substantiels en raisonnement physique sans modifications architecturales.

4. Résultats Expérimentaux

Les expériences ont été menées sur l'ensemble de test PACC (154 paires de vidéos) contre des Video-LLM propriétaires (GPT-4o, Gemini 2.5 Flash) et open-source de l'état de l'art.

• Précision de Cohérence Appariée (PCA) : PhyAR a atteint une PCA moyenne de 41,56 %, surpassant significativement toutes les bases de référence. Notamment, des modèles propriétaires comme GPT-4o ont obtenu 38,31 %, tandis que des modèles open-source plus petits sont tombés à une performance proche de zéro (par exemple, Video-ChatGPT-7B à 0,65 %) en raison d'une inertie sémantique sévère et d'un « biais Oui ».
• Score d'Alignement du Raisonnement (RAS) : PhyAR a atteint un RAS moyen de 2,036 (sur une échelle de 1 à 5), dépassant les bases de référence open-source (qui stagnaient près de 1,0) et s'approchant des performances des modèles propriétaires. Crucialement, PhyAR a surpassé toutes les bases de référence dans les catégories Contre-Intuitives, démontrant la capacité à résister aux priors statistiques.
• Biais de Prior Sémantique (RPB) : La métrique de Biais de Prior Relatif a montré une réduction de 79,1 % dans le modèle de base (VideoLLaMA3) à 24,9 % dans PhyAR, confirmant la suppression de la dépendance aux priors.
• Études d'Ablation : La suppression de la VARC a fait chuter la PCA à 28,57 %, et la suppression de l'optimisation appariée l'a fait tomber à 29,22 %, validant que l'ancrage visuel et la suppression de gradient appariée sont essentiels pour surmonter les priors sémantiques.

5. Signification et Revendications

L'article revendique un changement fondamental dans la manière dont les Video-LLM abordent le raisonnement physique. En révélant que ces modèles ne souffrent pas de déficits de perception mais de Dominance des Priors Sémantiques, le travail remet en question la notion prévalente que davantage de données ou des modèles plus grands à eux seuls combleront les lacunes du raisonnement physique.

La signification réside dans la démonstration que le véritable raisonnement physique peut être atteint grâce à :

1. Le découplage des artefacts de la logique : Utiliser PACC pour entraîner les modèles sur de pures fallaces physiques plutôt que sur du bruit génératif.
2. L'imposition d'un ancrage visuel : Utiliser VARC pour forcer le modèle à « voir » avant de « penser », démantelant ainsi la dépendance aux raccourcis pilotés par des scripts narratifs.

Les auteurs positionnent ce travail comme une étape impérative vers des Modèles du Monde fiables et une IA Embodied, arguant que briser le goulot d'étranglement du raisonnement physique est nécessaire pour une interaction sûre avec le monde réel. Ils reconnaissent les limitations actuelles, notant que PACC est actuellement limité en échelle (758 paires) en raison du processus rigoureux de vérification Homme-dans-la-boucle, priorisant la fidélité sur le volume, mais suggèrent que des travaux futurs pourraient explorer une synthèse automatisée pour une mise à l'échelle plus large.