Résumé Technique : VKnowU

Énoncé du Problème

Les modèles de langage multimodaux (MLLM) ont démontré une certaine compétence dans la reconnaissance d'objets et d'attributs, mais manquent fréquemment d'une compréhension intuitive, semblable à celle de l'humain, des principes physiques et sociaux qui régissent le monde. Cette lacune représente un déficit de connaissance visuelle — une couche sémantique de haut niveau, ancrée dans la vision, qui fait le pont entre la perception et le raisonnement. Bien que les modèles actuels excellent dans la perception fine grâce à des caractéristiques multi-échelles ou des entrées à haute résolution, ils peinent avec la connaissance intuitive et intégrée requise pour un raisonnement plus profond, comme la prédiction de trajectoires physiques ou l'inférence d'intentions subjectives. Par conséquent, les MLLM reposent souvent sur des priors linguistiques fragiles, ceما entraîne des hallucinations et de mauvaises performances sur les tâches exigeant une véritable compréhension du monde.

Méthodologie

1. VKnowU : Un Benchmark Complet

Pour mesurer quantitativement l'écart entre la précision perceptive et le raisonnement cognitif, les auteurs introduisent VKnowU, un benchmark vidéo comprenant 1 249 vidéos et 1 680 questions à choix multiples. Le benchmark est structuré autour de huit dimensions fondamentales de la connaissance visuelle, réparties en deux domaines :

• Centré sur le Monde (Physique) :
  • Physique Intuitive : Juger la plausibilité physique (ex: gravité, permanence de l'objet).
  • Affordance de l'Objet : Déterminer les usages fonctionnels basés sur les propriétés structurelles.
  • Matériau de l'Objet : Identifier la composition matérielle via des indices intrinsèques ou comportementaux.
  • Conscience Spatiale : Inférer les positions relatives et la navigation.
• Centré sur l'Humain (Psychologique/Social) :
  • Anticipation d'Événements : Inférer des événements ultérieurs probables basés sur les normes sociales.
  • État Mental : Inférer les états psychologiques internes et les atmosphères affectives.
  • Relation Sociale : Inférer les relations interpersonnelles et les rôles.
  • Intention Subjective : Reconstruire les objectifs sous-jacents derrière les actions observées.

Construction du Jeu de Données :
Pour garantir que le benchmark évalue strictement la connaissance visuelle plutôt que les priors linguistiques ou les indices audio, les auteurs ont employé un Pipeline de Reformulation de QA rigoureux :

1. Minimiser la Dépendance Audio : Les questions solubles via les transcriptions audio (similitude > 0,3) ont été écartées.
2. Réduire le Biais Linguistique : Les questions solubles par des LLM textuels uniquement (Pass@10 ≥ 0,5) ont été exclues.
3. Améliorer les Mauvais Candidats : Les distracteurs ont été reconstruits pour être sémantiquement plausibles mais incorrects, empêchant les stratégies d'élimination.
4. Vérification Humaine : Une revue manuelle finale a assuré la clarté et l'alignement avec les compétences spécifiques de la connaissance visuelle.

2. VideoKnow+ : Un Modèle de Référence pour la Connaissance Visuelle

Pour remédier aux déficits identifiés, les auteurs proposent VideoKnow+, un modèle de base conçu pour intégrer explicitement la connaissance visuelle. L'approche suit un paradigme Voir–Penser–Répondre :

• Sortie Structurée : Le modèle est contraint de générer une description visuelle autonome (« Voir ») avant de raisonner (« Penser ») et de répondre (« Répondre »). Cela force le modèle à ancrer son raisonnement dans des preuves visuelles perçues.
• Apprentissage par Renforcement (RL) : Le modèle est entraîné en utilisant GRPO (Group Relative Policy Optimization) avec une récompense spécialisée de la Connaissance Visuelle ($r_v$). Un MLLM externe gelé agit comme un vérificateur pour déterminer si la description visuelle générée est suffisante pour dériver la réponse sans raisonnement supplémentaire.
• VKnowQA : Un nouveau corpus d'entraînement à grande échelle (VKnowQA-30K et VKnowQA-CS-12K) a été construit pour soutenir l'entraînement de VideoKnow+, garantissant l'absence de fuite de données avec le benchmark d'évaluation.

Résultats Clés

Évaluation des SOTA MLLM sur VKnowU

Les auteurs ont évalué 28 MLLM de pointe (incluant des modèles open-source et propriétaires comme GPT-4o, Gemini-3.0 et InternVL3.5).

• Écart Global : Même le modèle le plus performant (Gemini-3.0-Pro) a atteint 76,3 %, accusant un retard de 16,7 % par rapport à la performance humaine (93,0 %).
• Déficit Centré sur le Monde : L'écart est le plus prononcé dans les tâches physiques. Les modèles accusent un retard par rapport aux humains de 37,0 % en Physique Intuitive et de 32,7 % en Conscience Spatiale, certains modèles dépassant à peine le hasard dans ces catégories.
• Performance Centrée sur l'Humain : Les modèles ont performé relativement mieux sur les tâches centrées sur l'humain (meilleur : 81,9 %), probablement en raison de la prévalence des récits sociaux dans les données de réglage fin (instruction tuning).
• Analyse de Mise à l'Échelle (Scaling) : L'augmentation de la taille du backbone LLM (ex: de 4B à 8B) n'a produit que des gains marginaux sur VKnowU (+1,3 %) par rapport aux benchmarks généraux, suggérant que la performance est limitée par l'ancrage visuel plutôt que par la capacité de modélisation linguistique.

Performance de VideoKnow+

L'entraînement de VideoKnow+ sur VKnowQA avec la structure Voir–Penser–Répondre et la récompense de connaissance visuelle a produit des améliorations significatives :

• VKnowU : A obtenu une amélioration de +3,7 % par rapport au modèle de base (Qwen2.5-VL-7B).
• Généralisation : A démontré des gains constants sur d'autres benchmarks vidéo :
  • MVBench : +5,4 %
  • Video-MME : +7,0 %
  • MMVU : +5,7 %
• Ablation : La combinaison du réglage fin supervisé (SFT) pour le format structuré et de GRPO avec la récompense de connaissance visuelle ($r_v$) s'est avérée être la stratégie la plus efficace.

Signification et Revendications

L'article affirme que la connaissance visuelle est une pierre angulaire manquante pour développer des MLLM généralisables. Les auteurs soutiennent que :

1. Limitations Actuelles : Les objectifs standards de prédiction du prochain jeton (next-token prediction) peinent à capturer les dynamiques physiques implicites et les nuances sociales uniquement via une supervision alignée sur le texte.
2. Le Pont : La connaissance visuelle sert de couche intermédiaire critique qui réduit la dépendance excessive aux priors linguistiques et atténue les hallucinations.
3. Apprentissabilité : Les résultats démontrent que la connaissance visuelle est apprenable. En structurant explicitement le processus de raisonnement (Voir–Penser–Répondre) et en récompensant le modèle pour ancrer ses réponses dans des preuves visuelles, les MLLM peuvent atteindre une compréhension plus robuste et plus humaine.
4. Outil de Diagnostic : VKnowU fournit un outil de diagnostic précis qui dissocie l'ancrage physique du raisonnement social, révélant que ceux-ci sont des sous-systèmes cognitifs largement indépendants dans les modèles actuels.

Ce travail positionne l'intégration explicite de la connaissance visuelle comme une étape nécessaire pour faire progresser les MLLM de la simple « vision » vers une véritable « compréhension » des mondes physiques et sociaux.