Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

Ce papier propose VLC, une méthode neuro-symbolique qui combine la reconnaissance de concepts par des modèles vision-langage avec un raisonnement symbolique basé sur des circuits, démontrant ainsi une capacité de raisonnement robuste face aux décalages de distribution que les approches d'apprentissage profond classique ou neuro-symboliques existantes peinent à garantir.

L'essentiel

🎨 Le Titre : Les VLMs sont-ils de vrais détectives ou de simples caméléons ?

Imaginez que vous avez un super-héros de l'IA appelé un "Modèle Vision-Langage" (VLM). C'est un robot très intelligent qui peut regarder une photo et lire des mots. On lui demande souvent de résoudre des énigmes : "Regarde cette image de chiffres et dis-moi combien ça fait si on les additionne."

Les chercheurs de ce papier se sont posé une question cruciale : Ce robot est-il vraiment intelligent, ou est-il juste en train de deviner ?

Pour le savoir, ils ont créé un test spécial où ils changent les règles du jeu sans changer la logique. C'est comme si vous appreniez à un enfant à additionner avec des pommes, et ensuite, vous lui donniez des oranges. Si l'enfant comprend la logique de l'addition, il réussira. S'il a juste mémorisé "les pommes", il échouera.

---

🧪 Le Problème : L'élève qui apprend par cœur

Les chercheurs ont d'abord essayé d'entraîner ces robots de la manière habituelle : on leur montre des milliers d'exemples et on les corrige (c'est ce qu'on appelle l'apprentissage "de bout en bout").

• Résultat : Sur les exercices qu'ils ont vus à l'école (les pommes), ils sont excellents, presque parfaits.
• Le piège : Dès qu'on leur donne un exercice un peu différent (plus de pommes, ou des oranges), ils paniquent et échouent lamentablement.

L'analogie du Caméléon :
Ces robots agissent comme un caméléon. Ils changent de couleur pour correspondre à leur environnement immédiat (les données d'entraînement), mais ils ne comprennent pas pourquoi ils changent de couleur. Ils n'ont pas appris la "règle" de l'addition ou de la logique, ils ont juste appris à reconnaître des motifs statistiques. C'est comme un étudiant qui a appris par cœur les réponses d'un examen, mais qui est perdu dès qu'une seule question est reformulée.

---

🛠️ La Solution : VLC (Le Binôme Parfait)

Pour résoudre ce problème, les auteurs proposent une nouvelle méthode appelée VLC. Au lieu de faire travailler un seul robot géant sur tout le problème, ils découpent le travail en deux étapes distinctes, comme un duo de détectives :

1. Le Premier Détective : L'Observateur (La Vision)

C'est le modèle de vision (le VLM). Sa seule mission est de regarder la photo et de dire : "Je vois un chiffre 6, un chiffre 4 et un chiffre 0."
Il est très fort pour reconnaître les objets, un peu comme un expert en identification visuelle.

2. Le Second Détective : Le Logicien (Le Symbole)

C'est là que la magie opère. Au lieu de laisser le robot "deviner" la réponse, on lui donne un manuel d'instructions infaillible (un circuit symbolique).

• Imaginez que c'est une machine à calculer mécanique ou une recette de cuisine rigoureuse.
• Une fois que l'Observateur a dit "6, 4, 0", le Logicien prend ces chiffres et applique la règle mathématique exacte (l'addition) qu'on lui a programmée à l'avance.

L'analogie du Chef et du Cuisinier :

• Le VLM est le cuisinier qui regarde les ingrédients dans le frigo et dit : "Il y a des tomates et du basilic".
• Le Circuit Symbolique est le chef qui a la recette exacte écrite sur une carte. Il ne devine pas, il suit la recette : "Si tu as des tomates et du basilic, tu fais une sauce tomate".
• Même si le cuisinier change de frigo (de nouvelles images), tant qu'il sait nommer les ingrédients, le chef appliquera toujours la bonne recette.

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cette méthode sur trois types d'énigmes visuelles :

1. Addition de chiffres (MNAdd).
2. Logique "OU" exclusif (XOR) sur des chiffres binaires.
3. Vérification de règles (tous les triangles sont-ils rouges ?).

Ce qu'ils ont découvert :

• Les robots classiques (qui apprennent par cœur) échouent dès qu'on change le nombre d'objets dans l'image.
• Les robots "VLC" (Observateur + Logicien) réussissent toujours, même si l'image change radicalement.
• Même si on grossit la taille des robots classiques (en ajoutant plus de puissance), ils ne deviennent pas meilleurs en logique. Ils restent de mauvais détecteurs de règles.
• En revanche, VLC devient de plus en plus fort à mesure que l'Observateur s'améliore, car la partie "Logicien" est déjà parfaite.

💡 La Leçon à retenir

Ce papier nous apprend que pour qu'une intelligence artificielle soit robuste (c'est-à-dire fiable dans le monde réel où tout change), il ne suffit pas de lui donner plus de données ou de la rendre plus grosse.

Il faut séparer la perception de la logique.

• Laissez l'IA utiliser sa puissance pour voir et comprendre ce qu'il y a dans l'image.
• Mais pour raisonner, donnez-lui des règles claires et explicites (comme un code ou une formule mathématique) qu'elle doit suivre à la lettre.

C'est comme dire à un élève : "Tu as le droit d'utiliser ta calculatrice pour voir les chiffres, mais tu dois utiliser ta règle de trois pour trouver la réponse." C'est ainsi qu'on obtient une intelligence qui ne se trompe pas, même quand le monde change autour d'elle.

Résumé technique

1. Problématique et Contexte

Les modèles Vision-Language (VLM) ont démontré des capacités impressionnantes dans de nombreuses tâches de raisonnement. Cependant, il reste incertain de savoir si ces modèles peuvent raisonner de manière robuste face à des déplacements de covariables (covariate shifts).

• Le problème : Un déplacement de covariables se produit lorsque la distribution des entrées perceptives (par exemple, le nombre d'objets dans une image) change, tandis que les règles sous-jacentes de prédiction restent identiques.
• L'observation préliminaire : Les auteurs constatent que les VLMs, même après un fine-tuning (ajustement fin) par descente de gradient, obtiennent une haute précision sur les données de la distribution d'entraînement (in-distribution) mais échouent à généraliser sur des données hors distribution (OOD) où la complexité perceptuelle varie (ex: plus d'objets), même si la fonction de raisonnement logique est la même. Cela suggère que le fine-tuning end-to-end n'apprend pas la fonction de raisonnement sous-jacente, mais mémorise plutôt des caractéristiques statistiques superficielles.
• Limites des approches existantes : Les approches neuro-symboliques récentes qui tentent de découpler la perception du raisonnement (comme Prism et ViperGPT) utilisent des composants "boîte noire" (LLMs ou générateurs de code) pour la phase de raisonnement. Les auteurs montrent que ces méthodes manquent toujours de robustesse et d'inconsistance selon les tâches.

2. Méthodologie : VLC (Vision-Language Circuit)

Pour résoudre ce problème, les auteurs proposent VLC, une méthode neuro-symbolique qui découple explicitement la perception du raisonnement en deux phases séquentielles :

Phase I : Reconnaissance de concepts par VLM

• Un VLM (modèle Vision-Language) est utilisé comme module neuronal pour identifier les concepts d'objets dans l'image (ex: chiffres, couleurs, formes).
• Le modèle est sollicité via des prompts avec few-shot learning (exemples en contexte) pour extraire les concepts sous forme de texte structuré.
• Ces concepts sont ensuite convertis en valeurs binaires ou numériques servant d'entrées pour la phase suivante.

Phase II : Raisonnement symbolique par Circuit

• Au lieu d'utiliser un LLM pour déduire la réponse, les règles logiques de la tâche sont compilées en un programme symbolique, spécifiquement un circuit booléen (utilisant des Diagrammes Décisionnels Sententiels ou SDD via le compilateur pySDD).
• Ce circuit encode exactement la fonction de raisonnement (ex: addition, XOR, vérification relationnelle).
• Le circuit exécute les règles de manière déterministe sur les concepts reconnus par le VLM pour produire la réponse finale.

Principe clé : La fonction de raisonnement est encodée explicitement dans le circuit, éliminant la nécessité pour le modèle d'apprendre cette logique via des gradients. Le système ne dépend de l'apprentissage profond que pour la perception, pas pour la logique.

3. Contributions Clés

1. Proposition de VLC : Une nouvelle architecture neuro-symbolique qui combine la reconnaissance de concepts par VLM et le raisonnement symbolique basé sur des circuits.
2. Investigation empirique du fine-tuning : Démonstration que le fine-tuning end-to-end des VLMs ne permet pas d'apprendre la fonction de raisonnement sous-jacente, car les modèles échouent à généraliser sous des déplacements de covariables.
3. Analyse des approches neuro-symboliques existantes : Mise en évidence du fait que les méthodes reposant sur des composants boîte noire (LLMs pour le raisonnement, comme Prism et ViperGPT) sont peu fiables et manquent de robustesse, car elles dépendent de la capacité de raisonnement intrinsèque et variable des LLMs.
4. Validation de la robustesse : Preuve que VLC atteint une performance constante et élevée sur des tâches de raisonnement déductif visuel avec des ensembles de règles distincts, même lorsque le nombre d'objets dans l'image varie considérablement.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois tâches de raisonnement déductif visuel générées via la suite de benchmarks rsbench :

• MNAdd : Addition de nombres écrits à la main (fonction arithmétique).
• MNLogic : Calcul du XOR logique d'une séquence de bits (fonction logique).
• KandLogic : Vérification relationnelle (tous les objets de même forme ont-ils la même couleur ?).

Comparaison des performances (déplacement de covariables) :

• VLMs Fine-tuned (End-to-End) : Excellents sur les données d'entraînement (ex: 3 objets), mais effondrement total sur les données OOD (5 ou 7 objets). Par exemple, sur MNAdd, la précision chute de ~80% à ~1-2% lors du passage de 3 à 7 chiffres.
• Prism & ViperGPT : Performances inégales. Prism fonctionne bien pour l'arithmétique mais échoue sur le logique. ViperGPT dépend fortement de la qualité des modèles de détection sous-jacents et de la génération de code, entraînant des erreurs de propagation.
• VLC : Démonstration d'une robustesse supérieure.
  • Sur les tâches avec déplacement de covariables, VLC maintient des performances élevées (ex: ~92% sur KandLogic-7obj vs ~57% pour le fine-tuning).
  • L'analyse montre que la précision de la tâche de VLC correspond presque parfaitement à sa précision de reconnaissance de concepts, confirmant que le module de raisonnement (le circuit) est parfait et ne introduit pas d'erreurs.

Études d'ablation :

• Mise à l'échelle (Scaling) : Augmenter la taille du VLM améliore la reconnaissance de concepts, mais n'améliore pas nécessairement la capacité de raisonnement dans un cadre end-to-end.
• Fine-tuning sur la reconnaissance : Un fine-tuning spécifique pour la reconnaissance de concepts améliore les performances de VLC sur les données OOD, confirmant que la goulée d'étranglement est la perception, et non le raisonnement.

5. Signification et Implications

Ce travail remet en question l'hypothèse selon laquelle le simple fine-tuning ou la mise à l'échelle des modèles VLM suffira à obtenir un raisonnement robuste.

• Découplage Perception/Raisonnement : L'article valide l'approche neuro-symbolique où le raisonnement est externalisé vers des structures symboliques explicites (circuits). Cela permet d'obtenir une interprétabilité totale et une robustesse garantie pour les règles logiques connues.
• Limites des LLMs comme moteurs de raisonnement : Il démontre que les LLMs, même puissants, ne sont pas des moteurs de raisonnement fiables pour des tâches logiques strictes sous des distributions variables, car ils ne généralisent pas les règles de manière déterministe.
• Perspectives futures : Les auteurs suggèrent que pour des applications réelles, il faudra développer des méthodes capables d'extraire automatiquement les règles symboliques à partir de descriptions en langage naturel et de créer des modules symboliques flexibles capables de gérer plusieurs fonctions de raisonnement sans reconfiguration manuelle.

En résumé, VLC propose une voie prometteuse pour construire des systèmes d'IA visuels capables de raisonner de manière fiable et robuste, en combinant la puissance de perception des grands modèles de fondation avec la rigueur des programmes symboliques.