Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

Titre : Les LLM et les VLM partagent-ils des neurones pour l'inférence ? Preuves et mécanismes de transfert intermodal

1. Problématique

Les modèles de vision-langage (LVLM) ont connu des progrès rapides dans des tâches comme la description d'images ou la recommandation. Cependant, ils restent nettement en retrait par rapport aux grands modèles de langage (LLM) textuels purs lorsqu'il s'agit de raisonnement multi-étapes et de prise de décision compositionnelle.

Les approches actuelles pour combler cet écart reposent principalement sur l'augmentation de la taille des modèles et l'ajout de données multimodales. Toutefois, ces méthodes se heurtent à deux obstacles majeurs :

1. Le manque de données appariées "image-rationale" par rapport aux vastes corpus textuels.
2. L'incertitude quant à la manière de transférer les capacités de raisonnement matures des LLM vers les environnements multimodaux.

La question centrale de cet article est la suivante : Peut-on exploiter les capacités d'inférence matures des LLM pour améliorer les LVLM à un coût réduit, en exploitant des similarités structurelles internes ?

2. Méthodologie

Les auteurs adoptent une approche en deux temps : d'abord une analyse empirique pour identifier les mécanismes communs, puis une proposition de méthode de fusion paramétrique.

A. Analyse des Neurones Partagés (Preuve Empirique)

• Profilage d'activation : Les auteurs analysent les activations neuronales au niveau des unités individuelles (lignes/colonnes des matrices de poids) lors de tâches d'inférence. Ils comparent des paires de modèles (ex: Qwen2.5-VL vs Qwen2.5-Math, Idefics3 vs Deepseek-LLaMA3).
• Définition des neurones d'inférence : Un neurone est considéré comme "activé" si sa désactivation entraîne une modification significative de l'embedding de sortie.
• Identification de l'intersection : Ils calculent l'intersection des ensembles de neurones les plus activés dans les LLM et les LVLM.
• Validation Causale (Amplification) : Pour comprendre la fonction de ces neurones, ils amplifient leurs activations pendant le passage avant (forward pass) et mesurent l'impact sur la génération de tokens. Cela permet de révéler les concepts sémantiques codés par ces neurones.

B. Proposition : SNRF (Shared Neuron Low-Rank Fusion)
Basé sur la découverte que les neurones d'inférence sont partagés, les auteurs proposent SNRF, un cadre de fusion paramétrique efficace :

1. Identification : Repérage des neurones partagés ($S_{\ell,p}$) entre le modèle source (LLM textuel) et le modèle cible (LVLM) via un profilage d'activation.
2. Différence de poids : Calcul de la différence de poids entre les deux modèles ($\Delta = W_{src} - W_{tgt}$).
3. Approximation de rang faible : Application d'une décomposition en valeurs singulières (SVD) sur cette différence pour obtenir une approximation de rang $r$ ($\Delta^{(r)}$).
4. Fusion Sélective : Mise à jour des poids du modèle cible uniquement sur le sous-espace des neurones partagés :
   $$\tilde{W}_{\ell,p} = W_{tgt} + \beta \cdot M_{S_{\ell,p}}(\Delta^{(r)}_{\ell,p})$$
   Où $M$ est un masque qui ne conserve que les neurones partagés, et $\beta$ contrôle l'intensité de la mise à jour.

Cette méthode permet d'injecter les circuits d'inférence du LLM dans le LVLM sans nécessiter de fine-tuning multimodal à grande échelle.

3. Contributions Clés

1. Découverte d'un sous-espace de neurones partagé : L'article démontre empiriquement que plus de 50 % (et jusqu'à 74,5 % dans certains cas comme Qwen2.5) des neurones les plus activés lors de tâches d'inférence sont communs aux LLM et aux LVLM, malgré leurs différences de modalités et de corpus d'entraînement.
2. Interprétabilité et Causalité : L'analyse par amplification révèle que ces neurones partagés codent des concepts interprétables et cohérents, notamment liés aux mathématiques (algèbre, géométrie, nombres). Leur désactivation entraîne un effondrement des performances d'inférence, prouvant leur rôle causal et indispensable.
3. Méthode SNRF : Introduction d'une technique de fusion de paramètres efficace qui transfère les capacités d'inférence textuelles vers les modèles multimodaux en ciblant uniquement les neurones partagés, préservant ainsi les capacités de perception visuelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks multimodaux (MathVista, MME, POPE, ScienceQA, MMMU, MMMU-Pro) avec des modèles de 3B à 8B paramètres.

• Amélioration du Raisonnement : SNRF améliore systématiquement les performances des LVLM sur les tâches d'inférence complexe.
  • Sur MathVista, gains moyens de +2,0 points pour la solution et +1,66 pour le Chain-of-Thought (CoT).
  • Sur ScienceQA, amélioration significative (+7,64 en moyenne), confirmant le transfert de primitives mathématiques/scientifiques.
  • Sur MMMU-Pro (version difficile), gains notables (ex: +0,063 sur Qwen2.5-VL-7B).
• Préservation des Capacités de Perception : Contrairement aux méthodes d'entraînement complet qui peuvent dégrader la perception, SNRF maintient les scores de détection d'hallucinations (POPE) et de perception globale (MME) stables, voire légèrement améliorés.
• Comparaison avec les Baselines : SNRF surpasse les méthodes de fusion linéaire classiques (Linear Merge, DARE, FRANK) et les approches basées sur l'entraînement (SFT, RL), en particulier sur les tâches de vérification rigoureuse (MMMU-Pro).
• Efficacité Paramétrique : La méthode ne modifie qu'une fraction infime des paramètres (uniquement les neurones partagés via une mise à jour de rang faible), évitant le coût computationnel du fine-tuning multimodal.

5. Signification et Impact

Cet article apporte une preuve fondamentale que les LLM et les LVLM ne sont pas des entités totalement disjointes, mais qu'ils partagent un sous-espace d'inférence modalement invariant.

• Théorique : Cela suggère que le raisonnement complexe (surtout mathématique) repose sur des circuits neuronaux spécifiques qui sont réutilisés et réactivés indépendamment de la modalité d'entrée (texte ou image).
• Pratique : La méthode SNRF offre une voie peu coûteuse pour doter les modèles multimodaux de capacités de raisonnement avancées. Au lieu d'attendre des données multimodales massives et rares, on peut "injecter" le savoir d'inférence de modèles textuels matures directement dans les LVLM.
• Futur : Cela ouvre la porte à des stratégies de transfert de connaissances inter-modales plus intelligentes, ciblant des sous-ensembles de paramètres spécifiques plutôt que des ajustements globaux.

En résumé, l'article démontre que le "cerveau" d'inférence des modèles de langage est largement partagé avec celui des modèles vision-langage, et que l'exploitation de ce partage permet d'améliorer significativement le raisonnement multimodal sans sacrifier la perception.