💻 computer science

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

Cet article introduit Mixture of Probes (MoP), un nouveau cadre qui exploite des modalités privilégiées disponibles uniquement lors de l'entraînement pour améliorer significativement les modèles de langage multimodaux en séparant les signaux spécifiques à chaque modalité et les signaux généraux grâce à un sondage structuré et une stratégie d'entraînement cross-modale spécialisée, atteignant ainsi des gains de performance substantiels même lorsque les modalités auxiliaires sont absentes lors de l'inférence.

Auteurs originaux : Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dominick Reilly, Qiyu Wu, Hiromi Wakaki, Srijan Das, Yuki Mistufuji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraîniez un robot super intelligent à comprendre le monde. Habituellement, vous lui donneriez une caméra, un microphone et peut-être même un capteur de profondeur 3D d'un coup, en espérant qu'il apprenne à voir, entendre et ressentir tout parfaitement. Mais voici le hic : dans le monde réel, ce robot pourrait n'avoir qu'une caméra bon marché lorsqu'il sort pour faire son travail. Il n'aura plus ce capteur 3D sophistiqué ou ce microphone de haute qualité.

C'est le problème de la « modalité privilégiée ». Vous avez tous les outils sophistiqués pendant l'entraînement, mais vous n'avez qu'un seul outil simple lors du test réel.

L'ancienne méthode : Un mélangeur confus

La plupart des modèles d'IA actuels essaient de résoudre cela en jetant simplement toutes les données (vidéo, audio, profondeur) dans un grand mélangeur en espérant qu'elles se mélangent en un smoothie parfait. Ils traitent chaque capteur comme s'il s'agissait simplement d'une saveur différente du même ingrédient.

L'article soutient que cette approche échoue. Il suggère que le simple fait de tout mélanger ne l'aide pas le robot à apprendre comment utiliser le capteur 3D sophistiqué pour mieux utiliser la caméra bon marché plus tard. En fait, les auteurs ont découvert que le simple fait de s'entraîner sur tous ces capteurs à la fois donne souvent de moins bons résultats que de s'entraîner sur le seul capteur que vous utiliserez réellement. C'est comme essayer d'apprendre à conduire une voiture en étant assis dans un cockpit où un volant, un gouvernail et une série de rames sont tous attachés au même siège ; on finit juste par être confus.

La nouvelle idée : Le « Mélange de Sondes » (MoP)

Les auteurs proposent une nouvelle méthode appelée Mixture of Probes (MoP). Au lieu d'un mélangeur, voyez le MoP comme une équipe de détectives spécialisés travaillant à l'intérieur du cerveau du robot.

À l'intérieur du « cerveau » du robot (la partie qui traite les images et les sons), il y a des couches de pensée, comme les étages d'un gratte-ciel. Les anciens modèles ne regardaient que le dernier étage pour prendre des décisions. Le MoP, cependant, envoie deux types de détectives vérifier chaque étage :

Les Détectives Spécialisés (Sondes spécifiques à la modalité) : Ces gars sont des experts dans un seul domaine. Un détective ne regarde que la vidéo, un autre ne regarde que l'audio, et un autre ne regarde que les données de profondeur. Ils apprennent les particularités uniques de leur capteur spécifique.
Les Détectives Généraux (Sondes générales à la modalité) : Ce sont les penseurs de la « vue d'ensemble ». Ils regardent tous les capteurs pour trouver les vérités communes qui s'appliquent à tout, qu'il s'agisse de son ou de vue.

La recette secrète : Les garder séparés

Voici la partie la plus importante : l'article soutient explicitement que vous devez garder ces deux types de détectives séparés. S'ils commencent à trop se parler ou à copier les notes les uns des autres, ils s'effondrent en un groupe banal et générique qui n'apprend rien de nouveau.

Pour empêcher cela, les auteurs ont inventé une règle spéciale appelée la « Perte de désenchevêtrement des sondes » (Probe Disentanglement Loss). Imaginez cela comme un professeur strict qui vérifie constamment les carnets de notes des détectives. Si le « Détective Vidéo » commence à écrire les mêmes notes que le « Détective Audio », le professeur lui tape sur la main et dit : « Non ! Tu dois trouver ce qui est unique à toi ! » Cela force le robot à garder les détails uniques de chaque capteur séparés des connaissances générales qu'ils partagent.

Est-ce que ça a marché ? Les chiffres

Les auteurs ont testé cela sur deux grands défis :

La vie quotidienne (ADL) : Ils ont entraîné le robot avec de la vidéo égocentrée (ce que vous voyez de vos propres yeux), de la vidéo exocentrée (ce qu'une caméra voit de loin) et des données de profondeur. Ensuite, ils l'ont testé en utilisant un seul de ces éléments à la fois.
La musique : Ils l'ont entraîné avec de l'audio et de la vidéo de musique, puis l'ont testé en utilisant uniquement l'audio ou uniquement la vidéo.

Les résultats étaient assez clairs :

L'approche « Mélangeur » (Naive MLLM) : Lorsqu'ils ont simplement tout mélangé sans les détectives spécialisés, le robot ne s'est pas beaucoup amélioré. Dans le test de la vie quotidienne, il a obtenu environ 72,96 % sur la vidéo égocentrée.
L'approche MoP : Avec les détectives spécialisés et généraux gardant leurs notes séparées, le robot a bondi à 79,46 % sur cette même tâche. C'est une amélioration de 6,50 % simplement en utilisant les capteurs supplémentaires pendant l'entraînement !
Plus impressionnant encore, lorsque le robot a été testé en utilisant uniquement le capteur de Profondeur (qu'il n'avait jamais vu seul auparavant), le MoP a fait passer le score de 54,37 % à 66,21 %. C'est un bond massif de 11,84 %.

Dans les tests de musique, le MoP a également battu les autres méthodes, montant de 5,45 % sur les tests audio uniquement et de 1,64 % sur les tests vidéo uniquement.

Ce que cela signifie (et ce que cela ne signifie pas)

L'article suggère qu'en séparant le « spécial » du « général », nous pouvons apprendre à un robot à utiliser ses outils d'entraînement sophistiqués pour devenir un maître de ses outils simples du monde réel.

Cependant, les auteurs sont prudents et notent quelques limites :

Cela ne fonctionne que si le robot utilise un cerveau unique et partagé (un encodeur universel) pour traiter tous les capteurs. Cela ne fonctionne pas si le robot possède des cerveaux totalement distincts pour chaque capteur.
Ils n'ont testé le robot que lorsqu'il possédait un seul capteur au moment du test. Ils n'ont pas testé ce qui se passe si le robot possède deux capteurs à la fin.
Les résultats sont basés sur des jeux de données spécifiques (comme Ego-in-Exo Perception et Music-AVQA), donc bien que les mathématiques semblent solides, c'est une suggestion que cette méthode pourrait fonctionner ailleurs, et non une garantie pour chaque robot du monde.

En résumé, l'article suggère que si vous voulez que votre IA soit intelligente avec des outils limités, ne vous contentez pas de tout lui donner en espérant que tout se passe bien. Donnez-lui une équipe de spécialistes et un généraliste, assurez-vous qu'ils ne se copient pas, et laissez-les apprendre des outils sophistiqués pour qu'ils puissent briller avec les outils simples.

Résumé Technique : Mixture of Probes (MoP) pour les Modalités Privilégiées dans les MLLM

1. Formulation du Problème : Le Cadre de la Modalité Privilégiée

Les modèles de langage multimodaux à grande échelle (MLLM) sont généralement conçus selon l'hypothèse que toutes les modalités disponibles lors de l'entraînement (par exemple, vidéo, profondeur, audio) seront également accessibles lors de l'inférence. Cependant, le déploiement en conditions réelles viole souvent cette hypothression. Un modèle peut être entraîné avec des flux auxiliaires riches (modalités privilégiées) mais doit opérer en utilisant une seule modalité, moins coûteuse ou plus fiable, lors du test. Ce scénario est défini comme le cadre de la modalité privilégiée.

Les MLLM existants peinent dans ce cadre car ils traitent principalement les modalités comme des entrées interchangeables à aligner dans un espace de représentation partagé. Ils ne parviennent pas à exploiter efficacement les modalités auxiliaires disponibles uniquement pendant l'entraînement pour améliorer la performance sur la modalité cible lors de l'inférence. Les auteurs identent deux limitations clés des approches actuelles :

Représentations de modalités sous-optimales : Les nouvelles modalités sont souvent incorporées via des encodeurs partagés avec une adaptation limitée aux couches finales, négligeant les caractéristiques intermédiaires qui capturent des signaux de bas niveau spécifiques à la modalité.
Représentations transmodales non structurées : Les méthodes existantes manquent de mécanismes explicites pour désentrelacer l'information générale à la modalité (transférable entre les modalités) de l'information spécifique à la modalité, entravant un transfert de connaissances efficace.

2. Méthodologie : Mixture of Probes (MoP)

Pour répondre à ces limitations, les auteurs proposent Mixture of Probes (MoP), un cadre conçu pour désentrelacer les signaux spécifiques à la modalité et les signaux généraux à la modalité au sein d'un MLLM. L'intuition centrale, inspirée par les neurosciences et l'Hypothèse de Focalisation de la Modalité, est qu'un transfert transmodal efficace nécessite de préserver les structures uniques de chaque modalité tout en isolant les abstractions partagées.

2.1 Architecture

MoP augmente une architecture MLLM unifiée standard (constituée de tokenizer spécifiques à la modalité, d'un encodeur de modalité universel, d'un connecteur et d'un LLM) avec un mécanisme de sondage structuré :

Encodeur de Modalité Universel : Un encodeur Transformer partagé traite les entrées tokenisées de toutes les modalités dans un espace latent commun.
Sondes Apprenables (Learnable Probes) : Au lieu de s'appuyer uniquement sur la dernière couche de l'encodeur, MoP introduit deux familles de tokens apprenables (sondes) qui interagissent avec les représentations intermédiaires de l'encodeur :
- Sondes Spécifiques à la Modalité ( $P^m_s$ ) : Un ensemble de sondes conditionnées uniquement par une modalité $m$ spécifique. Elles capturent les signaux propres à cette modalité.
- Sondes Générales à la Modalité ( $P_g$ ) : Un ensemble partagé de sondes conditionnées par toutes les modalités. Elles capturent les informations structurelles communes entre les modalités.
Interaction par Couche : Les deux ensembles de sondes sont mis à jour à chaque couche $l$ de l'encodeur via une attention croisée (cross-attention) avec les états cachés de l'encodeur ( $H^m_l$ ). Les sondes agissent comme des requêtes (queries), extrayant les indices saillants des représentations intermédiaires qui pourraient être perdus dans la couche finale.
Intégration : Après la dernière couche de l'encodeur, les tokens des sondes sont projetés dans l'espace d'embedding du LLM et concaténés avec les tokens de modalité standards avant d'être injectés dans le LLM.

2.2 Entraînement Transmodal MoP (MoP-X)

Pour garantir que les sondes apprennent des représentations distinctes et facilitent le transfert transmodal, les auteurs introduisent une stratégie d'entraînement spécifique :

Perte de Désentrelacement des Sondes ( $\mathcal{L}_{dis}$ ) : Une fonction de perte qui pénalise explicitement la similitude entre les sondes spécifiques à la modalité et les sondes générales à la modalité, ainsi qu'entre les différentes sondes spécifiques à la modalité. Cela empêche l'effondrement des sondes (où les sondes convergent vers des représentations identiques) et encourage le modèle à apprendre des caractéristiques spécialisées et orthogonales.
Batching Entrelacé des Modalités : Contrairement aux méthodes qui entraînent les modalités de manière séquentielle ou isolée, MoP-X construit des mini-lots (mini-batches) en échantillonnant simultanément des exemples de plusieurs modalités. Cela garantit que les composants partagés (comme les sondes générales à la modalité) sont exposés à des signaux hétérogènes au sein d'une même étape d'optimisation, facilitant l'interaction transmodale indirecte.

L'objectif d'entraînement total combine la perte standard de modélisation de langage autorégressive ( $\mathcal{L}_{AR}$ ) avec la perte de désentrelacement :
$\mathcal{L} = \mathcal{L}_{AR} + \lambda \mathcal{L}_{dis}$

3. Évaluation Expérimentale

Les auteurs évaluent MoP sur deux domaines, huit tâches et quatre modalités selon un protocole rigoureux où chaque modalité est traitée comme l'unique entrée lors de l'inférence.

3.1 Domaines et Benchmarks

Activités de la Vie Quotidienne (ADL) : Évalué sur le benchmark Ego-in-Exo Perception. L'entraînement utilise de la vidéo égocentrée, de la vidéo exocentrée et de la profondeur. L'inférence est testée séparément sur les modalités égocentrée, exocentrée et de profondeur.
Compréhension Musicale : Évalué sur Music-AVQA. L'entraînement utilise des données audio-visuelles appariées. L'inférence est testée séparément sur les modalités audio et vidéo.

3.2 Baselines (Modèles de Référence)

MoP est comparé à :

MLLM Unimodal : Entraîné uniquement sur la modalité cible d'inférence.
MLLM Naïf : Entraîné conjointement sur toutes les modalités sans mécanismes transmodaux structurés.
MLLM État de l'Art : Incluant X-InstructBLIP et OneLLM, qui se concentrent sur l'alignement multimodal.

3.3 Résultats Clés

Performance Supérieure : MoP surpasse systématiquement toutes les baselines sur toutes les modalités d'inférence. Dans le domaine ADL, il atteint jusqu'à 65 % d'amélioration relative par rapport aux baselines fortes dans des configurations spécifiques (ex: inférence de profondeur).
Apprentissage Privilégié Efficace : Contrairement au MLLM Naïf, qui échoue souvent à s'améliorer par rapport aux baselines unimodales lorsqu'il est entraîné sur plusieurs modalités, MoP exploite avec succès les modalités auxiliaires pour booster la performance de la modalité unique.
Études d'Ablation :
- Types de Sondes : Supprimer soit les sondes spécifiques à la modalité, soit les sondes générales à la modalité dégrade les performances, confirmant la nécessité des deux.
- Perte de Désentrelacement : La perte est critique ; sans elle, la variance des sondes s'effondre et les performances chutent significativement.
- Profondeur de Sondage : Le sondage à chaque couche de l'encodeur donne les meilleurs résultats, suggérant l'intérêt d'extraire des signaux tout au long de la profondeur du modèle.
- Mise à l'échelle des Données : MoP démontre des gains de performance constants à mesure que les données d'entraînement augmentent, tandis que les MLLM Naïfs montrent des rendements décroissants.

4. Contributions et Signification

Le papier revendique les contributions suivantes :

Formalisation du Cadre de la Modalité Privilégiée : Les auteurs formalisent le scénario où des modalités auxiliaires enrichissent l'entraînement mais sont absentes lors de l'inférence, démontrant que l'entraînement multimodal standard échoue à exploiter cette asymétrie.
Mixture of Probes (MoP) : Une nouvelle architecture qui apprend des représentations désentrelacées via un sondage structuré à travers la profondeur d'un encodeur universel, séparant les signaux spécifiques à la modalité des abstractions générales à la modalité.
Entraînement Transmodal MoP (MoP-X) : Une stratégie d'entraînement comprenant une perte de désentrelacement des sondes et un batching entrelacé pour imposer la séparation des représentations et promouvoir l'interaction transmodale.
Validation Empirique : Une évaluation complète montrant que les modalités auxiliaires, lorsqu'elles sont correctement exploitées via MoP, peuvent considérablement améliorer la performance d'inférence d'une modalité unique, surpassant à la fois les modèles unimodaux et les méthodes d'alignement multimodal existantes.

Signification : Ce travail remet en question le paradigme dominant consistant à traiter les modalités simplement comme des entrées interchangeables pour l'alignement. Au lieu de cela, il postule que la clé pour exploiter l'information privilégiée réside dans la structuration explicite du modèle pour séparer ce qui est unique à une modalité de ce qui est partagé. Cela permet aux MLLM de "apprendre de" données riches, indisponibles lors de l'inférence, pour devenir plus robustes et capables dans des scénarios de déploiement contraints à modalité unique.

Limitations : Les auteurs notent que MoP suppose actuellement un encodeur de modalité universel et ne s'étend pas directement à des encodeurs spécifiques à la modalité hétérogènes. De plus, l'étude se concentre strictement sur le cadre d'inférence à modalité unique, laissant les scénarios d'inférence multimodale aux travaux futurs.