🤖 machine learning

MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning

MultiLoReFT est un cadre de réglage fin à faible rang efficace qui découple les informations partagées et spécifiques à chaque modalité dans les modèles unimodaux préentraînés afin de permettre un apprentissage multimodal évolutif sans nécessiter de jeux de données appariés à grande échelle.

Auteurs originaux : Sana Tonekaboni, Viktoria Schuster, Caroline Uhler

Publié 2026-07-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sana Tonekaboni, Viktoria Schuster, Caroline Uhler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre le monde. En ce moment, la plupart des robots sont comme des spécialistes qui ne parlent qu'une seule langue : un robot voit des images mais ne comprend pas les mots, et un autre lit du texte mais ne peut pas voir d'images. Pour les faire travailler ensemble, nous essayons généralement de leur apprendre une toute nouvelle et immense langue à partir de zéro. Mais c'est comme essayer d'apprendre une toute nouvelle langue à un enfant en lui montrant simplement un dictionnaire sans aucune image — cela prend un temps infini et il faut des millions d'exemples pour réussir.

La grande idée dans ce domaine de l'informatique est l'« apprentissage multimodal », ce qui est juste une façon sophistiquée de dire « apprendre aux ordinateurs à utiliser différents sens à la fois, comme la vue et l'ouïe ». Le problème est que les données du monde réel sont désordonnées. Nous avons souvent un million de photos et un million de descriptions textuelles, mais elles ne sont pas parfaitement appariées comme dans un jeu de correspondance. De plus, lorsque nous forçons ces différents sens à se mélanger, ils s'emmêlent souvent. C'est comme verser du lait et du jus d'orange dans le même verre ; on obtient une boisson, mais on ne peut plus distinguer quelle partie est laquelle, et si l'on en renverse un peu, on perd toute la saveur. Les scientifiques veulent savoir : peut-on apprendre à un robot à garder le « lait » (les détails visuels uniques) et le « jus d'orange » (les détails sonores uniques) séparés, tout en les laissant se mélanger pour comprendre l'image globale, sans avoir besoin d'un million d'exemples parfaits ?

Entrez en scène MultiLoReFT, une nouvelle méthode ingénieuse qui agit comme un maître barman pour ces boissons numériques. Au lieu de tenter de reconstruire entièrement le robot à partir de zéro, MultiLoft prend deux spécialistes déjà intelligents et pré-entraînés (un pour les images, un pour le texte) et leur donne une petite mise à niveau efficace. Considérez cela comme l'ajout d'un ensemble spécial de « pailles de mélange » à leurs cerveaux. Ces pailles sont conçues pour faire deux choses à la fois : d'abord, elles extraient les parties de l'information sur lesquelles les deux sens sont d'accord (l'histoire partagée), et deuxièmement, elles gardent les parties qui sont propres à un seul sens (la texture visuelle spécifique ou le ton de voix unique) dans des compartiments séparés et bien rangés.

L'article montre que cette approche est étonnamment efficace. En utilisant une technique de « réglage fin de représentation de bas rang » (low-rank representation fine-tuning), la méthode ne modifie qu'une infime fraction du cerveau du robot, ce qui la rend rapide et peu coûteuse à entraîner. Les chercheurs ont testé cela sur des données fictives (où ils connaissaient la réponse exacte) et sur des ensembles de données du monde réel, comme des vidéos de personnes parlant ou des images avec des légendes dans différentes langues. Ils ont découvert que MultiLoReFT réussissait à démêler l'information : la partie « partagée » du cerveau a appris le sens général, tandis que les parties « uniques » ont préservé les détails spécifiques en toute sécurité.

Ce qui est vraiment génial, c'est que cette méthode ne se contente pas de séparer l'information ; elle rend le robot plus robuste. Si vous retirez un sens — par exemple, si vous coupez le son — le robot peut toujours deviner ce qui se passe parce que la partie « partagée » de son cerveau a appris à porter le poids du sens manquant. C'est comme si vous perdiez l'audition, mais que votre cerveau avait déjà appris à lire sur les lèvres si bien qu'il pouvait combler les lacunes. L'article suggère que cela fonctionne mieux que les anciennes méthodes qui tentent de tout broyer ensemble ou de forcer une séparation parfaite qui ne tient pas vraiment. Bien que les résultats soient très prometteurs dans les simulations et sur des ensembles de données réels spécifiques, les auteurs notent que c'est une étape en avant pour rendre l'IA plus efficace et compréhensible, particulièrement dans des domaines comme la santé où les données sont difficiles à obtenir et où comprendre pourquoi une décision a été prise est tout aussi important que la décision elle-même.

Résumé Technique : MultiLoReFT

1. Énoncé du Problème

L'apprentissage multimodal fait face à deux obstacles majeurs dans les applications réelles, particulièrement dans les domaines où les données sont rares comme la santé :

Rareté des données : Collecter des ensembles de données multimodaux appariés et alignés à grande échelle est souvent impraticable ou excessivement coûteux, ce qui rend difficile l'entraînement de bout en bout des modèles multimodaux.
Enchevêtrement : Les représentations multimodales existantes confondent fréquemment les informations partagées entre les modalités avec les informations spécifiques à chaque modalité. Cet enchevêtrement entrave l'interprétabilité et le contrôle, rendant difficile la compréhension de la contribution de chaque modalité à une décision ou la gestion robuste des modalités manquantes.

Bien que les méthodes de réglage fin efficace en paramètres (parameter-efficient fine-tuning) comme l'adaptation de bas rang (LoRA) et le réglage fin de la représentation de bas rang (LoReFT) offrent des alternatives efficaces au réglage fin complet pour les modèles unimodaux, elles n'ont pas été explicitement étendues pour désenchevêtrer les informations partagées et uniques dans les contextes multimodaux.

2. Méthodologie : MultiLoReFT

Les auteurs proposent MultiLoReFT, un cadre de réglage fin de la représentation de bas rang conçu pour adapter des encodeurs unimodaux pré-entraînés pour l'apprentissage multimodal. La méthode opère au-dessus d'encodeurs unimodaux pré-entraînés gelés, ne nécessant qu'un petit nombre de paramètres supplémentaires.

Architecture Centrale

Étant donné deux encodeurs unimodaux pré-entraînés ( $E_1, E_2$ ) produisant des représentations $h_1, h_2 \in \mathbb{R}^d$ , MultiLoReFT apprend des représentations ajustées $\Phi_1, \Phi_2$ qui décomposent l'information en :

Sous-espace Partagé ( $R_s$ ) : Capture l'information commune entre les modalités.
Sous-espaces Spécifiques aux Modalités ( $R_{m1}, R_{m2}$ ) : Capturent les signaux uniques propres à chaque modalité.

Le cadre applique des interventions structurées de bas rang directement sur les représentations pré-entraînées. La représentation ajustée $\Phi_i$ pour la modalité $i$ est calculée comme suit :
$\Phi_i = h_i + R_s^\top(f_{si}(h_i) - R_s h_i) + R_{mi}^\top(f_{mi}(h_i) - R_{mi} h_i)$
où $R_s, R_{mi} \in \mathbb{R}^{r \times d}$ sont des matrices de projection de bas rang, et $f_{si}, f_{mi}$ sont des transformations non linéaires légères apprises dans les sous-espaces de bas rang. Les termes $(f(h) - Rh)$ représentent les modifications appliquées dans l'espace de bas rang avant la projection vers la dimension d'origine.

Objectif d'Apprentissage

Contrairement au réglage fin supervisé, MultiLoReFT est entraîné à l'aide d'un objectif composite auto-supervisé qui impose des contraintes structurelles sur l'espace de représentation :
$\mathcal{L} = \lambda_1 \mathcal{L}_{indep} + \lambda_2 \mathcal{L}_{orth} + \lambda_3 \mathcal{L}_{MI}$

Perte d'Indépendance ( $\mathcal{L}_{indep}$ ) : Minimise la dépendance statistique entre les composantes partagées et spécifiques aux modalités (ainsi qu'entre les deux composantes spécifiques aux modalités) en utilisant le critère d'indépendance de Hilbert-Schmidt (HSIC). Cela empêche la fuite d'informations.
Perte d'Orthogonalité ( $\mathcal{L}_{orth}$ ) : Impose une disjointivité géométrique entre les sous-espaces en minimisant la norme de Frobenius des produits scalaires par paires des matrices de projection ( $R_s, R_{m1}, R_{m2}$ ).
Perte d'Information Mutuelle Cross-Modale ( $\mathcal{L}_{MI}$ ) : Utilise une perte de contraste de type InfoNCE pour garantir que les projections désenchevêtrées conservent suffisamment d'informations provenant des plongements unimodaux originaux et pour assurer la cohérence des composantes partagées à travers les modalités.

Élagage de Rang Adaptatif

Pour répondre au défi de la détermination de la dimensionnalité optimale des sous-espaces, MultiLoReFT emploie un mécanisme d'élagage adaptatif. Pendant l'entraînement, la décomposition en valeurs singulières (SVD) des matrices de projection est calculée. Les directions dont les valeurs singulières sont inférieures à un seuil $\epsilon$ sont élaguées, et les matrices sont mises à jour avec une base compressée. Ce mécanisme ajuste dynamiquement le rang en fonction du contenu informationnel, réduisant la redondance et éliminant le besoin de réglage manuel du rang.

3. Contributions Clés

Extension du Cadre : Étend le réglage fin de la représentation de bas rang (LoReFT) au contexte multimodal, permettant une fusion efficace des modèles unimodaux pré-entraînés.
Désenchevêtrement : Introduit une méthode pour apprendre explicitement des sous-espaces partagés et spécifiques orthogonaux, améliorant l'interprétabilité en révélant les contributions relatives de chaque modalité.
Efficacité Adaptative : Propose un mécanisme d'élagage de rang adaptatif qui sélectionne automatiquement les dimensions de sous-espace efficaces, produisant une paramétrisation compacte sans dégradation des performances.
Robustesse : Démontre que le sous-espace partagé appris améliore la robustesse face aux modalités manquantes lors de l'inférence.

4. Résultats Expérimentaux

Les auteurs ont évalué MultiLoReFT sur des jeux de données synthétiques (Simulation I & II) et des benchmarks du monde réel (Flickr30K-Multi, Crema-D, UR-FUNNY).

Découplage de l'Information : Sur des données synthétiques avec des facteurs génératifs connus, MultiLoReFT a atteint la précision la plus élevée pour prédire les étiquettes partagées et spécifiques en utilisant uniquement leurs composantes respectives. Il a montré des écarts de performance ( $\Delta$ ) nettement plus importants entre la composante correcte et les autres par rapport aux bases de référence (DRIM-U, APOLLO), indiquant une séparation supérieure et moins de fuite d'informations. Sur les données réelles, il a efficacement concentré l'information textuelle dans le sous-espace spécifique au texte et les détails visuels dans le sous-espace spécifique à l'image.
Performance Aval (Downstream) : Lorsque les représentations ajustées ( $\Phi$ ) ont été concaténées et injectées dans un régresseur logistique léger, MultiLoReFT a systématiquement surpassé ou égalé les bases de référence de l'état de l'art, incluant la fusion tardive, l'attention croisée et d'autres méthodes de désenchevêtrement.
Robustesse aux Modalités Manquantes : Dans les scénarios où une modalité était manquante, les représentations ajustées ( $\Phi$ ) ont fourni des signaux prédictifs plus forts que les plongements unimodaux pré-entraînés originaux ( $h$ ), démontrant que le sous-espace partagé a réussi à capturer l'information prédictive cross-modale.
Efficacité des Paramètres : Le mécanisme d'élagage adaptatif a réduit le rang effectif des projections, confirmant la capacité de la méthode à apprendre des représentations compactes.

5. Signification et Revendications

L'article affirme que MultiLoReFT offre une approche légère, interprétable et évolutive de l'apprentissage multimodal dans des contextes de rareté de données. Sa signification réside dans :

Exploitation des Forces Unimodales : Il permet à la communauté d'utiliser de puissants modèles unimodaux pré-entraînés pour des tâches multimodales sans nécessiter de jeux de données appariés massifs.
Interprétabilité : En découplant l'information partagée et spécifique, le cadre fournit des informations sur la manière dont différentes modalités contribuent à la décision d'un modèle, ce qui est crucial pour les domaines à enjeux élevés comme la santé.
Praticité : La méthode est indépendante du modèle (model-agnostic) et efficace en termes de paramètres, ce qui la rend adaptée au déploiement là où les ressources de calcul et la disponibilité des données sont limitées.

Les auteurs notent que bien que l'étude actuelle se concentre sur les données bimodales, le cadre peut être étendu à plus de modalités, bien que cela introduise des défis dans l'interprétation des facteurs partiellement partagés. Ils reconnaissent également que la performance de la méthode est ultimement limitée par la qualité des encodeurs unimodaux pré-entraînés sous-jacents.