🤖 machine learning

RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities

RePercENT est un cadre auto-supervisé et prêt à l'emploi qui surmonte les limites de scalabilité des méthodes existantes pour permettre l'apprentissage de représentations désentrelacées sur plus de deux modalités en opérant sur des plongements pré-extraits sans nécessiter de pré-entraînement conjoint.

Auteurs originaux : Vasiliki Rizou, Pascal Frossard, Dorina Thanou

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vasiliki Rizou, Pascal Frossard, Dorina Thanou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre une histoire complexe racontée par trois amis différents : l'un ne s'exprime qu'en images, l'un en musique, et l'autre en texte. Pendant longtemps, les chercheurs en IA ont essayé de faire en sorte que ces amis « s'entendent » en forçant leurs histoires dans un résumé unique et mélangé. Cela fonctionne bien s'ils disent exactement la même chose, mais cela échoue lorsqu'ils détiennent chacun des secrets uniques que les autres ignorent.

Le document présente une nouvelle méthode appelée RePercENT (disENTanglement basé sur le Perceiver à complexité réduite) pour résoudre ce problème. Voici comment elle fonctionne, expliquée à travers des analogies simples :

Le Problème : Le « Smoothie » vs La « Salade »

La plupart des modèles d'IA actuels traitent les données multimodales comme un smoothie. On mélange l'image, le texte et l'audio jusqu'à ce qu'on ne puisse plus distinguer où un ingrédient s'arrête et où le suivant commence. C'est excellent pour une compréhension générale, mais si vous voulez savoir exactement ce que la musique a apporté que le texte n'avait pas, vous ne pouvez pas le séparer.

De plus, les méthodes existantes sont comme une danse à deux personnes. Elles sont très douées pour comprendre les pas entre deux amis (par exemple, l'Image et le Texte), mais si l'on ajoute un troisième ami (par exemple, des données Moléculaires), la piste de danse devient trop encombrée et les mathématiques deviennent impossibles à résoudre.

La Solution : Le « Choix du Grand Chapeau »

RePercENT agit comme un Choix du Grand Chapeau intelligent capable de gérer tout un groupe d'amis à la fois sans être submergé. Au lieu de tout mélanger en un smoothie, il crée une salade où chaque ingrédient garde sa propre identité tout en faisant partie du même plat.

Voici la magie de son fonctionnement :

La cuisine « Prêt-à-cuisiner » :
Imaginez que vous avez déjà des légumes pré-découpés (ce sont les « embeddings » de modèles d'IA puissants comme CLIP). RePercENT n'a pas besoin de découper les légumes lui-même ou de réapprendre à cuisiner. Il se contente de prendre ces ingrédients déjà préparés et de les trier. Cela signifie qu'il peut travailler avec n'importe quel type de données (images, texte, scanners médicaux) sans avoir besoin d'être réentraîné de zéro.
La stratégie « Par paires » (La sauce secrète) :
Le plus grand obstacle était qu'avec 3 amis, il y a de nombreuses façons dont ils peuvent interagir (A+B, B+C, A+C, et A+B+C). Essayer de cartographier tout cela à la fois, c'est comme essayer de démêler un énorme nœud de câbles d'écouteurs.
RePercENT résout cela en observant les paires. Il demande : « Qu'est-ce que l'ami A partage avec l'ami B ? » et « Qu'est-ce que l'ami A garde pour lui seul ? ». Il fait cela pour chaque paire individuellement.
- Analogie : Au lieu d'essayer d'organiser un orchestre entier d'un coup, le chef d'orchestre écoute la section des violons, puis la section des cuivres, puis celle des bois, en identifiant ce qu'ils jouent ensemble et ce qu'ils jouent seuls. Cela rend la tâche simple et évolutive, peu importe le nombre d'instruments ajoutés.
Le jeu de la « Compétition » :
À l'intérieur du système, il y a de petits « emplacements » (pensez à des seaux vides). Le système utilise un jeu spécial appelé Group Slot Attention.
- Imaginez deux seaux étiquetés « Secret Partagé » et « Mon Propre Secret ».
- Lorsqu'une information arrive, ces deux seaux entrent en compétition pour la capturer.
- Si l'information est quelque chose que les deux amis connaissent, le seau « Partagé » gagne. Si c'est quelque chose qu'un seul ami connaît, le seau « Propre Secret » gagne.
- Cette compétition garantit que l'IA ne devient pas paresseuse en mettant tout dans un seul seau ; elle la force à être précise.

Pourquoi cela importe (selon le document)

C'est évolutif : Vous pouvez ajouter plus d'amis (modalités) sans que le système ne plante ou ne devienne trop coûteux à exécuter. Sa croissance est linéaire (ajouter un ami ajoute une quantité prévisible de travail), alors que les anciennes méthodes croissaient de manière exponentielle (ajouter un ami faisait exploser les calculs).
Cela gère l'absence d'amis : Si un ami est en retard à la fête (données manquantes), le système ne se brise pas. Parce qu'il a appris à trier l'information par paires, il peut toujours identifier les parties « Partagées » et « Uniques » des amis qui sont présents.
Cela fonctionne dans la vie réelle : Les auteurs l'ont testé sur :
- Le langage figuré : Comprendre les idiomes et les métaphores (par exemple, « Il pleut des cordes »). Ils ont découvert qu'en séparant la signification « partagée » des détails visuels « uniques », l'IA comprenait mieux ces expressions délicates que les modèles standards.
- L'oncologie médicale : Ils l'ont utilisé sur des données cancéreuses (images de coupes de tissus, données moléculaires et dossiers patients). Ils ont constaté qu'en séparant ce qui est unique aux données moléculaires de ce qui est partagé avec les images, ils pouvaient prédire les types de cancer plus précisément, surtout pour les cas difficiles où les données brutes étaient confuses.

L'essentiel

RePercENT est une nouvelle façon d'apprendre à l'IA à écouter plusieurs sources d'information sans les mélanger en un fouillis informe. Il utilise un système de tri « par paire » intelligent qui est efficace, robuste lorsque les données manquent, et mathématiquement prouvé pour trouver la meilleure séparation possible entre ce qui est partagé et ce qui est unique. Il transforme un nœud d'informations emmêlées en un ensemble de pièces distinctes, organisées et compréhensibles.

Résumé Technique : RePercENT

Énoncé du Problème

L'apprentissage automatique multimodal vise à synthétiser et à raisonner sur des informations provenant de sources diverses (par exemple, images, texte, audio). Bien que les approches de pointe actuelles se concentrent sur l'alignement et la fusion transmodales, ces méthodes entraînent souvent des représentations entrelacées où les informations partagées et spécifiques à chaque modalité sont mélangées. Cela limite l'interprétabilité et la capacité d'identifier quelles modalités contribuent des informations uniques par rapport aux informations redondantes.

Un goulot d'étranglement critique dans l'apprentissage de représentations désentrelacées existant est la scalabilité. La plupart des travaux antérieurs sont confinés au régime de deux modalités. À mesure que le nombre de modalités ( $M$ ) augmente, le nombre de facteurs partagés et uniques possibles croît de manière exponentielle ( $O(2^M)$ ), ce qui les rend difficiles à modéliser. De plus, les objectifs d'optimisation tractables qui caractérisent explicitement toutes les interactions intermodales au-delà de deux modalités sont limités. Les données réelles présentent souvent un compromis entre la minimisation de la redondance et la préservation de l'information pertinente, et la capture de l'Information Nécessaire Minimale (MNI - Minimal Necessary Information) est cruciale pour éviter l'effondrement représentationnel.

Méthodologie : RePercENT

Les auteurs proposent RePercENT (Reduced-complexity Perceiver-based disENTanglement), un cadre auto-supervisé conçu pour porter l'apprentissage de représentations désentrelacées au-delà de deux modalités.

Architecture Centrale

RePercENT opère directement sur les plongements (embeddings) pré-extraits de modèles de fondation (FM), éliminant ainsi le besoin d'un pré-entraînement conjoint extensif et rendant l'approche agnostique vis-à-vis de la modalité.

Décomposition par paires : Au lieu de modéliser les $2^M$ $2^{M}$ facteurs atomiques, RePercENT modélise les interactions par paires. Pour chaque paire de modalités $(i, j)$ $(i, j)$ , il dérive :
- Composantes uniques ( $u_{ij}$ ) : Informations uniques à la modalité $i$ par rapport à $j$ .
- Composantes partagées ( $s_{ij}$ ) : Informations partagées entre $i$ et $j$ .
  Cela réduit la complexité des composantes de $O(2^M)$ à $O(M^2)$ , tout en préservant toutes les interactions intermodales.
Module de Désentrelacement ( $D_i$ ) : La représentation composite de chaque modalité $Z_i$ est traitée par un module dédié. Ce module utilise un tableau latent apprenable $H_i$ avec $N = 2(M-1)$ créneaux (slots).
Mécanismes de Routage :
- Encodage Sémantique : Chaque créneau latent est augmenté d'encodages de paires apprenables (identifiant la paire de modalités) et d'encodages de type (identifiant "unique" ou "partagé").
- Attention de Groupe par Créneaux (Group Slot Attention) : Un mécanisme de routage structurel où les créneaux correspondant à une paire spécifique $(u_{ij}, s_{ij})$ entrent en compétition pour les mêmes plongements d'entrée. Cela impose une spécialisation au sein de la paire tout en maintenant l'indépendance entre les différentes paires.
Scalabilité : Le cadre ne nécessite qu'un seul encodeur par modalité, atteignant une complexité structurelle linéaire $O(M)$ , contrairement aux méthodes utilisant des encodeurs distincts pour chaque représentation qui présentent une complexité de $O(M^2)$ .

Objectif d'Optimisation

Le cadre utilise un objectif d'optimisation conjoint pour dériver simultanément les composantes partagées et uniques, plutôt qu'une décomposition séquentielle. Pour chaque paire $(i, j)$ , l'objectif maximise :
$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$
Où :

Perte Partagée ( $L_{si}, L_{sj}$ ) : Encourage les représentations partagées à capturer la pertinence intermodale ( $I(s_{ij}; X_j)$ ) tout en minimisant l'information explicable uniquement par la modalité source ( $I(s_{ij}; X_i | X_j)$ ).
Perte Unique ( $L_{ui}, L_{uj}$ ) : Préserve l'information de la modalité source ( $I(u_{ij}, s_{ji}; X_i)$ ) tout en pénalisant le chevauchement entre les composantes uniques et partagées à travers les modalités ( $I(u_{ij}; s_{ji})$ ).

Les termes d'information théorique sont approximés par des pertes de substitution tractables : InfoNCE pour l'information mutuelle, la divergence KL pour l'information mutuelle conditionnelle, et une pénalité de covariance croisée pour la redondance.

Garanties Théoriques

Le document fournit des garanties d'optimalité formelles :

Optimalité Exacte : Sous la condition que l'Information Nécessaire Minimale (MNI) soit atteignable et que le paramètre de pondération $\alpha > \lambda$ , l'objectif conjoint admet le même optimum global que l'optimiseur étape par étape idéal.
Near-Optimalité (Proximité de l'Optimalité) : Lorsque la MNI n'est pas atteignable (un scénario courant dans le monde réel), l'objectif conjoint est prouvé comme étant proche de l'optimal, avec une solution bornée par une constante traitable liée à l'écart d'information.

Résultats Expérimentaux

Les auteurs ont évalué RePercENT à travers trois domaines : des données synthétiques, la compréhension du langage figuratif (IRFL) et l'oncologie multimodale (TCGA).

Scalabilité et Récupération de Composantes (Synthétique) :
- RePercENT a démontré une scalabilité linéaire du nombre de paramètres à mesure que les modalités augmentaient ( $M=2$ à $5$), tandis que les modèles de référence (MLP, GRU, gMLP) nécessitaient des augmentations exponentielles ou souffraient d'un effondrement des composantes.
- RePercENT a maintenu des performances de désentrelacement compétitives (haute prédiction intra-composante, faible fuite inter-composante) pour tous les nombres de modalités, alors que les modèles de référence comme GRU et MLP échouaient à récupérer les composantes uniques à mesure que $M$ augmentait.
- Il a obtenu des performances comparables à gMLP avec nettement moins de paramètres (environ 47 % de moins à $M=3$ ) et de FLOPs.
Langage Figuratif (IRFL) :
- Sur la tâche d'appariement de textes figuratifs (idiomes, métaphores, comparaisons) à des images, RePercENT a surpassé les variantes de CLIP affinées et d'autres bases de désentrelacement.
- La méthode a montré une force particulière dans la gestion de tâches abstraites et dépendantes du contexte (idiomes et métaphores) où l'isolement des composantes partagées s'est avéré bénéfique.
- Les études d'ablation ont confirmé que l'encodage sémantique et l'attention de groupe par créneaux sont tous deux critiques pour la performance.
Oncologie Multimodale (TCGA) :
- En utilisant des plongements issus de données cliniques, de pathologie, de WSI (Whole Slide Imaging) et moléculaires, RePercENT a amélioré la précision de la classification des types de cancer par rapport aux plongements originaux de HONeYBEE pour la plupart des types de cancer.
- Notamment, pour les types de cancer où les plongements moléculaires bruts étaient peu informatifs (ex: KIRC, LGG), les représentations partagées décomposées ont récupéré une structure prédictive significative.
- Robustesse aux Modalités Manquantes : Dans les expériences où les données WSI étaient progressivement supprimées, RePercENT a maintenu des scores Macro-F1 élevés, tandis que les bases de fusion (y compris celles entraînées avec dropout) se sont dégradées brutalement. Cela est attribué à la structure d'inférence où les composantes sont dérivées uniquement de la modalité disponible.

Signification et Revendications

L'article affirme que RePercENT fournit un cadre principalisé qui fait le pont entre les fondements de la théorie de l'information et une mise en œuvre pratique et scalable. Ses principales contributions sont :

Scalabilité : Il surmonte avec succès le goulot d'étranglement de la croissance exponentielle du désentrelacement multimodal, permettant l'extraction de facteurs uniques et partagés pour plus de deux modalités avec une complexité linéaire.
Conception Plug-and-Play : En opérant sur des plongements pré-extraits, il est agnostique vis-à-vis des types de modalités et des architectures de fondation, facilitant une intégration facile dans les pipelines existants.
Fondement Théorique : Il offre des garanties formelles d'optimalité (exacte et proche de l'optimale) pour son approche d'optimisation conjointe, assurant l'intégrité théorique aux côtés du succès empirique.
Robustesse : L'architecture gère intrinsèquement les modalités manquantes sans imputation complexe, ce qui la rend adaptée aux contextes cliniques et scientifiques réels où la complétude des données n'est pas garantie.

Les auteurs concluent que RePercENT ouvre la voie à des représentations multimodales plus fiables, interprétables et mécanistiquement fondées, allant au-delà du simple alignement pour une compréhension granulaire de la manière dont les différentes modalités interagissent.