💻 computer science

LARGO: Low-Rank Hypernetwork for Handling Missing Modalities

LARGO est une nouvelle hyper-réseau de faible rang qui répond au défi des modalités manquantes dans l'analyse d'images multimodales en compressant plusieurs modèles dédiés en un seul réseau grâce à une décomposition tensorielle de type Polyadique Canonique des poids de convolution, atteignant des performances de pointe sur divers ensembles de données médicaux et non médicaux.

Auteurs originaux : Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un médecin tentant de diagnostiquer une tumeur cérébrale. Habituellement, vous disposez d'une boîte à outils complète : quatre types différents d'examens IRM (comme prendre des photos sous quatre angles différents ou avec quatre filtres distincts). Lorsque vous avez les quatre, le diagnostic est facile et précis.

Mais dans le monde réel, les choses tournent mal. Peut-être que la machine pour un examen spécifique est en panne, que le patient ne peut pas rester immobile assez longtemps pour un deuxième examen, ou que l'hôpital ne possède tout simplement pas l'équipement. Soudain, vous n'avez plus qu'un ou deux examens. La plupart des programmes informatiques (modèles d'IA) entraînés pour diagnostiquer des tumeurs se perdent ou échouent complètement lorsqu'ils ne disposent pas de leur ensemble complet d'outils. Ils sont comme un chef qui ne peut préparer un repas parfait que s'il possède tous les ingrédients dans sa cuisine ; s'il manque le sel, il ne peut pas faire la soupe.

L'Ancienne Méthode : Un Chef par Recette

Traditionnellement, pour résoudre ce problème, les chercheurs ont essayé deux approches principales :

Le Chef "Couteau Suisse" : Entraîner une seule IA géante pour gérer n'importe quelle combinaison d'examens manquants. Le problème est que ce chef se perd. Il essaie d'être bon en tout, mais finit par être médiocre dans des tâches spécifiques.
L'Équipe de "Spécialistes" : Entraîner une IA séparée et parfaite pour chaque combinaison possible (par exemple, une IA pour "T1 uniquement", une autre pour "T2 uniquement", une autre pour "T1 et T2", etc.). Avec 4 types d'examens, il existe 15 combinaisons différentes. Cela signifie qu'il faut 15 modèles d'IA différents. C'est comme embaucher 15 chefs différents juste pour gérer différents ingrédients manquants. Cela occupe une quantité massive d'espace de stockage et de puissance de calcul, ce qui le rend peu pratique pour les hôpitaux.

La Nouvelle Solution : LARGO (Le "Plan Magique")

Les auteurs de cet article proposent un nouveau système ingénieux appelé LARGO. Au lieu d'embaucher 15 chefs ou d'entraîner un chef confus, ils ont construit un "Générateur de Plans Magiques".

Voici comment cela fonctionne, en utilisant une analogie :

1. La Famille de Recettes
Imaginez que les 15 différentes IA "Spécialistes" sont en réalité très similaires. Elles savent toutes comment examiner un cerveau, elles savent toutes comment repérer une tumeur, et elles utilisent toutes des "recettes mathématiques" (poids) similaires pour le faire. La seule différence est quel examen elles regardent.

2. L'Astuce de Compression (Décomposition CP)
Les auteurs ont réalisé que, parce que ces 15 modèles sont si similaires, ils sont pleins de redondance. C'est comme avoir 15 livres où 90 % du texte est identique, et seuls les titres des chapitres changent.
LARGO utilise une astuce mathématique appelée décomposition canonique polyadique (CP). Imaginez cela comme prendre ces 15 livres et les compresser en un seul "Plan Maître" minuscule.

Ce Plan Maître ne stocke pas 15 modèles séparés.
Au lieu de cela, il stocke quelques "matrices de facteurs" (comme un ensemble de briques Lego et un ensemble d'instructions).
Un ensemble d'instructions spécifique indique au plan : "Si le patient n'a que l'examen T2, assemblez le modèle en utilisant ces briques spécifiques."

3. La Construction "À la Demande"
Lorsqu'un patient arrive avec des examens manquants, le système LARGO n'a pas besoin de charger un nouveau modèle. Il consulte simplement le Plan Maître, lit l'instruction pour ce scénario spécifique d'examen manquant, et reconstruit instantanément le modèle d'IA spécialisé parfait pour cette situation exacte.

C'est comme avoir une imprimante 3D capable d'imprimer un outil spécifique pour un travail spécifique en quelques secondes, plutôt que de garder un entrepôt rempli de tous les outils possibles.

Qu'Ont-ils Démontré ?

Les chercheurs ont testé ce "Plan Magique" sur de vraies données médicales :

Tumeurs Cérébrales (BraTS 2018) : Ils l'ont testé sur 15 scénarios différents d'examens IRM manquants. LARGO a été le meilleur pour diagnostiquer les tumeurs dans 14 cas sur 15 par rapport aux meilleures méthodes existantes.
Détection d'Accidents Vasculaires Cérébraux (ISLES 2022) : Ils l'ont testé sur 7 scénarios différents d'examens d'AVC manquants. LARGO a été le meilleur dans les 7 scénarios.
Test Non Médical (avMNIST) : Pour prouver qu'il ne s'agissait pas seulement d'un tour de passe-passe médical, ils l'ont essayé sur un mélange d'images et d'audio (comme reconnaître un chiffre à partir d'une image et d'un son). Cela a également bien fonctionné, montrant que la méthode est flexible.

La Conclusion

LARGO est un moyen d'obtenir les performances spécialisées de 15 modèles d'IA différents sans le coût de stockage de garder 15 modèles différents. Il y parvient en réalisant que ces modèles sont des cousins, et non des étrangers, et en les compressant en un seul plan efficace d'"espace de poids" capable de reconstruire instantanément le bon modèle chaque fois que nécessaire.

L'article affirme que cela se traduit par une précision accrue (meilleurs diagnostics) et une meilleure efficacité (moins de mémoire informatique nécessaire) par rapport aux méthodes actuelles de l'art, sans avoir besoin d'entraînements complexes en plusieurs étapes ou de "halluciner" de fausses données pour combler les lacunes.

Résumé Technique : LARGO (Hyper-réseau à Rang Faible pour la Gestion des Modalités Manquantes)

Énoncé du Problème

En analyse d'images multimodales, en particulier en imagerie médicale (par exemple, la segmentation de tumeurs cérébrales, la détection de lésions d'AVC), l'acquisition de toutes les modalités disponibles est souvent irréalisable en raison de contraintes d'équipement, de limites de temps de scan ou de l'état du patient. Cela se traduit par des ensembles de modalités incomplets lors de l'inférence. Les modèles d'apprentissage profond standard peinent à gérer de telles entrées manquantes sans conception architecturale explicite.

Les approches existantes font face à un compromis fondamental entre spécialisation et évolutivité :

Les méthodes à modèle unique (par exemple, imputation par zéro, encodeurs partagés) forcent un seul réseau à gérer toutes les $2^N - 1$ combinaisons de modalités, compromettant souvent les performances sur des configurations spécifiques.
Les modèles dédiés (entraînement d'un modèle séparé pour chaque combinaison) maximisent la spécialisation mais évoluent de manière exponentielle en termes de stockage et de coût computationnel.
Les méthodes génératives et de distillation risquent d'halluciner des caractéristiques cliniquement dangereuses ou nécessitent un entraînement multi-étapes complexe.

La plupart des solutions actuelles opèrent dans l'espace des caractéristiques, concevant des représentations robustes pour gérer les entrées manquantes. Cet article propose d'opérer dans l'espace des poids pour traiter la redondance inhérente à l'entraînement de modèles séparés pour différents sous-ensembles de modalités.

Méthodologie : LARGO

Les auteurs proposent LARGO (Low-rAnk hypeRnetwork for missinG mOdalities), un cadre d'hyper-réseau qui comprime la famille de $2^N - 1$ modèles dédiés aux modalités manquantes en un seul réseau.

Architecture Principale

Formulation d'Hyper-réseau : Au lieu d'apprendre $M = 2^N - 1$ ensembles de poids séparés, LARGO construit un seul hyper-réseau $H_\phi$ qui contient implicitement tous les modèles dédiés $\{F_{\theta(m)}\}_{m=1}^M$ .
Décomposition Tensorelle (CPD) : La méthode exploite l'observation que les modèles partageant l'accès aux mêmes modalités apprennent des motifs similaires, impliquant une redondance des paramètres. LARGO empile les poids de convolution de tous les $M$ $M$ modèles dédiés le long d'une nouvelle « dimension modèle » et applique une décomposition tensorielle Canonique Polyadique (CP).
- Le tenseur de poids $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ est décomposé en matrices factorielles $A, B, C, D$ .
- La matrice factorielle $A$ indexe les combinaisons de modalités, tandis que $B, C, D$ représentent respectivement les canaux d'entrée, les canaux de sortie et les dimensions du noyau.
Reparamétrisation à Rang Faible :
- Couches Intérieures : Les couches de convolution sont reparamétrisées en utilisant la décomposition CP. Le rang $R$ est sélectionné pour maintenir un budget de paramètres équivalent à un seul modèle dédié (atteignant un taux de compression de $1/M$ ).
- Couches Stem et Head : Ces couches restent non compressées pour préserver la flexibilité d'entrée/sortie, bien que leur contribution en paramètres soit négligeable par rapport aux couches intérieures.
Inférence : Lors de l'inférence, pour une combinaison de modalités spécifique $m$ , l'hyper-réseau reconstruit les poids de convolution dédiés $W^{(m)}$ en contractant les matrices factorielles (en sélectionnant spécifiquement la $m$ -ième ligne de la matrice factorielle $A$ ). Cela évite de calculer les paramètres inutilisés pour les autres sous-ensembles de modalités.

Procédure d'Entraînement

Fonction de Perte : Le modèle est entraîné en utilisant une perte de segmentation standard ( $L_{Dice} + L_{CE}$ ).
Stratégie : L'entraînement emploie un abandon aléatoire de modalités combiné à une guidance par modalité complète. À chaque itération, un sous-ensemble $m$ est échantillonné pour minimiser la perte pour ce scénario spécifique de modalité manquante, tandis qu'un terme utilisant l'entrée à modalité complète garantit que le réseau est guidé par des données complètes tout au long de l'entraînement.
Initialisation : Les matrices factorielles $B, C, D$ sont initialisées via une loi normale de Kaiming ; la matrice $A$ est initialisée avec des uns. Les poids sont entraînés à partir de zéro plutôt que dérivés de poids pré-entraînés.

Contributions Clés

Nouvelle Formulation d'Hyper-réseau : LARGO est la première méthode à reparamétrer conjointement les poids des noyaux d'une famille entière de $2^N - 1$ modèles dédiés aux modalités manquantes en une seule représentation efficace en paramètres utilisant la décomposition CP.
Opération dans l'Espace des Poids : Contrairement aux méthodes dans l'espace des caractéristiques, LARGO opère directement dans l'espace des poids, compressant la famille exponentielle de modèles en une seule variété de poids compressée sans pertes auxiliaires, réseaux enseignants ou entraînement multi-étapes.
Performances de l'État de l'Art : La méthode atteint des résultats supérieurs sur les benchmarks d'imagerie médicale tout en maintenant un nombre de paramètres comparable à un seul modèle dédié.

Résultats Expérimentaux

Jeux de Données et Scénarios

BraTS 2018 : 4 modalités (FLAIR, T1, T1c, T2), 15 scénarios de modalités manquantes. Tâche : Segmentation de tumeurs cérébrales (WT, TC, ET).
ISLES 2022 : 3 modalités (DWI, ADC, FLAIR), 7 scénarios de modalités manquantes. Tâche : Segmentation de lésions d'AVC.
avMNIST : 2 modalités (Image, Audio), 3 scénarios. Tâche : Classification (Preuve de concept pour des modalités hétérogènes non médicales).

Performance Quantitative

BraTS 2018 : LARGO s'est classé premier dans 15/15 scénarios pour la Tumeur Globale (WT), 11/15 pour le Cœur de la Tumeur (TC), et 14/15 pour la Tumeur Enhancée (ET).
- Améliorations moyennes du Dice par rapport aux bases (mmFormer, M³AE, ShaSpec, SimMLM) : +0,68 % (WT), +2,53 % (TC), et des gains significatifs en ET.
- LARGO a atteint un Dice moyen de 87,05 % (WT), 79,35 % (TC) et 62,83 % (ET).
ISLES 2022 : LARGO s'est classé premier dans les 7 scénarios.
- Dice moyen : 62,67 %, surpassant le suivant (M³AE à 60,14 %).
- Gains notables dans les cas difficiles à modalité unique (par exemple, ADC uniquement : 42,49 % contre 40,03 %).
avMNIST : LARGO a atteint la précision moyenne la plus élevée (97,00 %), une amélioration de +0,44 % par rapport au concurrent le plus proche, démontrant l'applicabilité à des modalités hétérogènes non médicales.

Efficacité et Complexité

Efficacité Paramétrique : LARGO maintient un nombre de paramètres similaire à un seul modèle dédié (par exemple, 22,6 M sur BraTS 2018) tout en représentant implicitement les 15 modèles dédiés. Cela est nettement plus efficace que ShaSpec (187,7 M de paramètres) et comparable aux autres bases.
Surcharge Computationnelle : La reconstruction dynamique des poids introduit une augmentation de 24,6 % des GFLOPs et une augmentation de 25,1 % de la VRAM de pointe par rapport à un seul backbone nnU-Net. Les auteurs notent que cela est acceptable car les modèles à modalités manquantes introduisent généralement des opérations supplémentaires de toute façon.
Évolutivité : La méthode est pratique pour $N \lesssim 10$ modalités, car les couches stem/head non compressées (qui croissent de manière exponentielle) restent une fraction négligeable des paramètres totaux.

Signification et Revendications

L'article revendique que LARGO comble le fossé entre la spécialisation des modèles dédiés et l'évolutivité des approches à modèle unique. En exploitant les similarités structurelles dans les noyaux de convolution à travers les modèles spécifiques aux modalités via la décomposition tensorielle, LARGO élimine le besoin d'un stockage et d'une mise à l'échelle computationnelle exponentiels.

Les auteurs positionnent LARGO comme un cadre d'hyper-réseau principiel qui :

Évite les risques d'« hallucination » de l'imputation générative.
Évite les compromis de performance des architectures à encodeur partagé.
Atteint des résultats de l'état de l'art sans pipelines d'entraînement complexes (par exemple, distillation de connaissances).

La preuve de concept sur avMNIST suggère que le potentiel de la méthode s'étend au-delà de l'imagerie médicale à toute tâche impliquant des modalités hétérogènes avec des données manquantes. Les auteurs concluent que les travaux futurs exploreront des formulations d'hyper-réseaux non linéaires plus expressifs et des extensions aux architectures basées sur les transformateurs.