Résumé technique : Prédiction multimodale calibrée par les motifs sous l'effet d'une incomplétude par blocs

1. Énoncé du problème

Dans les tâches de prédiction multimodale (par exemple, les dossiers de santé électroniques contenant des codes, du texte et des images), les données souffrent souvent d'une incomplétude par blocs (blockwise missingness), où des modalités entières sont non observées pour certains sujets en raison des coûts d'acquisition, des contraintes de flux de travail ou de la confidentialité.

Les approches existantes traitent généralement cela comme un problème d'entrée incomplète, visant à rendre tous les enregistrements utilisables par un modèle de prédiction unique via l'imputation, le remplissage par zéro ou des architectures de fusion. Cependant, les auteurs soutiennent que ces méthodes échouent souvent à traiter le problème fondamental de l'estimand :

• Tâches spécifiques aux motifs : L'ensemble des modalités observées définit l'information disponible pour la prédiction. Une règle conditionnée sur "les codes uniquement" est fondamentalement différente d'une règle conditionnée sur "les codes, les notes et les images".
• Biais de regroupement (Pooling) : Entraîner un prédicteur regroupé unique sur tous les motifs (même avec des indicateurs d'incomplétude) force des tâches de prédiction distinctes et observables à partager une règle commune. Cela induit un biais car la règle regroupée minimise une moyenne pondérée par la prévalence des risques plutôt que le risque spécifique à un motif cible.
• Inefficacité de l'ajustement local : Inversement, ajuster un modèle séparé pour chaque motif de données manquantes (stratégie entièrement locale) est inefficace lorsque certains motifs sont rares (par exemple, les enregistrements entièrement observés sont moins fréquents que les enregistrements de type "codes uniquement").

Le défi central est de savoir comment emprunter de l'information entre différents motifs de données manquantes pour améliorer l'efficacité sans faire s'effondrer des règles de prédiction distinctes et spécifiques aux motifs en une règle unique et biaisée.

2. Méthodologie : MOSAIC

Les auteurs proposent MOSAIC (Multimodal Overlap-aware Shared-specific Alignment and Inter-pattern Calibration), un cadre conçu pour emprunter la force des motifs tout en préservant les règles spécifiques aux motifs. La méthode opère en trois étapes :

2.1 Apprentissage de représentations partagées et spécifiques aux modalités

MOSAIC apprend d'abord un espace de représentation à partir de données multimodales non étiquetées (ou d'un échantillon d'apprentissage de représentation distinct). Cet espace décompose l'information en :

• Représentations partagées ($z^{(0)}$) : Informations comparables entre les modalités.
• Représentations spécifiques aux modalités ($z^{(l)}$) : Informations uniques à la modalité $l$.

L'objectif d'apprentissage minimise trois termes :

1. Perte d'alignement ($L_{shared}$) : Garantit que les représentations partagées extraites de différentes modalités observées du même sujet sont proches.
2. Perte d'orthogonalité/découplage ($L_{orth}$) : Empêche les représentations partagées et spécifiques de porter la même variation (régularisation du second moment empirique de la représentation concaténée).
3. Perte de reconstruction ($L_{recon}$) : Garantit que les représentations conservent suffisamment d'informations pour reconstruire la modalité d'origine.

2.2 Prédiction de premier stade basée sur le chevauchement

Pour un motif de données manquantes cible $k$, MOSAIC construit un prédicteur de premier stade $h^{(k)}$ en empruntant des échantillons de tous les autres motifs $j$ qui partagent des coordonnées de représentation chevauchantes.

• Il conserve les coordonnées dans $S_j \cap S_k$ (partagées et observées dans les deux) et remplit par zéro les coordonnées dans $S_k \setminus S_j$.
• Cela permet au modèle d'utiliser une taille d'échantillon effective ($e n(k)$) plus large, dérivée du chevauchement des motifs sources, plutôt que d'être limité par le faible nombre d'échantillons $n_k$ du motif cible.
• Crucialement, ce prédicteur de premier stade n'est généralement pas la règle optimale pour le motif cible car les échantillons sources manquent de la représentation cible complète.

2.3 Calibration du motif cible

Pour corriger le biais introduit par le prédicteur de premier stade, MOSAIC estime un écart de calibration $\Delta^{(k)} = g^{(k)} - h^{(k)}$ en utilisant uniquement les échantillons étiquetés du motif cible $k$.

• Le prédicteur final est $g^{(k)} = h^{(k)} + \Delta^{(k)}$.
• Cette étape est une correction résiduelle moins exigeante que l'ajustement d'une règle complète à partir de zéro, surtout lorsque les représentations partagées et spécifiques sont bien séparées.

3. Contributions clés

1. Formulation du problème : L'article formalise le problème de "l'emprunt entre motifs pour des prédictions spécifiques aux motifs", distinguant le biais du regroupement de règles de prédiction distinctes de l'inefficacité de l'ajustement local. Il définit l'estimand comme la meilleure règle de prédiction conditionnée par l'ensemble spécifique de modalités observées.
2. Cadre MOSAIC : Il introduit un cadre de calibration par motif en deux étapes qui :
   • Apprend des représentations découplées, partagées et spécifiques aux modalités.
   • Emprunte des échantillons via le chevauchement dans l'espace de représentation.
   • Applique une calibration spécifique au motif cible pour corriger le prédicteur emprunté.
3. Garanties théoriques : Les auteurs établissent des bornes d'erreur non asymptotiques qui décomposent l'erreur de prédiction en trois composantes :
   • Taille d'échantillon effective de chevauchement : Le bénéfice de l'emprunt aux motifs chevauchants.
   • Écart de calibration : L'erreur due au décalage entre le prédicteur emprunté et la règle cible.
   • Erreur d'apprentissage de la représentation : L'erreur introduite par l'estimation des représentations latentes.
   • La théorie clarifie que l'emprunt améliore l'ajustement local lorsque la taille d'échantillon effective de chevauchement est significativement plus grande que la taille d'échantillon locale, à condition que l'erreur d'apprentissage de la représentation et l'écart de calibration soient contrôlés.

4. Résultats expérimentaux

4.1 Simulations

• Récupération de la représentation : Les expériences démontrent que MOSAIC récupère avec succès les représentations partagées et spécifiques aux modalités, surpassant les ablations dépourvues de pertes de découplage orthogonal ou de reconstruction. La récupération s'améliore avec des tailles d'échantillons non étiquetés plus grandes et des probabilités de co-observation plus élevées.
• Performance de prédiction : MOSAIC atteint l'erreur quadratique moyenne (MSE) équilibrée la plus faible à travers divers motifs de données manquantes par rapport aux lignes de base externes (ex: M3Care, MedFuse, IF-MMIN) et aux ablations internes.
  • Études d'ablation : Supprimer l'étape de calibration entraîne une dégradation des performances à mesure que la dépendance résiduelle entre les modalités augmente, confirmant la nécessité de l'étape de correction. Supprimer l'apprentissage de la représentation (en utilisant la PCA) ralentit la convergence, soulignant la valeur de la structure partagée apprise.

4.2 Applications en conditions réelles

• MIMIC (Prédiction de la mortalité en soins intensifs) : Appliqué à la prédiction de la mortalité lors de la prochaine visite en soins intensifs en utilisant des codes structurés, des notes cliniques et des radiographies thoraciques.
  • MOSIC a obtenu l'AUROC (0,861), l'AUPRC et les scores F1 globaux les plus élevés.
  • Gains spécifiques aux motifs : La méthode a montré les améliorations les plus marquées pour le motif "codes uniquement", où l'emprunt de force entre les motifs (via les représentations de codes partagées) a compensé l'absence de notes et d'images. Elle a également maintenu une performance de haut niveau pour le motif entièrement observé.
• IEMOCAP et FairDomain : Des évaluations supplémentaires sur la reconnaissance des émotions et la classification du glaucome ont confirmé les avantages de MOSAIC par rapport aux méthodes de pointe sous un contrôle de masquage des modalités.

5. Signification et affirmations

L'article affirme que MOSIC fournit une solution fondée sur des principes au compromis entre biais (provenant du regroupement de tâches de prédiction distinctes) et efficacité (provenant de l'échantillon local limité).

• Mécanisme : En séparant l'apprentissage de la représentation de la calibration du motif cible, MOSIC permet aux modèles de "prêter de la force" entre les motifs de données manquantes sans les forcer à partager une règle de prédiction unique et potentiellement biaisée.
• Insight théorique : La décomposition des bornes d'erreur offre une explication claire de quand l'emprunt entre motifs est bénéfique : spécifiquement lorsque la taille d'échantillon effective de chevauchement est grande par rapport à la taille d'échantillon locale, et lorsque l'erreur d'apprentissage de la représentation et l'écart de calibration sont faibles.
• Impact pratique : La méthode est particulièrement efficace dans les scénarios où les échantillons du motif cible sont limités (ex: enregistrements complets rares) ou lorsque les règles spécifiques aux motifs diffèrent considérablement.

Les auteurs notent que l'analyse théorique actuelle repose sur des modèles de représentation linéaires simplifiés et des hypothèses de données manquantes complètement au hasard (MCAR). Des travaux futurs sont suggérés pour étendre ces garanties à des encodeurs non linéaires et des mécanismes d'incomplétude plus généraux (MAR/MNAR), ainsi que pour traiter les défis des motifs rares avec un faible chevauchement.