Résumé technique : TIER-MoE

Énoncé du problème

La classification biomédicale multimodale vise à améliorer le diagnostic et le pronostic des maladies en combinant des preuves complémentaires provenant de sources diverses (par exemple, l'IRM, la DTI, les métadonnées cliniques). Cependant, les méthodes de fusion existantes sont confrontées à un compromis fondamental entre fiabilité et complémentarité.

Les approches actuelles ne parviennent souvent pas à distinguer deux scénarios distincts :

1. Une modalité qui est véritablement peu fiable pour un sujet spécifique.
2. Une modalité qui est faible de manière isolée, mais qui fournit des informations uniques et non redondantes lorsqu'elle est fusionnée.

Les architectures de fusion standard (par exemple, les modèles à porte ou les mécanismes d'attention) ont tendance à s'appuyer excessivement sur les modalités globalement dominantes, risquant ainsi de rejeter des preuves complémentaires mais plus faibles. Inversement, les méthodes de fusion adaptatives qui utilisent l'incertitude, la qualité ou des scores de confiance pour pondérer les modalités ne prédisent pas directement la perte de prédiction attendue qu'une modalité spécifique subira sur un échantillon donné. De plus, les modèles de mélange d'experts (MoE) existants déconnectent souvent la fiabilité de la modalité de la spécialisation de l'expert, échouant ainsi à diriger les preuves vers les experts dont les sous-espaces sont les mieux adaptés pour les traiter.

Méthodologie : TIER-MoE

Les auteurs proposent TIER-MoE (Trust-Informed Expert Routing via Conditional Modality Risk), un cadre hiérarchique qui intègre l'estimation du risque de modalité spécifique au sujet avec l'affinité du sous-espace de l'expert pour un routage parcimonieux. L'architecture se compose de trois composantes principales :

1. Risque de modalité conditionnel par ajustement croisé

L'innovation centrale consiste à définir la fiabilité d'une modalité pour un échantillon non pas comme un score de qualité statique, mais comme la perte de prédiction attendue conditionnelle d'un prédicteur unimodal pour ce sujet spécifique.

• Définition du risque : $R_m(V_i) = E[L_{i,m} | V_i]$, où $L_{i,m}$ est la perte du prédicteur unimodal pour la modalité $m$ sur le sujet $i$.
• Cibles honnêtes vis-à-vis des étiquettes : Pour éviter la fuite de données, les cibles de risque sont dérivées de prédictions Out-of-Fold (OOF). Les modèles sont entraînés sur tous les sujets sauf le sujet cible, et leurs prédictions calibrées génèrent la perte de Brier réalisée utilisée comme vérité de terrain pour l'estimation du risque.
• Estimateur : Un réseau de neurones partagé sensible au masque estime ce risque en se basant sur des preuves locales (distributions calibrées, incertitude, indicateurs de qualité) et sur le contexte agrégé de toutes les modalités disponibles.
• Recalibrage : Une carte monotone de faible capacité est ajustée sur l'ensemble de validation pour corriger le décalage entre les estimations OOF et les prédictions du modèle refituré final.

2. Ancre de fiabilité

Les risques estimés forment une « ancre de fiabilité » qui génère une prédiction unimodale pondérée par le risque ($p^{rel}_i$). Cette branche garantit que les preuves unimodales fiables sont préservées et ne sont pas rejetées, agissant comme une base qui empêche la fusion d'être moins performante que la meilleure modalité individuelle.

3. Routage par sous-espace guidé par le risque

Parallèlement à l'ancre de fiabilité, le modèle utilise un mécanisme de MoE parcimonieux pour capturer les interactions inter-modales :

• Chemin partagé : Une représentation partagée toujours active ($h^{shared}_i$) est calculée via une auto-attention masquée, maintenant l'interaction inter-modale indépendamment des décisions de routage.
• Sous-espaces d'experts : Une banque de $E$ experts est associée à des sous-espaces de faible rang ($B_e$).
• Score de compatibilité : Un score de compatibilité ($\psi_{i,m,e}$) mesure l'affinité entre un jeton de modalité et le sous-espace d'un expert.
• Critère de routage conjoint : La décision de routage combine la compatibilité avec le risque conditionnel :
  $$G_{i,m,e} = \psi_{i,m,e} - \eta \hat{R}_{i,m}$$
  où $\eta$ contrôle la pénalité de risque. Les routes sont sélectionnées uniquement si le score est positif, et les $K$ meilleures routes sont choisies. Cela garantit qu'une modalité modérément risquée peut toujours être routée si elle s'aligne fortement avec un expert approprié, tandis que les modalités à faible risque ne sont pas forcées dans des experts inappropriés.
• Correction parcimonieuse : Les experts sélectionnés traitent leurs modalités assignées via des transformations résiduelles de faible rang. Ces résidus sont ajoutés à la représentation partagée pour former la prédiction d'interaction ($p^{int}_i$).

4. Prédiction finale

La sortie finale est une combinaison convexe de l'ancre de fiabilité et de la branche d'interaction :
$$p^{final}_i = (1-\gamma)p^{rel}_i + \gamma p^{int}_i$$
où $\gamma$ est un coefficient verrouillé lors de la validation.

Contributions clés

1. Formulation de la fiabilité ancrée sur la tâche : Les auteurs formulent la fiabilité de la modalité comme la perte de prédiction attendue conditionnelle d'un prédicteur unimodal, apprise directement à partir des prédictions OOF par sujet. Cela fournit une mesure de fiabilité directement évaluable par rapport aux erreurs sur les données non vues.
2. Mécanisme de routage intégré : TIER-MoE introduit une stratégie de routage qui couple conjointement le risque de modalité conditionnel avec l'affinité du sous-espace de l'expert. Cette conception préserve les preuves unimodales fiables tout en conservant la valeur complémentaire des modalités plus faibles via un chemin partagé et des résidus d'experts parcimonieux.
3. Évaluation complète : Le cadre est évalué sur quatre cohortes biomédicales (ADNI, OASIS-3, PAD-UFES-20, FPRM) couvrant la maladie d'Alzheimer, la malignité des lésions cutanées et la classification rétinienne.

Résultats

Les expériences démontrent la supériorité de TIER-MoE par rapport aux autres modèles de pointe (incluant GMU, QMF, PDF, Flex-MoE et I2MoE) sur plusieurs métriques :

• Performance en domaine (In-Domain) : TIER-MoE a obtenu les meilleurs scores Macro-F1 et Brier sur les trois ensembles de données en domaine. Sur ADNI, il a amélioré le Macro-F1 de 3,4 points de pourcentage par rapport au comparateur publié le plus fort.
• Calibration du risque : Le risque conditionnel estimé a montré une meilleure concordance avec les pertes de Brier unimodales réalisées (plus faible ERCE, corrélation de Spearman plus élevée) et une meilleure discrimination des cas à perte élevée par rapport aux bases de référence fondées sur l'incertitude ou la qualité.
• Robustesse : Dans des conditions de dégradation de modalité, d'absence de données ou de conflit inter-modal, TIER-MoE a maintenu une meilleure rétention de performance et a significativement réduit le « taux de dommage » (la proportion de prédictions fusionnées incorrectes lorsqu'au moins un prédicteur unimodal était correct).
• Généralisation zero-shot : Sans adaptation, TIER-MoE a transféré efficacement vers la cohorte externe OASIS-3, atteignant la meilleure précision équilibrée et la meilleure calibration de probabilité. Crucialement, la sémantique du risque apprise (calibration et discrimination) est restée valide malgré ce changement de cohorte.
• Études d'ablation : Le retrait soit du routage guidé par le risque, soit de la supervision OOF, a entraîné des baisses de performance mesurables, confirmant que le routage conditionné par le risque et la supervision OOF honnête envers les étiquettes sont tous deux nécessaires au succès du modèle.

Signification

L'article soutient que la fiabilité de la modalité, la complémentarité inter-modale et la compatibilité de l'expert sont des facteurs distincts mais coordonnés dans la fusion multimodale. En découplant ces facteurs et en les modélisant explicitement — en utilisant le risque dérivé de l'OOF pour la fiabilité, l'affinité de sous-espace pour la compatibilité de l'expert et un chemin partagé pour la complémentarité — TIER-MoE répond aux limites des méthodes de fusion existantes qui confondent ces concepts. Les résultats suggèrent que définir la fiabilité comme la perte de prédiction attendue, plutôt que comme l'incertitude ou la qualité, fournit une base plus robuste pour une fusion adaptative dans les données biomédicales hétérogènes.