MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

Résumé Technique : MOLAR – Apprentissage de représentations moléculaires multimodales à partir d'étiquettes bruitées

Énoncé du Problème
La prédiction des propriétés moléculaires repose souvent sur des étiquettes dérivées de tests à haut débit, de bases de données curatées ou de pipelines d'annotation faible, qui sont fréquemment bruitées plutôt que de refléter une vérité biologique pure. Dans l'apprentissage de représentations moléculaires multimodales, où les modèles intègrent des données structurelles sous forme de graphes (atomes, liaisons, topologie) et des données sémantiques textuelles (SMILES, descriptions, descripteurs), traiter ces étiquettes enregistrées bruitées comme des supervisions fiables peut conduire les modèles à mémoriser des observations corrompues. Ce problème est exacerbé dans les contextes multimodaux : les stratégies classiques de fusion ou d'alignement peuvent propager les erreurs induites par les étiquettes à travers les modalités, et les désaccords entre graphe et texte sont souvent interprétés à tort comme des échecs d'alignement plutôt que comme des indicateurs potentiels de corruption d'étiquette, d'insuffisance de preuves dans une modalité ou d'incertitude réelle. Les méthodes existantes d'apprentissage avec étiquettes bruitées traitent principalement la classification unimodale et ne distinguent pas explicitement les propriétés moléculaires latentes des étiquettes enregistrées bruitées, ni ne fournissent de cadre principled pour gérer les preuves spécifiques à une modalité sous une supervision peu fiable.

Méthodologie : Le Cadre MOLAR
Les auteurs proposent MOLAR, un cadre sensible au bruit conçu pour séparer l'inférence de la propriété propre latente de l'observation de l'étiquette enregistrée. Le cadre opère via quatre modules clés :

1. Initialisation de l'Évidence Moléculaire :

   • Vue Graphe : Un graphe moléculaire $G_i$ est encodé en une représentation $z^g_i$ via un encodeur de graphe (ex: GIN).
   • Vue Texte : Une vue dérivée du texte $T_i$ (ex: SMILES, descriptions) est encodée en $z^t_i$ via un encodeur de texte (ex: BiomedBERT).

2. Composition de l'Évidence par Paramètres Naturels Résiduels :
   Au lieu de concaténer les caractéristiques ou de forcer l'alignement, MOLAR traite les vues graphe et texte comme des sources d'évidence résiduelle pour une distribution catégorielle propre et latente.

   • Des fonctions apprenables mappent les représentations vers des paramètres naturels résiduels par classe : $u^g_i = C(\phi_g(z^g_i))$ et $u^t_i = C(\phi_t(z^t_i))$, où $C$ est un opérateur de centrage supprimant les décalages additifs communs.
   • Un vecteur de base $b$ représente les priors de classe.
   • Les logits propres sont formés par composition additive : $\ell_i = C(b + u^g_i + u^t_i)$.
   • La distribution postérieure propre $p_i$ est dérivée via une normalisation softmax. Cette formulation permet au modèle de quantifier la contribution relative de chaque modalité ($M^g_i, M^t_i$) et d'interpréter l'évidence spécifique à chaque modalité.

3. Canal de l'Observation de l'Étiquette Catégorielle :
   Pour utiliser les étiquettes enregistrées bruitées $\tilde{y}_i$ sans les traiter comme une vérité terrain, MOLAR introduit un canal probabiliste $O$ qui mappe la classe propre latente $y_i$ vers l'étiquette enregistrée $\tilde{y}_i$.

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$.
   • Le canal est paramétré pour être à dominance diagonale (permettant les transitions d'étiquettes mais privilégiant la correspondance correcte) et est appris durant l'entraînement.
   • La distribution de l'étiquette enregistrée $\tilde{p}_i$ est calculée comme $O p_i$. Le modèle est entraîné pour maximiser la vraisemblance de l'étiquette enregistrée sous cette distribution, plutôt que de s'ajuster directement à $\tilde{y}_i$.
   • Ce canal produit naturellement un score de fiabilité de la postérieure $\rho_i$, représentant la probabilité que l'étiquette enregistrée corresponde à la classe propre latente.

4. Objectif d'Apprentissage Sensible au Bruit :
   La fonction de perte totale combine trois termes :

   • Vraisemblance de l'Étiquette Enregistrée ($L_{sup}$): Log-vraisemblance négative de l'étiquette enregistrée basée sur la distribution marginalisée $\tilde{p}_i$.
   • Régularisation de Conflit d'Évidence ($L_{conf}$): Pénalise les preuves contradictoires entre les vues graphe et texte, pondérées par la fiabilité de la postérieure $\rho_i$. Les contradictions à haute confiance sont plus lourdement pénalisées lorsque l'étiquette est probablement fiable.
   • Régularisation de Consistance de Perturbation ($L_{pert}$): Encourage la postérieure propre à rester stable sous des perturbations moléculaires préservant l'étiquette (ex: masquage de caractéristiques), assurant ainsi la robustesse face au bruit.

Contributions Clés

1. Formulation du Problème : L'article identifie et formalise trois défis centraux de l'apprentissage multimodal des représentations moléculaires avec des étiquettes bruitées : (a) séparer les propriétés latentes des étiquettes enregistrées bruitées, (b) utiliser les étiquettes bruitées comme supervision via un canal d'observation d'étiquette, et (c) interpréter le désaccord graphe-texte sous une supervision peu fiable.
2. Conception du Cadre : MOLAR introduit un cadre probabiliste qui compose les vues multimodales comme une évidence résiduelle pour une postérieure propre et lie cela aux étiquettes bruitées via un canal d'observation apprenable, évitant l'ajustement direct sur des cibles corrompues.
3. Interprétabilité : Le cadre fournit des outils de diagnostic, incluant les scores de fiabilité de la postérieure ($\rho_i$) et les contributions d'évidence par modalité, permettant d'interpréter la fiabilité des étiquettes et l'utilité des modalités.
4. Validation Empirique : Des expériences approfondies démontrent des performances de pointe sur des benchmarks naturellement bruités (MF-PCBA-Noisy7) et des benchmarks de retournement d'étiquettes contrôlés (MoleculeNet).

Résultats Expérimentaux

• Datasets : L'évaluation a été menée sur MF-PCBA-Noisy7 (sept tâches avec des étiquettes de criblage à dose unique naturellement bruitées et des étiquettes de confirmation dose-réponse plus propres) et quatre benchmarks MoleculeNet (HIV, BACE, BBBP, ClinTox) avec un retournement d'étiquette symétrique contrôlé (jusqu'à 70 %).
• Performance : MOLAR surpasse systématiquement les bases de référence représentatives dans quatre catégories : réseaux de neurones sur graphes supervisés (GCN, GAT, GIN), méthodes de pré-entraînement moléculaire (GraphCL, GROVE, Uni-Mol), méthodes de fusion multimodale (Tri-SGD, MMSG, ProtoMol) et méthodes d'apprentissage robuste/avec étiquettes bruitées (OMG, SPORT, RTGNN).
  • Sur MF-PCBA-Noisy7, MOLAR a atteint l'average ROC-AUC le plus élevé (71,30 %), montrant des gains significatifs sur les tâches présentant une forte incohérence d'étiquettes.
  • Sur MoleculeNet avec 30 % de retournement d'étiquettes, MOLAR a maintenu une performance supérieure (78,45 % de ROC-AUC moyen) par rapport à tous les baselines.
  • L'analyse de robustesse a montré que tandis que la performance des baselines se dégradait rapidement à mesure que les niveaux de bruit augmentaient, MOLAR maintenait une précision stable, particulièrement sur BBBP et ClinTox.
• Études d'Ablation : Le retrait de la régularisation de conflit, de la consistance de perturbation, ou de l'une des deux modalités (graphe/texte) a entraîné une dégradation des performances, confirmant la nécessité de la conception conjointe. Remplacer le canal appris par un canal partagé a également réduit les performances.
• Diagnostics :
  • Fiabilité : La fiabilité de la postérieure $\rho_i$ a montré une forte corrélation de Spearman (0,98) avec les taux d'accord empiriques SD–DR, surpassant l'entropie et les scores de conflit pour détecter les incohérences d'étiquettes.
  • Visualisation : Des études de cas sur des échantillons retournés ont démontré que MOLAR pouvait prédire correctement l'étiquette propre malgré des étiquettes enregistrées corrompues, attribuant les décisions à des sous-structures moléculaires spécifiques plutôt qu'à la mémorisation du bruit.

Signification
L'article affirme que MOLAR fournit une approche rigoureuse pour l'apprentissage de représentations moléculaires multimodales en présence de supervision bruitée. En découplant explicitement l'inférence de la propriété propre de l'observation de l'étiquette et en modélisant la relation entre les modalités et les étiquettes de manière probabiliste, le cadre atténue le risque de mémorisation de données corrompues. La capacité de dériver la fiabilité de la postérieure et l'évidence spécifique à chaque modalité offre une capacité de diagnostic cruciale pour interpréter le comportement du modèle dans des scénarios de découverte de médicaments réels où les étiquettes sont intrinsèquement incertaines. Les résultats suggèrent que la séparation des propriétés latentes des observations bruitées est une étape critique pour améliorer la généralisation et la robustesse dans la prédiction des propriétés moléculaires.