MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

Technische Zusammenfassung: MOLAR – Lernen multimodaler molekularer Repräsentationen aus verrauschten Labels

Problemstellung
Die Vorhersage molekularer Eigenschaften stützt sich häufig auf Labels, die aus Hochdurchsatz-Assays, kuratierten Datenbanken oder schwachen Annotations-Pipelines stammen, welche oft verrauscht sind und nicht die saubere biologische Grundwahrheit widerspiegeln. In der multimodalen molekularen Repräsentationslernprozessen, bei denen Modelle graphbasierte Strukturdaten (Atome, Bindungen, Topologie) mit textbasierten semantischen Daten (SMILES, Beschreibungen, Deskriptoren) integrieren, führt die Behandlung dieser verrauschten aufgezeichneten Labels als zuverlässige Überwachung dazu, dass Modelle korrumpierte Beobachtungen auswendig lernen können. Dieses Problem wird in multimodalen Settings verschärft: Standardmäßige Fusions- oder Alignment-Strategien können Label-induzierte Fehler über die Modalitäten hinweg propagieren, und Diskrepanzen zwischen Graph und Text werden oft als Alignment-Fehler missinterpretiert, anstatt sie als potenzielle Indikatoren für Label-Korruption, unzureichende Evidenz in einer Modalität oder echte Unsicherheit zu erkennen. Bestehende Methoden zum Lernen mit verrauschten Labels adressieren primär unimodale Klassifikation und unterscheiden nicht explizit zwischen latenten molekularen Eigenschaften und aufgezeichneten verrauschten Labels, noch bieten sie einen fundierten Rahmen für den Umgang mit modalitätsspezifischer Evidenz unter unzuverlässiger Überwachung.

Methodik: Das MOLAR-Framework
Die Autoren schlagen MOLAR vor, ein rauschbewusstes Framework, das darauf ausgelegt ist, die Inferenz der sauberen latenten Eigenschaft von der Beobachtung des aufgezeichneten Labels zu trennen. Das Framework operiert durch vier Schlüsselmodule:

1. Initialisierung der molekularen Evidenz:

   • Graph-Ansicht: Ein molekularer Graph $G_i$ wird mittels eines Graph-Encoders (z. B. GIN) in eine Repräsentation $z^g_i$ kodiert.
   • Text-Ansicht: Eine textbasierte Ansicht $T_i$ (z. B. SMILES, Beschreibungen) wird mittels eines Text-Encoders (z. B. BiomedBERT) in $z^t_i$ kodiert.

2. Zusammensetzung der Residuen-Naturparameter-Evidenz:
   Anstatt Merkmale zu konkateneren oder ein Alignment zu erzwingen, behandelt MOLAR die Graph- und Text-Ansichten als Quellen von Residuen-Evidenz für eine latente saubere kategoriale Verteilung.

   • Lernbare Funktionen bilden die Repräsentationen auf klassenspezifische Residuen-Naturparameter ab: $u^g_i = C(\phi_g(z^g_i))$ und $u^t_i = C(\phi_t(z^t_i))$, wobei $C$ ein Zentrierungsoperator ist, der gemeinsame additive Offsets entfernt.
   • Ein Basisvektor $b$ repräsentiert die klassenspezifischen Priors.
   • Die sauberen Logits werden durch additive Komposition gebildet: $\ell_i = C(b + u^g_i + u^t_i)$.
   • Die saubere Posterior-Verteilung $p_i$ wird über Softmax-Normalisierung abgeleitet. Diese Formulierung ermöglicht es dem Modell, den relativen Beitrag jeder Modalität ($M^g_i, M^t_i$) zu quantifizieren und modalitätsspezifische Evidenz zu interpretieren.

3. Kategorialer Label-Beobachtungskanal:
   Um verrauschte aufgezeichnete Labels $\tilde{y}_i$ zu nutzen, ohne sie als Grundwahrheit zu behandeln, führt MOLAR einen probabilistischen Kanal $O$ ein, der das latente saubere Label $y_i$ auf das aufgezeichnete Label $\tilde{y}_i$ abbildet.

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$.
   • Der Kanal ist so parametrisiert, dass er diagonal-dominant ist (was Label-Transitionen erlaubt, aber die korrekte Abbildung priorisiert) und wird während des Trainings gelernt.
   • Die aufgezeichnete Label-Verteilung $\tilde{p}_i$ wird als $O p_i$ berechnet. Das Modell wird trainiert, die Likelihood des aufgezeichneten Labels unter dieser Verteilung zu maximieren, anstatt $p_i$ direkt an $\tilde{y}_i$ anzupassen.
   • Dieser Kanal liefert natürlich einen Posterior-Reliabilitätswert $\rho_i$, der die Wahrscheinlichkeit darstellt, mit der das aufgezeichnete Label mit der latenten sauberen Klasse übereinstimmt.

4. Rauschbewusste Lernzielgröße:
   Die Gesamtverlustfunktion kombiniert drei Terme:

   • Aufgezeichnete-Label-Likelihood ($L_{sup}$): Negative Log-Likelihood des aufgezeichneten Labels basierend auf der marginalisierten Verteilung $\tilde{p}_i$.
   • Evidenz-Konflikt-Regularisierung ($L_{conf}$): Bestraft widersprüchliche Evidenz zwischen Graph- und Text-Ansichten, gewichtet durch die Posterior-Reliabilität $\rho_i$. Hochkonfidente Widersprüche werden stärker bestraft, wenn das Label wahrscheinlich zuverlässig ist.
   • Perturbations-Konsistenz-Regularisierung ($L_{pert}$): Fördert, dass die saubere Posterior-Verteilung unter label-erhaltenden molekularen Perturbationen (z. B. Feature-Maskierung) stabil bleibt, was die Robustheit gegenüber Rauschen sicherstellt.

Wesentliche Beiträge

1. Problemformulierung: Die Arbeit identifiziert und formalisiert drei Kernherausforderungen beim multimodalen molekularen Lernen mit verrauschten Labels: (a) die Trennung latenter Eigenschaften von verrauschten Labels, (b) die Nutzung verrauschter Labels als Überwachung via eines Label-Beobachtungskanals und (c) die Interpretation von Graph-Text-Diskrepanzen unter unzuverlässiger Überwachung.
2. Framework-Design: MOLAR führt ein probabilistisches Framework ein, das multimodale Ansichten als Residuen-Evidenz für eine saubere Posterior-Verteilung zusammensetzt und dieses über einen lernbaren Beobachtungskanal mit verrauschten Labels verknüpft, wodurch eine direkte Anpassung an korrumpierte Ziele vermieden wird.
3. Interpretierbarkeit: Das Framework bietet diagnostische Werkzeuge, einschließlich der Posterior-Reliabilitätswerte ($\rho_i$) und modalitätsspezifischer Evidenzbeiträge, was die Interpretation der Vertrauenswürdigkeit von Labels und des Nutzens der Modalitäten ermöglicht.
4. Empirische Validierung: Umfangreiche Experimente demonstrieren eine State-of-the-Art-Leistung auf sowohl natürlich verrauschten Benchmarks (MF-PCBA-Noisy7) als auch kontrollierten Label-Flipping-Benchmarks (MoleculeNet).

Experimentelle Ergebnisse

• Datensätze: Die Evaluierung wurde auf MF-PCBA-Noisy7 (sieben Aufgaben mit natürlich verrauschten Single-Dose-Screening-Labels und saubereren Dose-Response-Konfirmations-Labels) und vier MoleculeNet-Benchmarks (HIV, BACE, BBBP, ClinTox) mit kontrolliertem symmetrischem Label-Flipping (bis zu 70 %) durchgeführt.
• Leistung: MOLAR übertraf konsistent repräsentative Baselines in vier Kategorien: supervidierte Graph Neural Networks (GCN, GAT, GIN), molekulare Pretraining-Methoden (GraphCL, GROVE, Uni-Mol), multimodale Fusionsmethoden (Tri-SGD, MMSG, ProtoMol) und robuste/verrauschte-Label-Lernmethoden (OMG, SPORT, RTGNN).
  • Auf MF-PCBA-Noisy7 erreichte MOLAR die höchste durchschnittliche ROC-AUC (71,30 %) und zeigte signifikante Gewinne bei Aufgaben mit schwerwiegender Label-Inkonsistenz.
  • Auf MoleculeNet mit 30 % Label-Flipping behielt MOLAR eine überlegene Leistung (78,45 % durchschnittliche ROC-AUC) im Vergleich zu allen Baselines bei.
  • Die Robustheitsanalyse zeigte, dass während die Baseline-Leistung mit steigendem Rauschpegel rapide sank, MOLAR eine stabile Genauigkeit beibehielt, insbesondere bei BBBP und ClinTox.
• Ablationsstudien: Das Entfernen der Konflikt-Regularisierung, der Perturbations-Konsistenz oder einer der beiden Modalitäten (Graph/Text) führte zu einer Verschlechterung der Leistung, was die Notwendigkeit des gemeinsamen Designs bestätigt. Das Ersetzen des gelernten Kanals durch einen geteilten Kanal reduzierte ebenfalls die Leistung.
• Diagnostik:
  • Reliabilität: Der Posterior-Reliabilitätswert $\rho_i$ zeigte eine starke Spearman-Korrelation (0,98) mit den empirischen SD–DR-Übereinstimmungsraten und übertraf Entropie- und Konflikt-Scores bei der Erkennung von Label-Inkonsistenzen.
  • Visualisierung: Fallstudien an geflippten Proben zeigten, dass MOLAR das saubere Label trotz korrumpierter aufgezeichneter Labels korrekt vorhersagen kann, indem es Entscheidungen spezifischen molekularen Substrukturen zuordnet, statt Rauschen auswendig zu lernen.

Bedeutung
Das Paper behauptet, dass MOLAR einen fundierten Ansatz für das multimodale molekulare Repräsentationslernen in Gegenwart verrauschter Überwachung bietet. Durch die explizite Entkopplung der sauberen Eigenschaftsinferenz von der Label-Beobachtung und die probabilistische Modellierung der Beziehung zwischen Modalitäten und Labels mildert das Framework das Risiko der Speicherung korrumpierter Daten. Die Fähigkeit, Posterior-Reliabilität und modalitätsspezifische Evidenz abzuleiten, bietet eine diagnostische Kapazität, die entscheidend für die Interpretation des Modellverhaltens in realen Wirkstoffforschungs-Szenarien ist, in denen Labels inhärent unsicher sind. Die Ergebnisse legen nahe, dass die Trennung latenter Eigenschaften von verrauschten Beobachtungen ein kritischer Schritt zur Verbesserung der Generalisierung und Robustheit in der molekularen Eigenschaftsvorhersage ist.