MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

Technische Samenvatting: MOLAR – Leren van Multimodale Moleculaire Representaties van Ruisende Labels

Probleemstelling
Voorspelling van moleculaire eigenschappen leunt vaak op labels afgeleid van high-throughput assays, gecureerde databases of zwakke annotatiepipelines, die frequent ruis bevatten in plaats van een schone biologische grondwaarheid te reflecteren. In multimodale moleculaire representatie-leren, waarbij modellen grafische structurele data (atomen, bindingen, topologie) integreren met tekstuele semantische data (SMILES, beschrijvingen, descriptoren), kan het behandelen van deze ruisende geregistreerde labels als betrouwbare supervisie ertoe leiden dat modellen gecorrumpeerde observaties memoriseren. Dit probleem wordt verergerd in multimodale settings: standaard fusie- of uitlijningstrategieën kunnen fouten door labels veroorzaakt door de labels naar andere modaliteiten voortplanten, en discrepanties tussen graaf en tekst worden vaak verkeerd geïnterpreteerd als uitlijningsfouten in plaats van potentiële indicatoren van labelcorruptie, onvoldoende bewijs in één modaliteit, of genuante onzekerheid. Bestaande methoden voor het leren van ruisende labels richten zich primair op unimodale classificatie en maken geen expliciet onderscheid tussen latente moleculaire eigenschappen en geregistreerde ruisende labels, noch bieden zij een principieel kader voor het afhandelen van modaliteitsspecifiek bewijs onder onbetrouwbare supervisie.

Methodologie: Het MOLAR-framework
De auteurs stellen MOLAR voor, een ruisbewust framework ontworpen om de inferentie van de latente schone eigenschap te scheiden van de geregistreerde labelobservatie. Het framework werkt via vier kernmodules:

1. Initialisatie van Moleculair Bewijs:

   • Grafische weergave: Een moleculaire graaf $G_i$ wordt gecodeerd in een representatie $z^g_i$ met behulp van een grafische encoder (bijv. GIN).
   • Tekstuele weergave: Een tekstuele weergave $T_i$ (bijv. SMILES, beschrijvingen) wordt gecodeerd in $z^t_i$ met behulp van een tekstencoder (bijv. BiomedBERT).

2. Compositie van Residuele Natuurlijke Parameter-Bewijsvoering:
   In plaats van kenmerken te concateneren of uitlijning af te dwingen, behandelt MOLAR de grafische en tekstuele weergaven als bronnen van residueel bewijs voor een latente schone categorische distributie.

   • Leerbare functies mappen representaties naar klasse-specifieke residuele natuurlijke parameters: $u^g_i = C(\phi_g(z^g_i))$ en $u^t_i = C(\phi_t(z^t_i))$, waarbij $C$ een centreringoperator is die gemeenschappelijke additieve offsets verwijdert.
   • Een basisvector $b$ representeert klasse-niveau priors.
   • De schone logits worden gevormd door additieve compositie: $\ell_i = C(b + u^g_i + u^t_i)$.
   • De schone posterior $p_i$ wordt afgeleid via softmax-normalisatie. Deze formulering stelt het model in staat om de relatieve bijdrage van elke modaliteit ($M^g_i, M^t_i$) te kwantificeren en de modaliteitsspecifieke bewijsvoering te interpreteren.

3. Categorische Label-Observatiekanaal:
   Om ruisende geregistreerde labels $\tilde{y}_i$ te gebruiken zonder ze als grondwaarheid te behandelen, introduceert MOLAR een probabilistisch kanaal $O$ dat de latente schone klasse $y_i$ mapt naar het geregistreerde label $\tilde{y}_i$.

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$.
   • Het kanaal is geparametriseerd om diagonaal-dominant te zijn (wat labeltransities toestaat maar de correcte mapping prioriteert) en wordt tijdens de training geleerd.
   • De geregistreerde labeldistributie $\tilde{p}_i$ wordt berekend als $O p_i$. Het model wordt getraind om de waarschijnlijkheid van het geregistreerde label onder deze distributie te maximaliseren, in plaats van direct $p_i$ aan te passen aan $\tilde{y}_i$.
   • Dit kanaal levert op natuurlijke wijze een posterior betrouwbaarheidsscore $\rho_i$ op, die de waarschijnlijkheid representeert dat het geregistreerde label overeenkomt met de latente schone klasse.

4. Ruisbewuste Leermetriek:
   De totale verliesfunctie combineert drie termen:

   • Geregistreerde-Label Waarschijnlijkheid ($L_{sup}$): Negatieve log-waarschijnlijkheid van het geregistreerde label gebaseerd op de gemarginaliseerde distributie $\tilde{p}_i$.
   • Bewijs-Conflict Regularisatie ($L_{conf}$): Bestraft tegenstrijdig bewijs tussen de grafische en tekstuele weergaven, gewogen door de posterior betrouwbaarheid $\rho_i$. Hoge-betrouwbaarheid contradicties worden zwaarder bestraft wanneer het label waarschijnlijk betrouwbaar is.
   • Perturbatie-Consistentie Regularisatie ($L_{pert}$): Moedigt de schone posterior aan om stabiel te blijven onder label-behoudende moleculaire perturbaties (bijv. feature masking), wat robuustheid tegen ruis garandeert.

Kernbijdragen

1. Probleemformulering: Het artikel identificeert en formaliseert drie kernuitdagingen in het multimodale moleculaire leren met ruisende labels: (a) het scheiden van latente eigenschappen van ruisende labels, (b) het benutten van ruisende labels als supervisie via een label-observatiekanaal, en (c) het interpreteren van graaf-tekst discrepantie onder onbetrouwbare supervisie.
2. Framework Ontwerp: MOLAR introduceert een probabilistisch framework dat multimodale weergaven componeert als residueel bewijs voor een schone posterior en dit koppelt aan ruisende labels via een leerbaar observatiekanaal, waardoor direct aanpassen aan gecorrumpeerde targets wordt vermeden.
3. Interpreteerbaarheid: Het framework biedt diagnostische instrumenten, inclusief posterior betrouwbaarheidsscores ($\rho_i$) en modaliteitsspecifieke bewijsvoering, wat de interpretatie van labelbetrouwbaarheid en modaliteitsnut mogelijk maakt.
4. Empirische Validatie: Uitgebreide experimenten tonen state-of-the-art prestaties aan op zowel natuurlijk ruisende benchmarks (MF-PCBA-Noisy7) als gecontroleerde label-flipping benchmarks (MoleculeNet).

Experimentele Resultaten

• Datasets: Evaluatie werd uitgevoerd op MF-PCBA-Noisy7 (zeven taken met natuurlijk ruisende single-dose screening labels en schonere dose-response confirmatory labels) en vier MoleculeNet benchmarks (HIV, BACE, BBBP, ClinTox) met gecontroleerde symmetrische label flipping (tot 70%).
• Prestaties: MOLAR presteerde consistent beter dan representatieve baselines over vier categorieën: gesuperviseerde grafische neurale netwerken (GCN, GAT, GIN), moleculaire pretraining methoden (GraphCL, GROVE, Uni-Mol), multimodale fusie methoden (Tri-SGD, MMSG, ProtoMol), en robuuste/ruisende-label leermethoden (OMG, SPORT, RTGNN).
  • Op MF-PCBA-Noisy7 behaalde MOLAR de hoogste gemiddelde ROC-AUC (71,30%), met significante winsten op taken met ernstige label inconsistentie.
  • Op MoleculeNet met 30% label flipping behield MOLAR een superieure prestatie (78,45% gemiddelde ROC-AUC) vergeleken met alle baselines.
  • Robuustheidsanalyse toonde aan dat terwijl de prestaties van baselines snel degradeerden naarmate de ruisniveaus toenamen, MOLAR een stabiele nauwkeurigheid behield, met name op BBBP en ClinTox.
• Ablatie-studies: Het verwijderen van de conflict regularisatie, perturbatie consistentie, of een van de modaliteiten (graaf/tekst) resulteerde in prestatievermindering, wat de noodzaak van het gezamenlijke ontwerp bevestigt. Het vervangen van het geleerde kanaal door een gedeeld kanaal verminderde ook de prestaties.
• Diagnostiek:
  • Betrouwbaarheid: De posterior betrouwbaarheid $\rho_i$ vertoonde een sterke Spearman correlatie (0,98) met empirische SD–DR overeenstemmingspercentages, waarmee het de prestaties van entropie en conflict scores overtrof bij het detecteren van label inconsistenties.
  • Visualisatie: Casestudies op geflipte samples toonden aan dat MOLAR de schone label correct kon voorspellen ondanks gecorrumpeerde geregistreerde labels, waarbij beslissingen werden toegeschreven aan specifieke moleculaire substructuren in plaats van het memoriseren van ruis.

Significantie
Het artikel beweert dat MOLAR een geprincipeerde aanpak biedt voor multimodale moleculaire representatie-leren in de aanwezigheid van ruisende supervisie. Door de schone eigenschapsinferentie expliciet te ontkoppelen van de labelobservatie en de relatie tussen modaliteiten en labels probabilistisch te modelleren, mitigeert het framework het risico op het memoriseren van gecorrumpeerde data. Het vermogen om posterior betrouwbaarheid en modaliteitsspecifieke bewijsvoering af te leiden, biedt een diagnostische capaciteit die cruciaal is voor het interpreteren van modelgedrag in real-world drug discovery scenario's waar labels inherent onzeker zijn. De resultaten suggereren dat het scheiden van latente eigenschappen van ruisende observaties een kritische stap is voor het verbeteren van generalisatie en robuustheid in moleculaire eigenschapsvoorspelling.