MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

Sintesi Tecnica: MOLAR – Apprendimento di Rappresentazioni Molecolari Multimodali da Etichette Rumorose

Definizione del Problema
La previsione delle proprietà molecolari si affida spesso a etichette derivate da saggi ad alto rendimento, database curati o pipeline di annotazione deboli, che sono frequentemente rumorose piuttosto che riflettere una pulita verità biologica sottostante. Nell'apprendimento di rappresentazioni molecolari multimodali, dove i modelli integrano dati strutturali basati su grafi (atomi, legami, topologia) con dati semantici basati sul testo (SMILES, descrizioni, descrittori), trattare queste etichette registrate rumorose come supervisioni affidabili può portare i modelli a memorizzare osservazioni corrotte. Questo problema è esacerbato nei contesti multimodali: le strategie standard di fusione o allineamento possono propagare errori indotti dalle etichette attraverso le modalità, e i disaccordi tra grafo e testo possono essere interpretati erroneamente come fallimenti di allineamento anziché come potenziali indicatori di corruzione delle etichette, evidenza insufficiente in una modalità o incertezza genuina. I metodi esistenti di apprendimento con etichette rumorose affrontano principalmente la classificazione unimodale e non distinguono esplicitamente le proprietà molecolari latenti dalle etichette registrate rumorose, né forniscono un quadro rigoroso per gestire l'evidenza specifica della modalità sotto una supervisione inaffidabile.

Metodologia: Il Framework MOLAR
Gli autori propongono MOLAR, un framework consapevole del rumore progettato per separare l'inferenza della proprietà pulita latente dall'osservazione dell'etichetta registrata. Il framework opera attraverso quattro moduli chiave:

1. Inizializzazione dell'Evidenza Molecolare:

   • Vista del Grafo: Un grafo molecolare $G_i$ viene codificato in una rappresentazione $z^g_i$ utilizzando un codificatore di grafi (es. GIN).
   • Vista del Testo: Una vista derivata dal testo $T_i$ (es. SMILES, descrizioni) viene codificata in $z^t_i$ utilizzando un codificatore di testo (es. BiomedBERT).

2. Composizione dell'Evidenza dei Parametri Naturali Residui:
   Invece di concatenare le caratteristiche o forzare l'allineamento, MOLAR tratta le viste grafo e testo come fonti di evidenza residua per una distribuzione categorica pulita.

   • Funzioni apprendibili mappano le rappresentazioni in parametri naturali residui per classe: $u^g_i = C(\phi_g(z^g_i))$ e $u^t_i = C(\phi_t(z^t_i))$, dove $C$ è un operatore di centratura che rimuove gli offset additivi comuni.
   • Un vettore base $b$ rappresenta i priori a livello di classe.
   • I logit puliti sono formati tramite composizione additiva: $\ell_i = C(b + u^g_i + u^t_i)$.
   • La distribuzione posteriore pulita $p_i$ è derivata tramite normalizzazione softmax. Questa formulazione consente al modello di quantificare il contributo relativo di ciascuna modalità ($M^g_i, M^t_i$) e interpretare l'evidenza specifica della modalità.

3. Canale di Osservazione dell'Etichetta Categorica:
   Per utilizzare le etichette registrate rumorose $\tilde{y}_i$ senza trattarle come verità fondamentale, MOLAR introduce un canale probabilistico $O$ che mappa la classe pulita latente $y_i$ verso l'etichetta registrata $\tilde{y}_i$.

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$.
   • Il canale è parametrizzato per essere diagonalmente dominante (permettendo transizioni di etichetta ma dando priorità alla mappatura corretta) ed è appreso durante l'addestramento.
   • La distribuzione dell'etichetta registrata $\tilde{p}_i$ è calcolata come $O p_i$. Il modello è addestrato per massimizzare la verosimiglianza dell'etichetta registrata sotto questa distribuzione, piuttosto che adattarsi direttamente a $\tilde{y}_i$.
   • Questo canale fornisce naturalmente un punteggio di affidabilità del posteriore $\rho_i$, che rappresenta la probabilità che l'etichetta registrata corrisponda alla classe pulita latente.

4. Obiettivo di Apprendimento Consapevole del Rumore:
   La funzione di perdita totale combina tre termini:

   • Verosimiglianza dell'Etichetta Registrata ($L_{sup}$): Log-verosimiglianza negativa dell'etichetta registrata basata sulla distribuzione marginalizzata $\tilde{p}_i$.
   • Regolarizzazione del Conflitto di Evidenza ($L_{conf}$): Penalizza l'evidenza contraddittoria tra le viste grafo e testo, pesata dal $\rho_i$ del posteriore. I conflitti ad alta confidenza sono penalizzati più pesantemente quando l'etichetta è probabilmente affidabile.
   • Regolarizzazione della Coerenza della Perturbazione ($L_{pert}$): Incoraggia il posteriore pulito a rimanere stabile sotto perturbazioni molecolari che preservano l'etichetta (es. masking delle caratteristiche), garantendo la robustezza contro il rumore.

Contributi Chiave

1. Formulazione del Problema: Il documento identifica e formalizza tre sfide principali nell'apprendimento multimodale di proprietà molecolari con etichette rumorose: (a) separare le proprietà latenti dalle etichette rumorose, (b) utilizzare le etichette rumorose come supervisione tramite un canale di osservazione dell'etichetta, e (c) interpretare il disaccordo grafo-testo sotto una supervisione inaffidabile.
2. Design del Framework: MOLAR introduce un framework probabilistico che compone le viste multimodali come evidenza residua per un posteriore pulito e collega questo alle etichette rumorose attraverso un canale di osservazione apprendibile, evitando l'adattamento diretto a target corrotti.
3. Interpretabilità: Il framework fornisce strumenti diagnostici, inclusi i punteggi di affidabilità del posteriore ($\rho_i$) e i contributi dell'evidenza specifica della modalità, consentendo l'interpretazione dell'affidabilità delle etichette e dell'utilità della modalità.
4. Validazione Empirica: Esperimenti estesi dimostrano prestazioni allo stato dell'arte su benchmark naturalmente rumorosi (MF-PCBA-Noisy7) e benchmark controllati di flipping delle etichette (MoleculeNet).

Risultati Sperimentali

• Dataset: La valutazione è stata condotta su MF-PCBA-Noisy7 (sette task con etichette di screening a dose singola naturalmente rumorose e etichette di conferma dose-risposta più pulite) e quattro benchmark MoleculeNet (HIV, BACE, BBBP, ClinTox) con flipping delle etichette simmetrico controllato (fino al 70%).
• Prestazioni: MOLAR ha superato costantemente i baseline rappresentativi in quattro categorie: reti neurali su grafi supervisionate (GCN, GAT, GIN), metodi di pre-training molecolare (GraphCL, GROVE, Uni-Mol), metodi di fusione multimodale (Tri-SGD, MMSG, ProtoMol) e metodi di apprendimento robusti/con etichette rumorose (OMG, SPORT, RTGNN).
  • Su MF-PCBA-Noisy7, MOLAR ha raggiunto l'ROC-AUC medio più elevato (71,30%), mostrando guadagni significativi su task con severa inconsistenza delle etichette.
  • Su MoleculeNet con il 30% di flipping delle etichette, MOLAR ha mantenuto una prestazione superiore (78,45% di ROC-AUC medio) rispetto a tutti i baseline.
  • L'analisi di robustezza ha mostrato che, mentre le prestazioni dei baseline degradavano rapidamente all'aumentare dei livelli di rumore, MOLAR manteneva una stabilità nelle prestazioni, particolarmente su BBBP e ClinTox.
• Studi di Ablazione: Rimuovere la regolarizzazione del conflitto, la coerenza della perturbazione o una delle due modalità (grafo/testo) ha causato un degrado delle prestazioni, confermando la necessità del design congiunto. Sostituire il canale appreso con uno condiviso ha ridotto le prestazioni.
• Diagnostica:
  • Affidabilità: Il $\rho_i$ del posteriore ha mostrato una forte correlazione di Spearman (0,98) con i tassi di accordo empirico SD–DR, superando l'entropia e i punteggi di conflitto nel rilevare le inconsistenze delle etichette.
  • Visualizzazione: Gli studi di caso sui campioni con etichetta invertita hanno dimostrato che MOLAR può prevedere correttamente l'etichetta pulita nonostante le etichette registrate corrotte, attribuendo le decisioni a specifiche sottostrutture molecolari invece di memorizzare il rumore.

Significatività
Il documento sostiene che MOLAR fornisca un approccio rigoroso all'apprendimento di rappresentazioni molecolari multimodali in presenza di supervisione rumorosa. Decoupling esplicitamente l'inferenza della proprietà pulita dall'osservazione dell'etichetta e modellando la relazione tra modalità ed etichette in modo probabilistico, il framework mitiga il rischio di memorizzare dati corrotti. La capacità di derivare l'affidabilità del posteriore e l'evidenza specifica della modalità offre una capacità diagnostica che è cruciale per interpretare il comportamento del modello in scenari reali di scoperta di farmaci dove le etichette sono intrinsecamente incerte. I risultati suggeriscono che separare le proprietà latenti dalle osservazioni rumorose è un passo critico per migliorare la generalizzazione e la robustezza nella previsione delle proprietà molecolari.