MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

Resumen Técnico: MOLAR – Aprendizaje de Representaciones Moleculares Multimodales a partir de Etiquetas Ruidosas

Planteamiento del Problema
La predicción de propiedades moleculares suele depender de etiquetas derivadas de ensayos de alto rendimiento, bases de datos curadas o procesos de anotación débil, los cuales son frecuentemente ruidosos en lugar de reflejar una verdad biológica limpia. En el aprendizaje de representaciones moleculares multimodales, donde los modelos integran datos estructurales basados en grafos (átomos, enlaces, topología) con datos semánticos basados en texto (SMILES, descripciones, descriptores), tratar estas etiquetas registradas ruidosas como una supervisión fiable puede llevar a que los modelos memoricen observaciones corruptas. Este problema se exacerba en entornos multimodales: las estrategias estándar de fusión o alineación pueden propagar errores inducidos por las etiquetas a través de las modalidades, y los desacuerdos entre el grafo y el texto suelen malinterpretarse como fallos de alineación en lugar de indicadores potenciales de corrupción de la etiqueta, evidencia insuficiente en una modalidad o incertidumbre genuina. Los métodos existentes de aprendizaje con etiquetas ruidosas abordan principalmente la clasificación unimodal y no distinguen explícitamente las propiedades moleculares latentes de las etiquetas registradas ruidosas, ni proporcionan un marco principista para manejar la evidencia específica de cada modalidad bajo una supervisión poco fiable.

Metodología: El Marco MOLAR
Los autores proponen MOLAR, un marco sensible al ruido diseñado para separar la inferencia de la propiedad limpia latente de la observación de la etiqueta registrada. El marco opera a través de cuatro módulos clave:

1. Inicialización de la Evidencia Molecular:

   • Vista de Grafo: Un grafo molecular $G_i$ se codifica en una representación $z^g_i$ utilizando un codificador de grafos (p. ej., GIN).
   • Vista de Texto: Una vista derivada de texto $T_i$ (p. ej., SMILES, descripciones) se codifica en $z^t_i$ utilizando un codificador de texto (p. ej., BiomedBERT).

2. Composición de Evidencia de Parámetros Naturales Residuales:
   En lugar de concatenar características o forzar la alineación, MOLAR trata las vistas de grafo y texto como fuentes de evidencia residual para una distribución categórica limpia.

   • Funciones aprendibles mapean las representaciones a parámetros naturales residuales por clase: $u^g_i = C(\phi_g(z^g_i))$ y $u^t_i = C(\phi_t(z^t_i))$, donde $C$ es un operador de centrado que elimina desplazos aditivos comunes.
   • Un vector base $b$ representa los priors a nivel de clase.
   • Los logits limpios se forman mediante composición aditiva: $\ell_i = C(b + u^g_i + u^t_i)$.
   • La posterior limpia $p_i$ se deriva mediante normalización softmax. Esta formulación permite al modelo cuantificar la contribución relativa de cada modalidad ($M^g_i, M^t_i$) e interpretar la evidencia específica de la modalidad.

3. Canal de Observación de Etiquetas Categóricas:
   Para utilizar las etiquetas registradas ruidosas $\tilde{y}_i$ sin tratarlas como la verdad de campo, MOLAR introduce un canal probabilístico $O$ que mapea la clase limpia latente $y_i$ a la etiqueta registrada $\tilde{y}_i$.

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$.
   • El canal está parametrizado para ser diagonalmente dominante (permitiendo transiciones de etiquetas pero priorizando el mapeo correcto) y se aprende durante el entrenamiento.
   • La distribución de la etiqueta registrada $\tilde{p}_i$ se computa como $O p_i$. El modelo se entrena para maximizar la verosimilitud de la etiqueta registrada bajo esta distribución, en lugar de ajustar directamente $p_i$ a $\tilde{y}_i$.
   • Este canal genera naturalmente una puntuación de fiabilidad de la posterior $\rho_i$, que representa la probabilidad de que la etiqueta registrada coincida con la clase limpia latente.

4. Objetivo de Aprendizaje Sensible al Ruido:
   La función de pérdida total combina tres términos:

   • Verosimilitud de la Etiqueta Registrada ($L_{sup}$): Log-verosimilitud negativa de la etiqueta registrada basada en la distribución marginalizada $\tilde{p}_i$.
   • Regularización de Conflicto de Evidencia ($L_{conf}$): Penaliza la evidencia contradictoria entre las vistas de grafo y texto, ponderada por la fiabilidad de la posterior $\rho_i$. Las contradicciones de alta confianza se penalizan más fuertemente cuando la etiqueta es probablemente fiable.
   • Regularización de Consistencia de Perturbación ($L_{pert}$): Fomenta que la posterior limpia permanezca estable bajo perturbaciones moleculares que preservan la etiqueta (p. ej., enmascaramiento de características), asegurando la robustez contra el ruido.

Contribuciones Clave

1. Formulación del Problema: El artículo identifica y formaliza tres desafíos centrales en el aprendizaje molecular multimodal con etiquetas ruidosas: (a) separar las propiedades latentes de las etiquetas ruidosas, (b) utilizar etiquetas ruidosas como supervisión a través de un canal de observación de etiquetas, y (c) interpretar el desacuerdo entre grafo y texto bajo una supervisión poco fiable.
2. Diseño del Marco: MOLAR introduce un marco probabilístico que compone las vistas multimodales como evidencia residual para una posterior limpia y vincula esto a las etiquetas ruidosas mediante un canal de observación aprendible, evitando el ajuste directo a objetivos corruptos.
3. Interpretabilidad: El marco proporciona herramientas de diagnóstico, incluyendo puntuaciones de fiabilidad de la posterior ($\rho_i$) y contribuciones de evidencia específicas de la modalidad, lo que permite la interpretación de la confiabilidad de la etiqueta y la utilidad de la modalidad.
4. Validación Empírica: Experimentos extensos demuestran un rendimiento de vanguardia en benchmarks de ruido natural (MF-PCBA-Noisy7) y benchmarks de inversión de etiquetas controlada (MoleculeNet).

Resultados Experimentales

• Datasets: La evaluación se realizó en MF-PCBA-Noisy7 (siete tareas con etiquetas de cribado de dosis única naturalmente ruidosas y etiquetas confirmatorias de dosis-respuesta más limpias) y cuatro benchmarks de MoleculeNet (HIV, BACE, BBBP, ClinTox) con inversión de etiquetas simétrica controlada (hasta un 70%).
• Rendimiento: MOLAR superó consistentemente a los baselines representativos en cuatro categorías: redes neuronales de grafos supervisadas (GCN, GAT, GIN), métodos de preentrenamiento molecular (GraphCL, GROVE, Uni-Mol), métodos de fusión multimodal (Tri-SGD, MMSG, ProtoMol) y métodos de aprendizaje robusto/con etiquetas ruidosas (OMG, SPORT, RTGNN).
  • En MF-PCBA-Noisy7, MOLAR alcanzó el ROC-AUC promedio más alto (71.30%), mostrando ganancias significativas en tareas con severa inconsistencia de etiquetas.
  • En MoleculeNet con un 30% de inversión de etiquetas, MOLAR mantuvo un rendimiento superior (78.45% de ROC-AUC promedio) en comparación con todos los baselines.
  • El análisis de robustez mostró que, mientras el rendimiento de los baselines degradaba rápidamente a medida que aumentaban los niveles de ruido, MOLAR mantenía una precisión estable, particularmente en BBBP y ClinTox.
• Estudios de Ablación: Eliminar la regularización de conflicto, la consistencia de perturbación o cualquiera de las dos modalidades (grafo/texto) resultó en una degradación del rendimiento, confirmando la necesidad del diseño conjunto. Reemplazar el canal aprendido con uno compartido también redujo el rendimiento.
• Diagnósticos:
  • Fiabilidad: La fiabilidad de la posterior $\rho_i$ mostró una fuerte correlación de Spearman (0.98) con las tasas de acuerdo empírico SD–DR, superando a la entropía y a las puntuaciones de conflicto en la detección de inconsistencias de etiquetas.
  • Visualización: Los estudios de caso sobre muestras invertidas demostraron que MOLAR podía predecir correctamente la etiqueta limpia a pesar de las etiquetas registradas corruptas, atribuyendo las decisiones a subestructuras moleculares específicas en lugar de memorizar el ruido.

Significancia
El artículo afirma que MOLAR proporciona un enfoque principista para el aprendizaje de representaciones moleculares multimodales en presencia de supervisión ruidosa. Al separar explícitamente la inferencia de la propiedad limpia de la observación de la etiqueta y modelar la relación entre las modalidades y las etiquetas de forma probabilística, el marco mitiga el riesgo de memorizar datos corruptos. La capacidad de derivar la fiabilidad de la posterior y la evidencia específica de la modalidad ofrece una capacidad diagnóstica que es crucial para interpretar el comportamiento del modelo en escenarios reales de descubrimiento de fármacos donde las etiquetas son inherentemente inciertas. Los resultados sugieren que separar las propiedades latentes de las observaciones ruidosas es un paso crítico para mejorar la generalización y la robustez en la predicción de propiedades moleculares.