MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

Resumo Técnico: MOLAR – Aprendizado de Representações Moleculares Multimodais a partir de Rótulos Ruidosos

Definição do Problema
A predição de propriedades moleculares frequentemente depende de rótulos derivados de ensaios de alto rendimento, bancos de dados curados ou pipelines de anotação fraca, que são frequentemente ruidosos em vez de refletirem uma verdade biológica limpa. No aprendizado de representação molecular multimodal, onde modelos integram dados estruturais baseados em grafos (átomos, ligações, topologia) com dados semânticos baseados em texto (SMILES, descrições, descritores), tratar esses rótulos registrados ruidosos como supervisão confiável pode levar os modelos a memorizar observações corrompidas. Este problema é exacerbado em configurações multimodais: estratégias padrão de fusão ou alinhamento podem propagar erros induzidos por rótulos entre as modalidades, e desajustes entre grafo e texto podem ser interpretados erroneamente como falhas de alinhamento, em vez de potenciais indicadores de corrupção de rótulo, evidência insuficiente em uma modalidade ou incerteza genuína. Os métodos existentes de aprendizado de rótulos ruidosos abordam primariamente a classificação unimodal e não distinguem explicitamente propriedades moleculares latentes de rótulos registrados ruidosos, nem fornecem um framework principiado para lidar com evidências específicas de cada modalidade sob supervisão não confiável.

Metodologia: O Framework MOLAR
Os autores propõem o MOLAR, um framework consciente do ruído projetado para separar a inferência da propriedade limpa latente da observação do rótulo registrado. O framework opera através de quatro módulos principais:

1. Inicialização de Evidência Molecular:

   • Visão de Grafo: Um grafo molecular $G_i$ é codificado em uma representação $z^g_i$ usando um codificador de grafos (ex: GIN).
   • Visão de Texto: Uma visão derivada de texto $T_i$ (ex: SMILES, descrições) é codificada em $z^t_i$ usando um codificador de texto (ex: BiomedBERT).

2. Composição de Evidência de Parâmetro Natural Residual:
   Em vez de concatenar características ou forçar o alinhamento, o MOLAR trata as visões de grafo e texto como fontes de evidência residual para uma distribuição categórica limpa.

   • Funções aprendíveis mapeiam as representações para parâmetros naturais residuais por classe: $u^g_i = C(\phi_g(z^g_i))$ e $u^t_i = C(\phi_t(z^t_i))$, onde $C$ é um operador de centralização que remove offsets aditivos comuns.
   • Um vetor base $b$ representa os priors de nível de classe.
   • Os logits limpos são formados por composição aditiva: $\ell_i = C(b + u^g_i + u^t_i)$.
   • A posterior limpa $p_i$ é derivada via normalização softmax. Esta formulação permite que o modelo quantifique a contribuição relativa de cada modalidade ($M^g_i, M^t_i$) e interprete a evidência específica da modalidade.

3. Canal de Observação de Rótulo Categórico:
   Para utilizar rótulos registrados ruidosos $\tilde{y}_i$ sem tratá-los como verdade fundamental, o MOLAR introduz um canal probabilístico $O$ que mapeia a classe limpa latente $y_i$ para o rótulo registrado $\tilde{y}_i$.

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$.
   • O canal é parametrizado para ser diagonal-dominante (permitindo transições de rótulos, mas priorizando o mapeamento correto) e é aprendido durante o treinamento.
   • A distribuição do rótulo registrado $\tilde{p}_i$ é computada como $O p_i$. O modelo é treinado para maximizar a verossimilhança do rótulo registrado sob esta distribuição, em vez de ajustar diretamente $p_i$ a $\tilde{y}_i$.
   • Este canal gera naturalmente um escore de confiabilidade da posterior $\rho_i$, representando a probabilidade de o rótulo registrado corresponder à classe limpa latente.

4. Objetivo de Aprendizado Consciente do Ruído:
   A função de perda total combina três termos:

   • Verossimilhança do Rótulo Registrado ($L_{sup}$): Log-verossimilhança negativa do rótulo registrado baseada na distribuição marginalizada $\tilde{p}_i$.
   • Regularização de Conflito de Evidência ($L_{conf}$): Penaliza evidências contraditórias entre as visões de grafo e texto, ponderadas pela confiabilidade da posterior $\rho_i$. Contradições de alta confiança são penalizadas mais pesadamente quando o rótulo é provavelmente confiável.
   • Regularização de Consistência de Perturbação ($L_{pert}$): Incentiva a posterior limpa a permanecer estável sob perturbações moleculares que preservam o rótulo (ex: mascaramento de características), garantindo robustez contra o ruído.

Principais Contribuições

1. Formulação do Problema: O artigo identifica e formaliza três desafios centrais no aprendizado multimodal de propriedades moleculares com rótulos ruidosos: (a) separar propriedades latentes de rótulos ruidosos, (b) utilizar rótulos ruidosos como supervisão via um canal de observação de rótulo e (c) interpretar o desajuste grafo-texto sob supervisão não confiável.
2. Design do Framework: O MOLAR introduz um framework probabilístico que compõe visões multimodais como evidência residual para uma posterior limpa e vincula isso aos rótulos ruidosos através de um canal de observação aprendível, evitando o ajuste direto a alvos corrompidos.
3. Interpretabilidade: O framework fornece ferramentas de diagnóstico, incluindo escores de confiabilidade da posterior ($\rho_i$) e contribuições de evidência específicas da modalidade, permitindo a interpretação da confiabilidade do rótulo e da utilidade da modalidade.
4. Validação Empírica: Experimentos extensos demonstram desempenho de estado da arte em benchmarks naturalmente ruidosos (MF-PCBA-Noisy7) e benchmarks de inversão de rótulo controlada (MoleculeNet).

Resultos Experimentais

• Datasets: A avaliação foi conduzida no MF-PCBA-Noisy7 (sete tarefas com rótulos de triagem de dose única naturalmente ruidosos e rótulos confirmatórios de dose-resposta mais limpos) e em quatro benchmarks do MoleculeNet (HIV, BACE, BBBP, ClinTox) com inversão de rótulo simétrica controlada (até 70%).
• Desempenho: O MOLAR superou consistentemente os baselines representativos em quatro categorias: redes neurais de grafos supervisionadas (GCN, GAT, GIN), métodos de pré-treinamento molecular (GraphCL, GROVE, Uni-Mol), métodos de fusão multimodal (Tri-SGD, MMSG, ProtoMol) e métodos de aprendizado robusto/de rótulo ruidoso (OMG, SPORT, RTGNN).
  • No MF-PCBA-Noisy7, o MOLAR alcançou o maior ROC-AUC médio (71,30%), mostrando ganhos significativos em tarefas com severa inconsistência de rótulo.
  • No MoleculeNet com 30% de inversão de rótulo, o MOLAR manteve desempenho superior (78,45% de ROC-AUC médio) em comparação com todos os baselines.
  • A análise de robustez mostrou que, enquanto o desempenho dos baselines degradava rapidamente conforme os níveis de ruído aumentavam, o MOLAR mantinha uma precisão estável, particularmente no BBBP e ClinTox.
• Estudos de Ablação: Remover a regularização de conflito, a consistência de perturbação ou qualquer uma das modalidades (grafo/texto) resultou em degradação do desempenho, confirmando a necessidade do design conjunto. Substituir o canal aprendido por um compartilhado também reduziu o desempenho.
• Diagnósticos:
  • Confiabilidade: A confiabilidade da posterior $\rho_i$ mostrou uma forte correlação de Spearman (0,98) com as taxas de concordância empírica SD–DR, superando entropia e escores de conflito na detecção de inconsistências de rótulo.
  • Visualização: Estudos de caso em amostras invertidas demonstraram que o MOLAR poderia prever corretamente o rótulo limpo apesar de rótulos registrados corrompidos, atribuindo decisões a subestruturas moleculares específicas em vez de memorizar o ruído.

Significância
O artigo afirma que o MOLAR fornece uma abordagem principiada para o aprendizado de representação molecular multimodal na presença de supervisão ruidosa. Ao separar explicitamente a inferência da propriedade limpa da observação do rótulo e modelar a relação entre modalidades e rótulos probabilisticamente, o framework mitiga o risco de memorizar dados corrompidos. A capacidade de derivar a confiabilidade da posterior e a evidência específica da modalidade oferece uma capacidade diagnóstica que é crucial para interpretar o comportamento do modelo em cenários reais de descoberta de fármacos, onde os rótulos são inerentemente incertos. Os resultados sugerem que separar propriedades latentes de observações ruidosas é um passo crítico para melhorar a generalização e a robustez na predição de propriedades moleculares.