Empty scaffold allocation bias in molecular distribution shift evaluation

Resumen Técnico: Sesgo de Asignación de Andamiajes Vacíos en la Evaluación del Desplazamiento de Distribución Molecular

Definición del Problema
La evaluación basada en andamiajes (scaffolds) es una metodología estándar para estimar la generalización de modelos de aprendizaje automático molecular hacia series químicas no vistas. Este enfoque se basa en la premisa de que cada unidad de división (un grupo de moléculas que comparten un andamiaje) corresponde a un núcleo compartido químicamente significativo. Sin embargo, el procedimiento de extracción de andamiajes de Bemis–Murcko frecuentemente devuelve una representación de andamiaje "vacía" para las moléculas que carecen de un marco de anillo-conector retenido. En los protocolos estándar de división por andamiajes, estas moléculas "sin andamiaje" se colapsan en un único "cubo de andamiaje vacío" indivisible y se tratan como una única unidad de división.

El artículo identifica un modo de falla crítico: esta agrupación trata a una población residual definida por la ausencia como si fuera una clase de andamiaje químicamente coherente. Debido a que las moléculas sin andamiaje son estructuralmente heterogéneas y carecen de un núcleo común, su asignación como una unidad única puede conducir a un sesgo de asignación severo. Específicamente, las estrategias de división estándar suelen agotar estas moléculas del conjunto de entrenamiento, concentrándolas en los conjuntos de validación o prueba. Esto crea un escenario de evaluación donde el rendimiento del modelo se ve confundido por la subrepresentación de una subpoblación estructuralmente difusa y débilmente soportada, en lugar de probar una verdadera generalización a nivel de andamiaje.

Metodología
El estudio realizó un análisis sistemático a través de 16 conjuntos de datos de MoleculeNet y 73 tareas de Deep-PK/ADMET. La metodología consistió en:

1. Caracterización de las Moléculas sin Andamiaje: Los autores cuantificaron la prevalencia de andamiajes vacíos y analizaron su cohesión estructural (usando similitud de Tanimoto y Gini de Cohesión) y su soporte en el espacio químico (similitud de vecino más cercano a moléculas con andamiaje). También evaluaron los desplazamientos de distribución dependientes de la tarea en los espacios de etiquetas y de objetivos.
2. Evaluación de Estrategias de División: Se compararon cuatro estrategias de división: División de Andamiaje Bemis–Murcko estándar, agrupamiento basado en UMAP, DataSAIL y LoHi. El análisis se centró en los "dobleces representativos agotados en el entrenamiento" (train-depleted representative folds; el doblez con la menor proporción de moléculas sin andamiaje en el entrenamiento) para evaluar la cobertura en el peor de los casos del lado del entrenamiento y la resultante concentración en las ramas de evaluación.
3. Evaluación del Rendimiento:
   • Clasificación: Los modelos fueron evaluados utilizando Precisión-Recall normalizada (normPR) para medir el rendimiento de clasificación respecto al punto de referencia de la tasa de positividad. El estudio comparó el rendimiento en los subconjuntos de prueba sin andamiaje frente a las referencias de doblez ordinario.
   • Regresión: Los modelos fueron evaluados utilizando el Error Absoluto Medio relativo (relMAE) para cuantificar los errores ajustados por escala. El estudio analizó la "inflación de relMAE" (la relación entre el error en los subconjuntos sin andamiaje frente a los dobleces ordinarios).
4. Diagnósticos Mecanicistas: Los autores investigaron las correlaciones entre la degradación del rendimiento y sus posibles causas, incluyendo la pérdida de soporte de entrenamiento, el desplazamiento de la distribución previa (prior shift), la deriva de calibración y la compresión de la escala de predicción.
5. Propuesta de Reparación (ESA): Se desarrolló una estrategia de reparación "Consciente de Andamiajes Vacíos" (ESA, por sus siglas en inglés). Este procedimiento de post-división mantiene fijas las asignaciones de moléculas con andamiaje (preservando el esqueleto consciente de la fuga de datos) y reasigna las moléculas sin andamiaje en micro-clústeres estructurales locales. Estos micro-clústeres se redistribuyen entonces entre las ramas de entrenamiento, validación y prueba para restaurar la representación en el lado del entrenamiento, controlando al mismo tiempo la exposición de similitud orientada al entrenamiento.

Resultados Clave

• Prevalencia y Propiedades: Las moléculas sin andamiaje son comunes, apareciendo en 8 de 16 conjuntos de datos de MoleculeNet y en 40 de 73 tareas de Deep-PK/ADMET, con algunos endpoints fisicoquímicos acercándose al 50%. Estas moléculas son estructuralmente difusas (similitud de Tanimoto dentro del grupo mediana de 0.110, cercana a los niveles de fondo) y débilmente soportadas por el espacio químico con andamiaje (similitud de vecino más cercano mediana de 0.300).
• Sesgo de Asignación: La División de Andamiaje estándar asigna consistentemente todo el cubo de andamiaje vacío a las ramas de evaluación, dejando el conjunto de entrenamiento con cero moléculas sin andamiaje en los dobleces del peor caso. Las estrategias alternativas (UMAP, DataSAIL, LoHi) también fallan en garantizar una representación proporcional en el entrenamiento, resultando a menudo en conjuntos de entrenamiento con una cobertura de moléculas sin andamiaje significativamente menor que el conjunto de datos completo.
• Impacto en Clasificación: Cuando las moléculas sin andamiaje se enriquecen en los conjuntos de prueba pero se agotan en el entrenamiento, el rendimiento de la clasificación se degrada significativamente. La mediana de normPR cae hacia el nivel base de la tasa de positividad (por ejemplo, de 0.259 a 0.035 en MoleculeNet). Esto indica una pérdida de orden discriminativo, con un rendimiento que se comprime hacia el azar en lugar de reflejar un simple desequilibrio de clases.
• Impacto en Regresión: Las tareas de regresión exhiben una inflación significativa del error. El relMAE mediano aumenta 1.35 veces en total, con un 44.8% de los puntos de evaluación mostrando al menos una inflación de 2 veces. Esta inflación es impulsada por un aumento en el error absoluto de predicción y, en algunas tareas de ADMET, por la contracción de la escala del objetivo.
• Impulsores Mecanicistas: La degradación del rendimiento está fuertemente asociada con la compresión de la escala de predicción en clasificación y la pérdida de soporte de entrenamiento en regresión. El desplazamiento de la distribución previa y la deriva de calibración mostraron asociaciones débiles con la pérdida de rendimiento.
• Eficacia de ESA: La estrategia de reparación ESA restauró con éxito la representación en el lado del entrenamiento (aumentando la recuperación de soporte de 0.64 a 1.11) y redujo la concentración de moléculas sin andamiaje en las ramas de evaluación (reduciendo la razón de sumidero de 5.28 a 0.43) sin introducir una nueva fuga de similitud significativa.

Significado y Reivindicaciones
El artículo sostiene que la asignación de andamiajes vacíos es un modo de falla previamente pasado por alto que confunde la generalización a nivel de andamiaje con la subrepresentación de una subpoblación residual débilmente soportada. Los autores argumentan que el diseño de benchmarks moleculares fiables debe diagnosticar no solo la fuga de análogos y la similitud global entre entrenamiento y prueba, sino también la subrepresentación inducida por la representación de tales subpoblaciones.

El estudio no afirma que las divisiones por andamiaje sean inválidas, sino que su interpretación se ve comprometida cuando las moléculas sin andamiaje se tratan como una unidad única y químicamente incoherente. La contribución central es la identificación de este sesgo y la demostración de que las estrategias de división actuales no garantizan un soporte adecuado para estas moléculas. La reparación ESA propuesta ilustra un principio más amplio: la dificultad de la evaluación y la representación en el lado del entrenamiento deben reportarse como propiedades distintas de un benchmark. Los autores concluyen que los informes de los benchmarks deberían separar explícitamente la frecuencia de las moléculas sin andamiaje, el soporte que reciben en el entrenamiento y su enriquecimiento en las ramas de evaluación para distinguir la generalización a nivel de andamiaje del fallo de extrapolación impulsado por el soporte.