Resumen Técnico: Descomposición de la Brecha de Generalización en la Predicción de la Actividad de PROTAC

Enunciado del Problema

Los predictores de aprendizaje automático para la actividad bioquímica, específicamente para PROTACs (quimeras dirigidas a la proteólisis), exhiben una "brecha de generalización" significativa. Si bien los modelos reportan valores altos de AUROC (0.85–0.91) bajo validación cruzada con división aleatoria, el rendimiento cae precipitadamente a aproximadamente 0.67 bajo protocolos de dejar uno fuera por objetivo (LOTO). Esta brecha está bien documentada pero previamente no descompuesta. La pregunta central es si este colapso del rendimiento refleja una incapacidad fundamental de los modelos para extrapolar a objetivos novedosos (fallo de aprendizaje) o si es impulsado por ruido irreducible en los datos, específicamente la variabilidad de las mediciones entre laboratorios y la heterogeneidad de las etiquetas.

Metodología

Los autores introducen PROTAC-Bench, un conjunto de referencia curado de 10,748 mediciones de degradación en 173 objetivos, priorizando la densidad de mediciones dentro del objetivo y las estructuras de réplicas de múltiples publicaciones sobre el tamaño del corpus crudo. El estudio emplea un marco de descomposición de la varianza para atribuir la brecha de generalización a componentes específicos:

1. Protocolos de Evaluación: El estudio compara la validación cruzada con división aleatoria, la división por andamio (scaffold-split) y el protocolo LOTO canónico. También introduce una evaluación "dentro del objetivo entre laboratorios", reteniendo los datos de una publicación para objetivos con múltiples publicaciones para aislar la varianza inter-laboratorio.
2. Arquitectura e Invarianza de Escala: Los autores evalúan ocho arquitecturas distintas (incluyendo DeepPROTACs, DegradeMaster, PROTAC-STAN y baselines estándar como Random Forest con huellas dactilares Morgan) y escalan los modelos de lenguaje de proteínas (PLM) de 8M a 3B de parámetros (ESM-2).
3. Optimización de Hiperparámetros (HPO): Se realiza una búsqueda de HPO de 21 dimensiones a través de 2,000 ensayos para probar si una optimización agresiva puede romper el techo de rendimiento. Los resultados se analizan frente a la predicción en forma cerrada de Bailey-López de Prado para el sesgo de selección.
4. Descomposición de la Varianza: La brecha se triangula utilizando cuatro límites independientes:
   • Variabilidad de las mediciones entre laboratorios (mediante cascada entre laboratorios).
   • Elección del umbral de binarización a través de cuatro esquemas de etiquetado.
   • Eliminación de conflictos entre DOI.
   • Desplazamiento distribucional residual.
5. Calibración con Pocos Ejemplos: El estudio prueba si el reentrenamiento por objetivo con datos de pocos ejemplos ($k=5$) combinado con características ADMET puede recuperar el rendimiento perdido debido al ruido de medición.

Resultados Clave

1. El Techo de Rendimiento Universal

En todas las ocho arquitecturas evaluadas y escalas de PLM ESM-2, el rendimiento LOTO se estabiliza dentro de una banda estrecha de 0.668 a 0.678 AUROC.

• Escalado de PLM: Los PLM más grandes (hasta 3B de parámetros) no mejoran el rendimiento LOTO; de hecho, el rendimiento es no monótono, alcanzando un pico en 150M de parámetros (0.691) y retrocediendo en escalas mayores. Esto sugiere que los modelos más grandes actúan como "taxónomos accidentales", identificando familias de objetivos que han visto literalmente durante el preentrenamiento en lugar de aprender mecanismos de degradación generalizables.
• Retroceso de HPO: La configuración de mayor rango de los 2,000 ensayos de HPO (objetivo de semilla única 0.764) retrocedió a 0.603 bajo validación de múltiples semillas, una caída de 0.161 AUROC. Esto coincide con la predicción teórica para el sesgo de selección (Bailey-López de Prado), indicando que la HPO de semilla única se sobreajusta al ruido.

2. Atribución de la Varianza

El estudio descompone la brecha de división aleatoria a LOTO (aprox. 0.18–0.20 AUROC) e identifica la variabilidad de las mediciones entre laboratorios como el componente dominante:

• Límite Inter-laboratorio: Una cascada dentro del objetivo entre laboratorios (CV Aleatoria 0.802 $\to$ Entre Laboratorios 0.678 $\to$ LOTO 0.653) ancla la contribución inter-laboratorio en 0.124 AUROC.
• Ancla Empírica: Compuestos idénticos medidos en diferentes publicaciones muestran una variación mediana de DC50 de 3.7 veces, lo que se traduce en una tasa equivalente de inversión de etiquetas de ~23% bajo calibración de ruido sintético.
• Otros Factores: La elección de la binarización contribuye con ~0.05 AUROC, mientras que otros factores (eliminación de conflictos, desplazamiento residual) son insignificantes. La brecha es principalmente un problema de variabilidad de medición, no un problema de fallo de aprendizaje.

3. Recuperación mediante Calibración con Pocos Ejemplos

Si bien el "techo" es fijo para la predicción sin ejemplos (zero-shot), el estudio demuestra que el reentrenamiento por objetivo con pocos ejemplos puede recuperar una parte del rendimiento perdido:

• Combinar huellas dactilares Morgan, características ADMET y reentrenamiento estratificado con $k=5$ eleva el AUROC LOTO de 65 objetivos de 0.668 a 0.7050.
• Este enfoque supera a las líneas base de aprendizaje meta (MAML, ProtoNet) y sugiere que el componente de varianza inter-laboratorio es recuperable si están disponibles un pequeño número de mediciones específicas del objetivo.
• Calibración: La escalada de Platt post-hoc recupera el Error de Calibración Esperado (ECE) de salida bruta de 0.150 a 0.031, llevándolo por debajo del umbral de 0.05 bien calibrado.

4. Enfoques Estructurales y Geométricos

La evaluación de características estructurales 3D (EGNN, Boltz-2, bolsillos predichos por AlphaFold) muestra que contribuyen como máximo 0.013 AUROC más allá de las huellas dactilares Morgan 2D. Los controles de mezcla de bolsillos (permutación aleatoria de residuos del bolsillo) degradan el rendimiento en menos de 0.013 AUROC, lo que indica que las herramientas actuales de predicción estructural no proporcionan una señal lo suficientemente fuerte para superar el suelo de ruido inter-laboratorio.

Significado y Afirmaciones

El artículo afirma que la aparente brecha de generalización en la predicción de la actividad de PROTAC no es un fallo de la arquitectura o capacidad del modelo, sino un reflejo del suelo de reproducibilidad inter-laboratorio de los datos experimentales subyacentes.

• Contribución Metodológica: El trabajo proporciona un marco de descomposición de la varianza y un conjunto de referencia (PROTAC-Bench) que desplaza el enfoque de "mejores modelos" a "mejor evaluación del ruido de medición". Argumenta que el techo operativo para la predicción de objetivos retenidos está actualmente limitado por la calidad de los datos (0.668–0.678 AUROC) y no por limitaciones algorítmicas.
• Implicación Práctica: Para la implementación, el artículo recomienda un protocolo de tres niveles: una línea base Morgan (0.668), aumentada por características ADMET (0.687), y mejorada adicionalmente mediante reentrenamiento por objetivo con pocos ejemplos (0.705). Se enfatiza que los predictores deben utilizarse para el "enriquecimiento activo versus inactivo" en lugar de la clasificación fina de potencia, ya que el ruido de los datos impide una clasificación precisa.
• Generalizabilidad: Los autores postulan que esta metodología de descomposición, que atribuye las brechas de generalización a la varianza de medición en lugar del fallo de aprendizaje, sirve como plantilla para otros entornos terapéuticos con pocos datos donde la varianza inter-laboratorio o inter-sitio es una fuente dominante de ruido.

Los autores declaran explícitamente que ningún modelo en este trabajo supera la precisión predictiva alcanzable por expertos del dominio utilizando herramientas estándar de quimioinformática bajo las actuales restricciones de datos, y que la contribución principal es la transparencia metodológica respecto a los protocolos de evaluación y la atribución de la varianza.