Can Folding Models Tell Binders from Bluffers? Evidence from POISK: The Patent-Derived Antibody Dataset

Resumen Técnico: ¿Pueden los modelos de plegamiento distinguir entre uniones reales y falsas? Evidencia de POISK

Planteamiento del problema
Los modelos de predicción de estructuras se utilizan cada vez más como pantallas digitales de capacidad zero-shot en el diseño de anticuerpos, operando bajo la suposición de que una alta confianza estructural (por ejemplo, un alto modelado de plantilla de interfaz, o ipTM) implica una unión verdadera. Sin embargo, la validación rigurosa de esta premisa se ha visto limitada por conjuntos de prueba pequeños, una diversidad de objetivos estrecha y el riesgo de filtración de datos (data leakage) provenientes de estructuras adyacentes al entrenamiento encontradas en repositorios públicos como el Protein Data Bank (PDB) y la Structural Antibody Database (SAbDab). Los benchmarks existentes a menudo dependen de divisiones temporales de estas mismas fuentes, lo que puede no probar adecuadamente la capacidad de un modelo para generalizar a interacciones novedosas y experimentales validadas fuera de la distribución de entrenamiento.

Metodología
Para abordar estas limitaciones, los autores presentan POISK (Patent-extracted Organization of Immunoglobulin Sequence Knowledge), un conjunto de datos a gran escala derivado de la literatura de patentes de EE. UU. La metodología consta de cuatro etapas principales:

1. Extracción de datos: Utilizando un flujo de trabajo basado en un LLM (Gemini 3 Pro), los autores extrajeron 89.074 registros de anticuerpo-antígeno de 10.110 patentes de EE. UU. El flujo de trabajo se centró en 36 campos distintos, incluyendo detalles del epítopo y afinidades de unión. Un auditor automatizado señaló la información sin fundamento, y una auditoría manual de 40 registros confirmó una alta precisión de extracción (95% para registros de referencia).
2. Curación del Benchmark: Se curó un conjunto de referencia equilibrado de 22.494 complejos. Este incluyó 11.247 uniones validadas por patentes sin estructura resuelta conocida (filtradas para compartir <95% de identidad de secuencia con entradas de SAbDab). Cada unión fue emparejada con un "señuelo" (decoy, un supuesto no-unidor) construido a partir de anticuerpos del repertorio humano con similitud de secuencia (mediante KA-Search contra Observed Antibody Space) o generado mediante reversión de línea germinal con bucles CDRH3 aleatorizados.
3. Plegamiento y Puntuación: Se evaluaron seis modelos líderes de predicción de estructura: AlphaFold-Multimer, Boltz-2, IntelliFold v2, OpenFold3, Protenix-v1 y Protenix-v2. Todos los modelos se ejecutaron sin plantillas utilizando MSAs computados mediante ColabFold. La métrica de evaluación principal fue ipSAE (puntuación de predicción de interacción desde errores alineados), que se enfoca en pares de residuos intercadenas por debajo de un umbral específico de Error Alineado Predicho (PAE), en lugar de puntuar cadenas completas como ipTM.
4. Análisis: Los modelos fueron evaluados en su capacidad para discriminar unidores de señuelos utilizando precisión por pares, simulaciones de cribado de 1-en-50 y consenso estructural entre modelos (DockQ).

Contribuciones Clave

• Dataset POISK: Un recurso novedoso y a gran escala de 89.074 registros de anticuerpo-antígeno extraídos de patentes, que ofrece un banco de pruebas riguroso que minimiza la filtración de datos de las bases de datos estructurales estándar.
• Marco de Benchmarking: Una evaluación rigurosa de seis modelos de plegamiento de vanguardia sobre su capacidad para distinguir unidores reales de señuelos con similitud de secuencia en un entorno zero-shot.
• Análisis de Métricas: Demostración de que ipSAE supera a ipTM estándar para la discriminación de la unión al aislar la señal de la interfaz de las regiones desordenadas.
• Señal de Consenso: Un análisis que muestra que el acuerdo estructural a través de múltiples modelos proporciona una señal discriminativa independiente y poderosa.

Resultados

• Desempeño de Discriminación: El modelo con mejor desempeño, Protenix-v2, alcanzó una precisión por pares del 72% en todos los pares. Al restringirse al 50% de los pares con la mayor confianza estructural, la precisión aumentó al 87%.
• Utilidad de Cribado: En una simulación de cribado zero-shot de "1-en-50" (identificando un verdadero unidor entre 49 señuelos), Protenix-v2 clasificó correctamente al verdadero unidor en primer lugar en el 29% de los ensayos. Esto representa un enriquecimiento de 14 veces sobre la línea base aleatoria (2%), aunque no llega a ser una identificación fiable de un solo candidato.
• Superioridad de la Métrica: ipSAE consistentemente produjo valores de d de Cohen más altos (separación entre las poblaciones de unidores y señuelos) que ipTM en todos los modelos.
• Consenso Estructural: El consenso entre modelos mejoró significativamente la discriminación. Cuando tres o más modelos coincidieron en una pose de unión (DockQ ≥ 0.23), la precisión por pares alcanzó el 73.1%. Fue posible lograr un consenso más estricto (por ejemplo, 96.8% de precisión con DockQ ≥ 0.80), pero esto cubría solo una pequeña fracción de los pares (3.0%).
• Localización del Epítopo: A pesar de la mejora en la discriminación de la unión, la localización del epítopo sigue siendo poco fiable. El mejor modelo (Protenix-v2) contactó con residuos de epítopos anotados en solo el 62.8% de los casos, lo que indica que una alta confianza en la unión no garantiza la colocación física precisa de la interacción.
• Afinidad y Novedad: Hubo una correlación débil entre la confianza estructural y la afinidad de unión, y una débil correlación negativa entre la confianza y la distancia de secuencia a estructuras conocidas, lo que sugiere que los modelos capturan una distinción binaria de unión/no-unión en lugar de una afinidad graduada.

Significancia y Reivindicaciones
El artículo afirma que los modelos de plegamiento actuales proporcionan señales útiles pero limitadas para el cribado de anticuerpos. Aunque pueden enriquecer sustancialmente la selección de unidores verdaderos sobre la selección aleatoria (particularmente cuando se filtran las predicciones de alta confianza o se utiliza el consenso de múltiples modelos), aún no son lo suficientemente fiables como para reemplazar la validación experimental o servir como el único criterio para la selección de candidatos.

Los autores enfatizan que el dataset POISK es un recurso crítico para la comunidad para el futuro benchmarking y entrenamiento de modelos, ya que se extiende mucho más allá del espacio de objetivos de las bases de datos estructurales públicas. Concluyen que los modelos de plegamiento deben complementarse con métodos computacionales o experimentales ortogonales, particularmente porque las puntuaciones de alta confianza no equivalen necesariamente a una localización de epítopo correcta o a una unión de alta afinidad. El trabajo resalta la brecha entre la discriminación estadística y la identificación fiable de hits en el diseño de anticuerpos de novo.