Memorization in reaction-conditioned generative enzyme design: folding confidence, database identity, and docking all fail to detect it

El entorno está lleno de productos químicos sintéticos que la naturaleza no evolucionó para descomponer. Desde retardantes de llama en los muebles hasta pesticidas en los cultivos, estas sustancias persisten porque los organismos vivos carecen de las herramientas biológicas para desmantelarlas. Los científicos han esperado durante mucho tiempo diseñar enzimas personalizadas —los catalizadores microscópicos de la naturaleza— para digerir estos contaminantes y limpiar el desastre. En años recientes, han surgido potentes programas informáticos capaces de escribir los planos genéticos de nuevas proteínas, prometiendo diseñar estas enzimas desde cero basándose en la química específica del contaminante que deben destruir. La idea es alimentar a la computadora con la descripción de un químico tóxico y que esta produzya una secuencia proteica capaz de neutralizarlo.

Un nuevo estudio examina si estos programas informáticos están diseñando realmente nuevas herramientas o simplemente copiando otras antiguas. Los investigadores de Terram Technologies construyeron un sistema llamado XenoFold para generar enzimas destinadas a la degradación de xenobióticos, el término científico para los contaminantes sintéticos. Entrenaron el sistema con reacciones enzimáticas conocidas y luego le pidieron que creara nuevos candidatos para diversas sustancias químicas, incluyendo algunas que no tienen un degradador natural conocido. El equipo sometió las enzimas generadas por computadora a una batería de pruebas informáticas estándar diseñadas para verificar su calidad, comprobando si podían plegarse en formas estables y unirse a sus compuestos objetivo. Los resultados revelaron un fallo sorprendente: el sistema no estaba diseñando nuevas enzimas en absoluto. En su lugar, estaba memorizando los datos de entrenamiento y reproduciéndolos casi exactamente, un defecto que cada prueba informática estándar utilizada para validar el trabajo pasó por alto por completo.

Los investigadores comenzaron entrenando su modelo con quince clases diferentes de enzimas, emparejando reacciones químicas específicas con las secuencias proteicas que las ejecutan. Luego pidieron al sistema que generara nuevas enzimas para cuatro escenarios específicos: dos reacciones donde las enzimas naturales son bien conocidas, y dos reacciones que involucran contaminantes como el ácido perfluorooctanoico y un metabolito de pesticida específico que no tienen una enzima natural documentada capaz de degradarlos. Para asegurar que las proteínas generadas fueran plausibles, el equipo las sometió a tres métodos de validación computacional ampliamente aceptados. Primero, predijeron qué tan bien se plegaría la proteína en una forma tridimensional, una medida de estabilidad estructural. Segundo, compararon las nuevas secuencias contra una base de datos pública masiva de todas las proteínas conocidas para ver si eran novedosas. Tercero, simularon qué tan fuertemente se unirían las nuevas enzimas a sus compuestos objetivo, un paso destinado a demostrar que realmente podrían realizar el trabajo.

En la superficie, los resultados parecían exitosos. La computadora predijo que las enzimas generadas se plegarían en formas estables y bien definidas con alta confianza. Cuando los investigadores compararon estas nuevas secuencias con la base de datos pública de proteínas conocidas, las puntuaciones sugirieron que los diseños eran únicos y distintos de cualquier registro previo. Las simulaciones de acoplamiento también produjeron puntuaciones que parecían indicar que las enzimas podrían unirse a sus objetivos. Basándose en estos tres controles estándar, el estudio inicialmente pareció mostrar un sistema funcional para el diseño de nuevas enzimas. Sin embargo, los investigadores se dieron cuenta de que estos controles estándar no contaban toda la historia. Realizaron una investigación más profunda y directa comparando las secuencias generadas no con la base de datos pública general, sino con la lista específica de ejemplos de entrenamiento que la computadora había memorizado durante su fase de aprendizaje.

Esta comparación directa expuso la verdad. Cuando los investigadores revisaron las enzimas generadas frente a los datos de entrenamiento, encontraron que el cuarenta por ciento de las secuencias eran copias exactas, carácter por carácter, de los ejemplos que la computadora había visto antes. Otro cuarenta y siete por ciento eran tan similares a los ejemplos de entrenamiento que diferían solo por una fracción mínima de su estructura. Este patrón se mantuvo incluso cuando se le pidió a la computadora que diseñara enzimas para contaminantes que no tienen un degradador natural conocido y que estaban completamente ausentes de los datos de entrenamiento. El sistema produjo los mismos altos índices de copia independientemente de si el compuesto químico era familiar o completamente nuevo. La computadora no estaba razonando desde la química del contaminante para crear una nueva solución; simplemente estaba recuperando y repitiendo patrones que almacenó en su memoria.

El estudio investigó además si la computadora estaba utilizando realmente la información química proporcionada. En una prueba, los investigadores alimentaron al sistema entrenado con una reacción química que era completamente ajena a la clase de enzima para la cual había sido entrenado. Si el sistema fuera verdaderamente sensible a la entrada química, cambiar la reacción debería haber cambiado el resultado. En cambio, las enzimas generadas permanecieron casi idénticas a las producidas para la reacción correcta, y sus puntuaciones de estabilidad predicha no cambiaron de ninguna manera significativa. Esto confirmó que la entrada química tenía poco o ningún efecto en el diseño final. El sistema estaba esencialmente ignorando las instrucciones específicas sobre el contaminante y recurriendo a los patrones generales que aprendió durante el entrenamiento.

Los investigadores también escudriñaron las pruebas de acoplamiento computacional que inicialmente habían parecido prometedoras. Descubrieron que estas pruebas eran incapaces de distinguir entre las enzimas generadas por computadora y las enzimas naturales que supuestamente debían imitar. Más críticamente, cuando intentaron usar las puntuaciones de acoplamiento para estimar qué tan rápido trabajarían las enzimas, los resultados fueron sumamente inexactos. Para dos enzimas naturales conocidas, las estimaciones de la computadora sobre su eficiencia fueron erróneas por factores de hasta quince mil veces en comparación con las mediciones del mundo real. En un caso, la computadora clasificó a dos enzimas en el orden exactamente opuesto de su desempeño real. Debido a que las puntuaciones de acoplamiento fallaron drásticamente al intentar coincidir con la realidad, los investigadores eliminaron estas pruebas de su análisis final, concluyendo que estas simulaciones computacionales estándar no pueden ser confiables para validar la calidad de los diseños generados.

El hallazgo central de este trabajo es una advertencia sobre cómo verificamos la biología generada por computadora. El estudio demuestra que un sistema puede producir secuencias que parecen perfectas según los controles computacionales estándar —plegándose bien, pareciendo únicas en bases de datos públicas y obteniendo buenas puntuaciones en simulaciones de unión— mientras que en realidad no son más que una copia de los datos de entrenamiento. Las tres herramientas de validación más comunes utilizadas en el campo no detectaron esta memorización. Solo mediante la verificación directa de la salida contra los datos específicos de los que la computadora aprendió, los investigadores pudieron descubrir el fallo. El autor concluye que, sin estos controles específicos y económicos, las afirmaciones de diseño de nuevas enzimas pueden basarse en una ilusión de novedad. El sistema que probaron no produce actualmente enzimas listas para el uso en el mundo real, y el estudio sugiere que el campo necesita replantearse cómo valida los diseños computacionales para asegurar que sean verdaderamente nuevos y no solo recuerdos reciclados.