Resumen Técnico: TadA-Bench

Planteamiento del Problema

El campo de la IA para el descubrimiento científico está transitando hacia flujos de trabajo "agénticos", donde los modelos participan activamente en la toma de decisiones iterativas en lugar de limitarse a ajustar datos estáticos de forma pasiva. En la ingeniería de proteínas, esto implica sistemas que puedan leer historiales de laboratorio húmedo (wet-lab), analizar datos y priorizar candidatos para futuros experimentos. Sin embargo, los benchmarks existentes suelen fallar al evaluar la capacidad de un modelo para generalizar de rondas experimentales pasadas a futuras. Los benchmarks estándar suelen depender de divisiones de datos aleatorias, lo que evalúa la interpolación (predecir dentro de distribuciones conocidas) en lugar de la tarea crítica del descubrimiento en rondas futuras (clasificar variantes que emergen solo en rondas experimentales posteriores). Existe una falta de benchmarks reproducibles y a gran escala que preserven la estructura cronológica de las campañas reales de evolución dirigida para probar si los modelos pueden priorizar resultados futuros de laboratorio húmedo basados en la evidencia pasada registrada.

Metodología

1. Construcción del Benchmark: TadA-Bench

Los autores presentan TadA-Bench, un benchmark de réplica de laboratorio húmedo con datos fijos derivado de 31 rondas de evolución dirigida de TadA (adenosina deaminasa).

• Escala: El conjunto de datos cubre aproximadamente un millón de variantes observadas mediante secuenciación de nueva generación (NGS).
• Vistas: Proporciona vistas alineadas de secuencias de ADN, ARN y proteínas, lo que permite la evaluación de modelos de lenguaje genómicos, de transcritos y de proteínas sobre la misma campaña subyacente.
• Protocolo: El benchmark define una tarea de "réplica de ronda futura". Los modelos se entrenan con variantes y mediciones de rondas anteriores ($D_{\le k}$) y se evalúan por su capacidad de clasificar variantes que aparecen solo en rondas posteriores ($D_{> k}$). En el caso principal, los modelos se entrenan en las rondas 1–27, validan en la ronda 28 y prueban en las rondas 29–31. Las divisiones son disjuntas en cuanto a secuencias para evitar la memorización.

2. Integración de Datos: Seq2Graph

Una contribución metodológica central es Seq2Graph, un flujo de trabajo basado en grafos diseñado para unificar mediciones de enriquecimiento ruidosas de múltiples rondas en etiquetas de actividad consistentes.

• Desafío: Los datos de selección brutos contienen efectos de lote (batch effects), estimaciones de enriquecimiento ruidosas e inconsistencias locales de pares a través de 31 rondas.
• Mecanismo:
  • Construcción del Grafo: Dentro de cada ronda, las variantes se clasifican por el enriquecimiento del recuento de lecturas. Se construye un grafo dirigido donde las aristas conectan variantes adyacentes en la lista ordenada, ponderadas por ratios de enriquecimiento local.
  • Anclaje: Las variantes que aparecen en múltiples rondas (solapamientos de secuencias) actúan como "anclas" para conectar los grafos de clasificación locales a lo largo de la campaña.
  • Eliminación de Inconsistencias: El flujo de trabajo formula la eliminación de ciclos contradictorios (por ejemplo, $A > B > C > A$) como un problema de Conjunto de Aristas de Retroceso Ponderado (Weighted Feedback Arc Set). Se utiliza una heurística voraz (greedy) para eliminar aristas de baja confianza, transformando el grafo en un Grafo Acíclico Dirigido (DAG).
  • Asignación de Actividad: Una escala de actividad se ancla en una variante de referencia (TadA8e = 1.0). Las puntuaciones se propagan en el dominio logarítmico (ratios multiplicativos) desde la referencia hacia todos los nodos mediante el camino de menor número de aristas.
• Salida: Esto produce etiquetas de actividad relativa definidas por secuencia para las vistas de ADN, ARN y proteína sin inferir la ascendencia biológica o árboles de linaje.

3. Marco de Evaluación

La evaluación trata a los modelos de lenguaje biológico como un "módulo de clasificación" para un bucle agéntico.

• Modelos: El estudio evalúa modelos de ADN (Evo 2, Nucleotide Transformer), modelos de ARN (OmniGenome) y modelos de proteínas (ESM2, ProtTrans, ESMC).
• Protocolos:
  • Codificador Congelado: La evaluación primaria congela el codificador preentrenado y entrena una cabeza de regresión descendente.
  • Verificaciones de Adaptación: Incluye el ajuste fino completo (full fine-tuning) y el ajuste de prompts para descartar artefactos del protocolo.
  • Métricas: Correlación de rango de Spearman ($\rho$), Recall@10% y nDCG@10.
  • Modo de Descubrimiento: Evalúa la priorización de candidatos bajo presupuestos finitos (96 y 384 variantes, simulando tamaños de placa estándar).

Resultados Clave

1. La Brecha de la Ronda Futura

Los modelos de lenguaje biológico representativos exhiben una marcada brecha de rendimiento entre la interpolación y el descubrimiento en rondas futuras:

• Interpolación (División Aleatoria): Bajo una división aleatoria 8:1:1, los modelos de proteínas logran correlaciones de Spearman sólidas ($\rho \approx 0.8$), lo que indica que el espacio de etiquetas es aprendible.
• Descubrimiento en la Ronda Futura: Bajo la división cronológica fija, el rendimiento se degrada drásticamente. Las correlaciones de Spearman caen a $\rho \approx 0.03$–$0.05$ a través de las vistas de ADN, ARN y proteína.
• Adaptación: El ajuste fino completo y el ajuste de prompts no logran cerrar esta brecha (el mejor observado es $\rho \approx 0.06$), lo que sugiere que la dificultad reside en la capacidad de las representaciones para priorizar la evidencia futura, no solo en la cabeza de regresión.

2. Priorización en Modo de Descubrimiento

En un entorno de "modo de descubrimiento" donde solo se puede probar un número limitado de candidatos (por ejemplo, 96):

• Los modelos fallan en enriquecer para las verdaderas variantes de alta actividad del futuro.
• Las tasas de acierto (hit rates) para los mejores candidatos del 5% son cercanas al azar (aproximadamente 3–5% frente al 5% esperado), lo que indica que los modelos actuales no pueden identificar eficazmente variantes prometedoras para la siguiente ronda experimental.

3. Cobertura Evolutiva vs. Densidad Local

Los autores investigaron si la composición de los datos de entrenamiento afecta el rendimiento en la ronda futura:

• Densidad: Simplemente aumentar el número de muestras de las mismas rondas evolutivas (submuestreo aleatorio) produce rendimientos decrecientes.
• Cobertura: Los subconjuntos que priorizan la cobertura evolutiva (seleccionando variantes de diversas rondas o maximizando la similitud con el conjunto de validación objetivo) superan a los subconjuntos más grandes y densos de rondas limitadas.
• Conclusión: En TadA-Bench, cubrir regiones evolutivas o funcionales amplias es más informativo para el descubrimiento en la ronda futura que aumentar la densidad local de los datos.

4. Robustez

• Validación Biológica: Ensayos ortogonales de bajo rendimiento con reporteros GFP en variantes clave mostraron una fuerte concordancia ($\rho > 0.99$) con las etiquetas derivadas de alta capacidad de NGS.
• Robustez Computacional: Los análisis de bootstrapping (submuestreo de rondas o secuencias) confirmaron que el flujo de trabajo Seq2Graph produce puntuaciones estables ($\rho > 0.90$), validando la consistencia de las etiquetas.

Significado y Reivindicaciones

El artículo posiciona a TadA-Bench como un sustrato reproducible para probar el componente de "clasificación" de los sistemas agénticos de ingeniería de proteínas antes de que se desplieguen en costosos bucles cerrados de laboratorio húmedo.

• Exposición de un Cuello de Botella: El benchmark revela que los modelos fundacionales biológicos actuales, aunque exitosos en la interpolación, tienen dificultades significativas con la tarea específica de clasificar variantes que emergen en futuras rondas experimentales. Esto se identifica como un cuello de botella concreto para los flujos de trabajo de ingeniería de proteínas iterativos.
• Diseño del Benchmark: Argumenta que los benchmarks para el descubrimiento de proteínas deben preservar la estructura de la campaña (cronología y consistencia entre rondas) en lugar de tratar todas las variantes como puntos de datos independientes. La distincción entre "densidad local" y "cobertura evolutiva" se destaca como un principio de diseño crítico.
• Alcance: Los autores declaran explícitamente que TadA-Bench aísla el problema de la clasificación. No evalúa políticas de planificación, uso de herramientas o ejecución autónoma, sino que proporciona una prueba estable de datos fijos para determinar si las representaciones pueden utilizar la historia experimental registrada para priorizar candidatos futuros.

Los autores liberan los datos, el código y los protocolos base en Hugging Face y GitHub para permitir comparaciones reproducibles de modelos sobre esta trayectoria experimental específica y registrada.