Resumen Técnico: AssayBench

Enunciado del Problema

La visión de una "célula virtual"—un modelo computacional capaz de predecir respuestas celulares ante diversas perturbaciones, contextos y lecturas—ofrece una promesa significativa para acelerar el descubrimiento temprano de fármacos. Una aplicación crítica de esta visión es el cribado fenotípico in silico, donde los modelos predicen qué perturbaciones genéticas o químicas modularán un fenotipo específico de interés (por ejemplo, supervivencia celular, resistencia a fármacos o carga de infección). A diferencia de las tareas centradas en la reconstrucción de estados moleculares (como la transcriptómica de células individuales), el cribado fenotípico opera a nivel de puntos finales de ensayo, alineándose directamente con la toma de decisiones en las pipelines de descubrimiento de fármacos.

Sin embargo, el progreso en este dominio ha sido obstaculizado por la falta de un punto de referencia estándar. Los puntos de referencia existentes para el modelado de perturbaciones se centran principalmente en lecturas moleculares (por ejemplo, expresión génica) y a menudo se entrenan sobre modalidades específicas con entradas estructuradas. No logran capturar la heterogeneidad de los cribados fenotípicos del mundo real, que varían ampliamente en condiciones experimentales, tipos de lectura y criterios de significancia. En consecuencia, no existe un marco establecido para evaluar si los Modelos de Lenguaje Grandes (LLM) o los sistemas agentes pueden integrar eficazmente el contexto biológico para predecir resultados fenotípicos medidos experimentalmente.

Metodología

Construcción del Conjunto de Datos (ASSAYBENCH)

Los autores construyeron ASSAYBENCH, un punto de referencia compuesto por 1.920 cribados CRISPR disponibles públicamente derivados de la base de datos BioGRID ORCS y literatura reciente. El pipeline de curación implicó:

1. Armonización: Normalización de símbolos génicos a la nomenclatura HGNC y fusión de réplicas técnicas.
2. Clasificación de Fenotipos: Uso de curación asistida por LLM para extraer descripciones detalladas de fenotipos y direcciones de efecto (aumento/disminución), agrupando los cribados en cinco categorías amplias:
   • Aptitud/Proliferación/Viabilidad
   • Respuesta Química/Ambiental
   • Respuesta Huésped-Patógeno/Infección
   • Salida Molecular/Reportero/Actividad de Vía
   • Tráfico/Localización/Fenotipos Estructurales
3. Puntuación: Transformación de criterios de significancia heterogéneos (por ejemplo, valores p, cambios de pliegue) en una puntuación de relevancia continua para cada gen. Los genes que satisfacen el criterio de significancia reciben puntuaciones positivas; aquellos asociados con la dirección de fenotipo opuesta reciben puntuaciones negativas; los no detectados reciben cero.
4. División Temporal: Para inducir un cambio de distribución realista y prevenir la filtración de datos de los corpus de preentrenamiento, los cribados se dividieron por año de publicación:
   • Entrenamiento: Publicados antes de 2021 (1.349 cribados).
   • Validación: Publicados en 2021 (218 cribados).
   • Prueba: Publicados después de 2021 (334 cribados).
   • LaTest: Un subconjunto de 19 cribados muy recientes (post-septiembre de 2025) para sondear la generalización a literatura no vista.

Formulación de la Tarea

La tarea se formula como un problema de clasificación de genes. Dada una descripción en texto libre del cribado (incluyendo línea celular, biblioteca, tratamiento y criterios de significancia), un modelo debe generar una lista clasificada de los 100 genes candidatos principales. Esta formulación refleja los flujos de trabajo del mundo real donde los científicos priorizan una lista corta de candidatos para validación, en lugar de puntuar cada gen individualmente.

Métricas de Evaluación

Para manejar la heterogeneidad de los ensayos y la variabilidad en la dificultad de los cribados, los autores introdujeron la Ganancia Acumulada Descontada Normalizada Ajustada (AnDCG@k):

• Condensación: Los genes no ensayados en la lista de predicción se ignoran en lugar de penalizarse como falsos positivos.
• Ajuste: Se resta una línea base aleatoria específica del cribado para normalizar el rendimiento entre ensayos con diferentes dificultades inherentes.
• Direccionalidad: La métrica tiene en cuenta las puntuaciones de relevancia negativas (genes asociados con el fenotipo opuesto).
• Métricas Complementarias: También se informan Precisión@k y Tasa de Falsos Descubrimientos Direccional (dFDR@k).

Contribuciones Clave

1. Primer Punto de Referencia Fenotípico a Gran Escala: Introducción de ASSAYBENCH, el primer punto de referencia diseñado específicamente para la predicción de cribados fenotípicos, que cubre 1.920 cribados en cinco clases de fenotipos.
2. Formalización de la Tarea: Plantear el problema como clasificación de genes específica del cribado bajo una división temporal, utilizando un sistema de puntuación de relevancia continua que armoniza diversos criterios experimentales.
3. Métrica Novel: Propuesta de AnDCG, una métrica adaptada a ensayos heterogéneos que corrige las líneas base aleatorias específicas del cribado, permitiendo una comparación justa entre ensayos.
4. Estudio Empírico Exhaustivo: Una evaluación extensa de LLM generalistas de vanguardia, modelos específicos de biología, predictores neuronales entrenables y líneas base de recuperación.

Resultados

Rendimiento del Modelo

• Los LLM de Vanguardia Lideran: Los LLM generalistas de cero disparos (por ejemplo, Gemini 3 Pro, GPT-5.4) superaron a los LLM específicos de biología (por ejemplo, C2S-Scale, Biomni), predictores neuronales entrenables de relevancia génica y líneas base de recuperación simples (Embedding kNN) en el conjunto de prueba.
• Ganancias de Optimización: Técnicas como el Ajuste Fino Supervisado (SFT), Aprendizaje por Refuerzo (GRPO) y optimización de prompts (GEPA) proporcionaron mejoras marginales para algunos modelos. Sin embargo, un conjunto automáticamente descubierto de predicciones de LLM logró el rendimiento de prueba más alto (AnDCG@100 ≈ 0.163), superando a los modelos individuales.
• Techo de Rendimiento: A pesar de estos avances, todos los modelos permanecen muy lejos del techo de rendimiento empírico.
  • Un "kNN Oráculo" (recuperación perfecta del entrenamiento más similar) logró un AnDCG@100 de ~0.29, aproximadamente un 86% más alto que el mejor LLM.
  • Un predictor que utiliza réplicas técnicas (prediciendo una réplica basándose en otra) casi duplicó el rendimiento del mejor LLM, destacando que los modelos actuales aún no han dominado la estocasticidad biológica subyacente.

Generalización y Memorización

• Cambio Temporal: El rendimiento disminuyó en la división LaTest (cribados muy recientes), lo que sugiere que parte de la ventaja de los LLM de vanguardia en cribados más antiguos puede estar impulsada por la memorización de literatura presente en sus datos de preentrenamiento. El análisis de regresión confirmó una fuerte correlación entre el número de citas del cribado y el rendimiento del modelo.
• Tendencias de Escala: Los modelos más grandes dentro de la familia Qwen mostraron generalmente un mejor rendimiento, aunque las ganancias se estabilizaron, posiblemente debido a que la arquitectura de Mezcla de Expertos (MoE) reduce la cantidad de parámetros activos.
• Varianza de Fenotipos: El rendimiento varió significativamente según el fenotipo. Los modelos tuvieron mejor desempeño en cribados de "Aptitud/Proliferación/Viabilidad" (probablemente debido a genes esenciales conservados) y tuvieron más dificultades con fenotipos específicos del contexto como las respuestas Huésped-Patógeno.

Sesgos Biológicos

El análisis reveló sesgos sistemáticos en las predicciones de los modelos: los modelos GPT tendían a sobrerrepresentar genes del ciclo celular, mientras que los modelos Gemini sobrerrepresentaban genes de biología del desarrollo, reflejando probablemente la distribución de estos temas en sus corpus de entrenamiento.

Significado y Afirmaciones

El artículo posiciona a ASSAYBENCH como un campo de pruebas práctico para medir el progreso hacia el cribado fenotípico in silico y, más ampliamente, hacia modelos de células virtuales. Los autores afirman que:

• Viabilidad: Los LLM de propósito general fuertes ya son competitivos para la predicción de éxitos fenotípicos a nivel de ensayo sin entrenamiento explícito para la tarea, lo que sugiere que integrar el contexto biológico en los modelos de lenguaje es un camino viable.
• Brecha con la Realidad: Los métodos actuales están lejos de resolver la tarea, como lo demuestra la gran brecha entre el rendimiento del modelo y el techo empírico derivado de las réplicas técnicas.
• Direcciones Futuras: El punto de referencia apoya la investigación futura en la optimización de LLM para la biología (mediante ajuste fino, ensamblaje e ingeniería de prompts) y destaca la necesidad de tareas auxiliares (por ejemplo, razonamiento sobre perturbaciones) y conjuntos de datos más grandes para cerrar la brecha entre las capacidades actuales y los requisitos de una célula virtual verdadera.
• Utilidad del Punto de Referencia: Los autores enfatizan la importancia de la división temporal y el conjunto LaTest para distinguir entre memorización y generalización genuina, notando planes para actualizar el punto de referencia trimestralmente para mantener su utilidad a medida que los modelos mejoran.