Resumen Técnico: La plausibilidad no es predicción: evidencia contrastiva para el razonamiento de perturbaciones celulares basado en LLM

Definición del problema y motivación

Los experimentos de perturbación, como los tratamientos con fármacos y la edición genética, son fundamentales para comprender los mecanismos celulares, pero siguen siendo costosos y escasos. Esta limitación motiva la predicción de las respuestas de expresión génica para condiciones no observadas. Mientras que trabajos recientes han propuesto utilizar Modelos de Lenguaje de Gran Escala (LLM) como simuladores de "célula virtual" para realizar un razonamiento mecanístico paso a paso y fundamentado en el conocimiento para la predicción de la expresión diferencial (DE), este artículo identifica un modo de fallo crítico: la plausibilidad no es predicción.

Los métodos basados en LLM existentes (por ejemplo, VCWorld, SUMMER) evalúan típicamente pares perturbación–gen de forma aislada. Estos plantean al modelo la generación de justificaciones biológicamente plausibles sobre si un gen presenta expresión diferencial ante una perturbación determinada. Sin embargo, los autores demuestran que estos métodos fallan sistemáticamente al capturar los efectos específicos de la perturbación. En lugar de razonar sobre la intervención específica, los modelos dependen de las tendencias intrínsecas de respuesta de los genes (prioridades de frecuencia de genes). Esto conduce a tres modos de fallo empíricos:

1. Sobreestimación sistemática: Los modelos exhiben un fuerte sesgo hacia la predicción de "sí" (expresión diferencial), prediciendo resultados positivos para la mayoría de las consultas incluso cuando la tasa positiva empírica es baja (por ejemplo, prediciendo "sí" para el 92.1% de las consultas cuando la tasa real es del 29.0%).
2. Métricas agregadas confundidas: Se logra un alto rendimiento agregado (AUROC/AUPRC) explotando la frecuencia marginal de las respuestas génicas (algunos genes se expresan raramente, otros frecuentemente) en lugar de aprender a distinguir entre diferentes perturbaciones para un mismo gen.
3. Discriminación por gen a nivel de azar: Cuando se evalúa de forma macro por cada gen (requiriendo que el modelo clasifique diferentes perturbaciones para un gen fijo), el razonamiento aislado de los LLM colapsa a un rendimiento de nivel de azar, lo que indica una falta de verdadero razonamiento específico de la perturbación.

El problema central identificado es la organización de la evidencia. Los métodos existentes presentan las consultas de forma aislada sin exponer cómo las perturbaciones relacionadas difieren en sus efectos sobre el mismo gen objetivo. Sin señales contrastivas, los modelos no pueden distinguir los resultados específicos de la perturbación de la plausibilidad biológica general.

Metodología: CORE

Para abordar estas limitaciones, los autores proponen CORE (Contrastive Organization of Relational Evidence - Organización Contrastiva de Evidencia Relacional), un marco que redefine la predicción de perturbaciones como una tarea de comparación.

1. ReasonKG: Un Grafo de Conocimiento Biomédico Armonizado

CORE se basa en ReasonKG, un grafo de conocimiento recién construido que armoniza cinco recursos biomédicos (VCWorld, PrimeKG, HetioNet, PertKGE y BioKG). ReasonKG integra 667,920 nodos canónicos y más de 27 millones de aristas dirigidas, creando un espacio de grafo denso y transferible que conecta fármacos, genes, vías y enfermedades. Esta integración resuelve las brechas de conectividad encontradas en grafos individuales (por ejemplo, los pares fármaco-gen aislados de VCWorld), permitiendo una recuperación robusta de perturbaciones biológicamente relacionadas.

2. Construcción de Evidencia Contrastiva

Para una consulta $(p, g)$ mantenida fuera (held-out) (perturbación $p$, gen $g$), CORE realiza los siguientes pasos:

• Recuperación: Recupera perturbaciones de soporte $p'$ que están biológicamente relacionadas con $p$ utilizando firmas derivadas del KG (basadas en distancias de camino más corto hacia genes fundamentados).
• Organización Contrastiva: Recopila las etiquetas de DE observadas para estas perturbaciones relacionadas en el mismo gen objetivo $g$.
• Partición: La evidencia recuperada se particiona en:
  • Conjunto de Soporte Positivo ($H^+$): Perturbaciones relacionadas que causaron expresión diferencial en $g$.
  • Conjunto de Soporte Negativo ($H^-$): Perturbaciones relacionadas que no causaron expresión diferencial en $g$.
• Puntuación: La evidencia se resume en masas de voto ($V^+, V^-$) basadas en pesos de similitud, generando una puntuación de contraste ($s_{contrast}$) que refleja la proporción de evidencia positiva.

3. Instanciaciones del Marco

CORE se instancia en dos entornos complementarios para validar la utilidad de la evidencia contrastiva:

• CORE-Voting (No-LLM): Un agregador determinista que computa una combinación ponderada de la puntuación de contraste del mismo gen y una puntuación suavizada por anclaje de gen (tomando prestada evidencia de genes con perfiles de respuesta similares). Esto prueba si la señal contrastiva contiene información específica de la perturbación independiente del razonamiento del LLM.
• CORE-Reasoning (Basado en LLM): Este reformula el paquete de evidencia estructurada (incluyendo puntuaciones de contraste, conjuntos de soporte positivo/negativo, rutas de KG y puntuaciones de anclaje de gen) en un prompt para un LLM. El LLM tiene la tarea de adjudicar la calidad de la evidencia (por ejemplo, distinguiendo rutas mecanísticas específicas de la conectividad genérica) y calibrar la predicción final, en lugar de generar una plausibilidad sin restricciones.

Resultados Clave

Los autores evalúan CORE en dos familias de referencia: Tahoe100M (perturbaciones de fármacos en células de melanoma C32) y PerturbQA (perturbaciones de CRISPRi en genes en células K562, HepG2, Jurkat y RPE1).

1. Calibración y Corrección de Sesgo

• Reducción del Sesgo de "Sí": Los prompts estándar estilo VCWorld suelen predecir "sí" para >80% de las consultas. CORE-Reasoning reduce significativamente este sesgo, acercando la tasa de positivos predichos a la prevalencia empírica (por ejemplo, reduciendo la tasa de "sí" de Mistral-7B del 92.1% al 26.1% en C32).
• Mejora de la Calibración: CORE-Reasoning mejora el AUROC agregado, la precisión y las puntuaciones F1 a través de varios backbones de LLM (Mistral, Llama, DeepSeek, Qwen3.5, GPT-5.4). Por ejemplo, en C32, CORE-Reasoning con Qwen3.5-9B mejora el AUROC agregado en un 26.0%, la precisión en un 19.8% y el F1 en un 28.6% en comparación con el prompting estándar.

2. Discriminación Específica de la Perturbación

• Rendimiento por Gen: La ganancia más significativa se encuentra en las métricas macro-por-gen, que miden la capacidad de distinguir perturbaciones para un gen fijo.
  • CORE-Voting: Sin un LLM, CORE-Voting mejora el AUROC macro-por-gen de 0.500 (azar) a 0.574 (presupuesto fijo) y 0.627 (soporte completo) en C32, y a 0.711 en PerturbQA K562.
  • CORE-Reasoning: Los LLM que aprovechan la evidencia contrastiva también muestran mejoras sustanciales en las métricas por gen, confirmando que la estructura de la evidencia permite una mejor discriminación que el razonamiento aislado.

3. Comparación con Baselines

• Contra el Voto de Prioridad de Gen: Aunque los baselines simples de frecuencia de genes funcionan bien en métricas agregadas, fallan completamente en la discriminación por gen (AUROC = 0.500). CORE supera a estos baselines en métricas por gen manteniendo un rendimiento agregado competitivo.
• Contra el Estado del Arte: CORE-Reasoning supera a los modelos recientes de perturbación de célula única (por ejemplo, STATE, PerturbDiff) y a los métodos previos basados en LLM (VCWorld, SUMMER) en la mayoría de las métricas, particularmente en el desafiante escenario fuera de distribución (out-of-distribution) donde las perturbaciones de prueba son mantenidas fuera del entrenamiento.

Significado y Reivindicaciones

El artículo afirma que la organización de la evidencia contrastiva es esencial para un razonamiento de perturbación basado en LLM confiable. El hallazgo central es que la plausibilidad biológica por sí sola es insuficiente para la predicción; los modelos requieren contraste empírico —específicamente, evidencia que muestre cómo perturbaciones similares producen diferentes resultados para el mismo gen— para aprender efectos específicos de la perturbación.

Al organizar la evidencia en conjuntos de soporte positivo y negativo para el mismo gen objetivo, CORE cambia el paradigma de "generar una historia plausible" a la "comparación fundamentada". Este enfoque:

1. Desacopla la Plausibilidad de la Predicción: Evita que los modelos traten cualquier ruta biológicamente conectada como evidencia suficiente para la expresión diferencial.
2. Mejora la Calibración: Corrige la sobreestimación sistemática de los resultados positivos común en el prompting aislado de LLM.
3. Permite la Transferencia: El marco mejora el rendimiento a través de diferentes líneas celulares y tipos de perturbación (fármacos y ediciones genéticas), sugiriendo que la utilidad de la organización contrastiva se extiende más allá de conjuntos de datos específicos.

Los autores concluyen que el razonamiento de "célula virtual" confiable depende tanto de la estructura de la evidencia como de la cobertura del conocimiento biológico, destacando que el cuello de botella en los enfoques actuales de LLM no es la capacidad del modelo o la recuperación de conocimiento, sino la falta de señales contrastivas necesarias para el razonamiento específico.