Resumen Técnico: EpiBench – Evaluación Verificable de Agentes de IA en el Análisis de Epigenómica

Declaración del Problema

Los ensayos epigenómicos (por ejemplo, CUT&Tag, ATAC-seq, ChIP-seq, metilación del ADN) generan datos complejos que requieren una secuencia de decisiones analíticas —que van desde el alineamiento de lecturas y la identificación de picos hasta la normalización y la anotación genómica— para derivar conclusiones biológicas. Aunque los agentes de IA han mostrado potencial para inspeccionar archivos y ejecutar código, siguen siendo propensos a las alucinaciones y a un juicio biológico poco fiable, particularmente al navegar por diversos tipos de ensayos y diseños de estudio. Los benchmarks existentes para la IA biológica suelen centrarse en alcances más amplios o en diferentes modalidades de datos, careciendo de un marco dedicado y verificable para el análisis de epigenómica de corto horizonte. El problema central es determinar si los agentes de IA actuales pueden tomar decisiones de análisis bien definidas y específicas de cada ensayo a partir de estados de flujo de trabajo realistas y devolver respuestas determinísticamente calificables.

Metodología

Construcción del Benchmark (EpiBench)

Los autores introducen EpiBench, un benchmark que comprende 106 evaluaciones derivadas de flujos de trabajo de epigenómica del mundo real. El diseño se adhiere a tres criterios:

1. Verificabilidad: Cada evaluación admite una condición de éxito automáticamente comprobable (por ejemplo, verificaciones de intervalos numéricos, coincidencias de etiquetas estructuradas).
2. Durabilidad Científica: La respuesta prevista debe ser recuperable a través de elecciones de análisis razonables, asegurando que el benchmark mida el razonamiento y no detalles de implementación incidentales.
3. Resistencia a Atajos: Los agentes deben interactuar con los artefactos de datos proporcionados; se excluyen las tareas que pueden resolverse mediante heurísticas triviales o conocimiento biológico previo por sí solos.

Fuentes de Datos y Alcance:

• Tipos de Ensayo: CUT&Tag/CUT&RUN (zebrafish), ATAC-seq (pediatric B-ALL), ChIP-seq (B-ALL H3K27ac) y Metilación del ADN (ESCC WGBS).
• Categorías de Tareas: Control de Calidad (QC), identificación de picos (peak calling), análisis de estado de la cromatina, anotación genómica, metilación diferencial, alineamiento, análisis cuantitativo downstream y visualización.
• Estructura: Cada evaluación captura un instantánea de un estado de flujo de trabajo realista inmediatamente antes de un resultado objetivo. El agente recibe los archivos relevantes, metadatos y una descripción de la tarea, y luego debe devolver una respuesta estructurada.

Configuración Experimental

• Modelos: Se evaluaron 16 pares distintos de modelo-harness, incluyendo modelos de alto nivel (por ejemplo, GPT-5.5, Claude Opus 4.8 Max, GPT-5.4) emparejados con diferentes entornos de ejecución (por ejemplo, Pi terminal coding harness, OpenAI Codex, Claude Code).
• Protocolo: Cada uno de los 16 pares se ejecutó tres veces en cada una de las 106 evaluaciones, produciendo 5,088 trayectorias válidas.
• Métrica de Éxito: Un intento "pasa" solo si el agente logra la recuperación exacta de la respuesta estructurada calificada.
• Análisis Estadístico: Las métricas primarias son las tasas de aprobación de endpoints ponderadas por evaluación, con intervalos de confianza (IC) del 95% calculados sobre las medias a nivel de evaluación utilizando la distribución t de Student.

Resultados Clave

Rendimiento General

Ningún sistema superó la mayoría de los intentos. El panorama de rendimiento se caracteriza por una amplia capa de modelos con intervalos de confianza superpuestos:

• Mejor Rendimiento: GPT-5.5 / Pi logró la mayor tasa de aprobación con un 45.0% (143/318 intentos; IC 95%, 36.3–53.7).
• Segundos en la Clasificación: GPT-5.5 / OpenAI Codex (39.9%), Claude Opus 4.8 Max / Pi (39.0%) y GPT-5.4 / Pi (39.0%).
• Peor Rendimiento: Grok 4.3 / Pi (12.6%).

Rendimiento por Ensayo y Tarea

• Varianza de Ensayo: El rendimiento varió significativamente según el tipo de ensayo. CUT&Tag/CUT&RUN tuvo la tasa de aprobación agregada más alta (34.0%), seguida de Methylation-seq (33.3%) y ChIP-seq (30.6%). ATAC-seq fue el que peor desempeño tuvo (22.8%).
• Complejidad de la Tarea: Aunque los agentes a menudo encontraban los archivos correctos y computaban resultados intermedios útiles, fallaban frecuentemente en el paso de decisión final.
  • Calificación a Nivel de Componente: De 26,574 campos de respuesta calificados, el 68.2% pasó, en comparación con una tasa de aprobación de endpoint del 31.0%. Esto indica que muchos fallos se debieron a la selección de la capa de datos, la estadística o la unidad incorrecta, más que a una incapacidad total para procesar los datos.

Modos de Fallo

La revisión manual de 25 evaluaciones identificó comportamientos de fallo recurrentes donde los agentes realizaban elecciones científicas "plausibles pero erróneas":

1. Estadísticas/Unidades Incorrectas: Aplicación de umbrales o unidades erróneas.
2. Malinterpretación de la Evidencia de Archivos: Dependencia de conocimientos previos de la literatura o mecanismos familiares en lugar de la evidencia específica en los archivos proporcionados (por ejemplo, usar alineamiento end-to-end para la normalización por spike-in cuando se requería alineamiento local).
3. Errores de Manejo de Datos: Conteo incorrecto de sitios CpG en WGBS o el salto de las representaciones de base única previstas en la identificación de picos de ATAC-seq.
4. Fallo de Autocorrección: En algunos casos, los agentes computaban el resultado correcto internamente pero lo reemplazaban por un flujo de trabajo predeterminado más familiar antes de la entrega.

Significado y Reivindicaciones

El artículo posiciona a EpiBench no como una prueba completa del razonamiento en epigenómica, sino como una muestra medible de habilidades prácticas donde los agentes actuales fallan de formas interpretables.

• Separación de Ejecución y Juicio: Los resultados demuestran que, si bien los agentes pueden operar eficazmente las herramientas de un flujo de trabajo de epigenómica (ejecución), tienen dificultades para fundamentar las afirmaciones biológicas en artefactos de ensayos específicos (juicio). A menudo sustituyen las convenciones familiares por la evidencia respaldada por los datos.
• Utilidad del Benchmark: EpiBench proporciona un marco determinista y verificable para rastrear el progreso en el análisis científico de corto horizonte. Destaca que incluso los modelos más fuertes (que pasan <50% de los intentos) aún no han dominado la toma de decisiones matizada requerida para un análisis de epigenómica fiable.
• Dirección Futura: Los autores concluyen que el progreso futuro requiere no solo un mejor uso de las herramientas, sino una mejor fundamentación de las afirmaciones biológicas en los artefactos de datos específicos proporcionados, yendo más allá de las convenciones de flujo de trabajo genéricas.

El artículo señala explícitamente las limitaciones, incluyendo un inventario de tareas desequilibrado (dominado por CUT&Tag/CUT&RUN y análisis downstream) y el hecho de que los calificadores deterministas restringen la superficie de respuesta, lo que podría excluir otras rutas de análisis científicamente válidas.