Resumen Técnico: MIND THE ALIGNMENT GAP (CUIDE LA BRECHA DE ALINEACIÓN)

Declaración del Problema

Los agentes de codificación científica son difíciles de evaluar mediante benchmarks porque las tareas de investigación suelen requerir código ejecutable, pero producen resultados que son ambiguos o difíciles de verificar. Mientras que los benchmarks existentes (p. ej., HumanEval, SWE-bench) dependen de una verificación automatizada clara mediante pruebas unitarias o suites de regresión, los flujos de trabajo científicos reales son iterativos, abiertos y a menudo carecen de una verdad de campo precisa. Los autores argumentan que los marcos de evaluación actuales suelen priorizar el "ascenso de colina" (mejorar las puntuaciones en métricas estáticas) sobre un flujo de trabajo centrado en el usuario donde los científicos inspeccionan las trazas del agente para evaluar la solidez científica del enfoque. Específicamente, existe una brecha en la comprensión de cómo proporcionar a los agentes contexto científico especializado (nombres de paquetes, entornos) afecta su capacidad para resolver problemas complejos de dominio específico como la alineación de la transcriptómica espacial.

Metodología

Los autores introducen un marco interactivo para construir benchmarks de agentes científicos a partir de artículos revisados por pares y diagnosticar el comportamiento del agente mediante la inspección de trazas.

Construcción del Benchmark:

• Fuente: El estudio reaprovecha SABench, un benchmark reciente para métodos de alineación de transcriptómica espacial, convirtiendo 40 de sus 295 tareas en tareas de evaluación oculta y ejecutables para agentes de codificación.
• Definición de la Tarea: Los agentes reciben cortes de tejido bidimensionales con coordenadas espaciales observadas y perfiles de expresión génica. El objetivo es enviar una tabla de coordenadas que alinee estos cortes.
• Evaluación: Un evaluador oculto califica las entregas basándose en una verificación de esquema, acuerdo de expresión, consistencia de etiquetas/puntos de referencia y (cuando está disponible) el error de alineación contra coordenadas de referencia (gold-standard) ocultas. Las métricas se estandarizan en una escala de 0 a 1 (a mayor valor, mejor).

Condiciones Experimentales:
Los autores evaluaron una única configuración de modelo (Codex CLI con gpt-5.3-codex y esfuerzo de razonamiento xhigh) a través de tres condiciones de ejecución distintas para probar el impacto de la riqueza del prompt y el soporte del entorno:

1. Básica (Basic): El agente recibe solo el prompt de la tarea, sin contexto de método de artículo y sin entornos pre-preparados (pre-bootstrapped).
2. Con conocimiento de paquetes (Package-aware - PA): El prompt incluye nombres de métodos de artículos y sugerencias de paquetes. El agente debe instalar y sondear los paquetes por sí mismo.
3. Completa + previo (Full + prior - FPP): El agente recibe entornos virtuales pre-preparados con paquetes instalados y priors de alto nivel (resumiendo métodos favorecidos para familias de tareas relacionadas) en el prompt.

Análisis:
El estudio involucró 120 ejecuciones (3 réplicas independientes por condición por tarea). La evaluación incluyó:

• Puntuación Agregada: Comparación de las medias de la puntuación compuesta entre condiciones.
• Inspección de Trazas: Uso de una llamada de LLM independiente para extraer etapas de fallo, mensajes de error y señales de uso de paquetes de los registros de ejecución.
• Baselines Geométricos: Síntesis de heurísticas geométricas simples (centro/escala, similitud PCA, trimmed ICP) derivadas de las entregas de los agentes para determinar si los agentes superaban la geometría básica.

Resultados Clave

1. El aumento de contexto no mejoró el rendimiento
Contrario a la hipótesis de que un contexto más rico mejoraría el rendimiento, la condición Básica logró la puntuación compuesta media más alta (0.43), seguida de cerca por PA (0.42). La condición FPP, a pesar de tener las señales de uso de paquetes más fuertes, logró la puntuación más baja (0.36).

• Significancia Estadística: FPP tuvo un rendimiento inferior al de la Básica por −0.067 (IC 95% [−0.11, −0.03]) y al de PA por −0.059.
• Uso de Paquetes: Los agentes FPP utilizaron paquetes especializados (p. ej., PASTE2, Spateo) en el 43–72% de las ejecuciones, mientras que los agentes Básicos rara vez los usaron (<20%). A pesar de este cambio de comportamiento, la precisión agregada disminuyó.

2. Análisis de Modos de Fallo
La inspección de trazas reveló por qué el aumento en el uso de paquetes condujo a puntuaciones más bajas:

• Estrategias Personalizadas Competitivas: Bajo la condición Básica, los agentes a menudo escribieron código Python personalizado utilizando ideas geométricas simples (p. ej., rotación de Procrustes) que igualaban o superaban las soluciones respaldadas por paquetes.
• Varianza y Fragilidad: Invocar paquetes especializados requería ajuste de parámetros y gestión de dependencias. Las elecciones mal calibradas llevaron a transformaciones peores que las alternativas geométricas simples.
• Fallos de Infraestructura: Las ejecuciones FPP sufrieron bucles de paquetes más largos, fallos de entorno y entregas "impulsadas por el prior" donde los agentes aceptaban resultados subóptimos tras llamadas fallidas a paquetes en lugar de revertir a enfoques más simples.
• Degradación de Entradas Buenas: En varios casos (p. ej., SA-004, SA-014), las coordenadas de entrada ya estaban parcialmente alineadas. Los agentes FFF degradaron activamente estas entradas aplicando transformaciones mal calibradas, resultando en puntuaciones inferiores al baseline de "Identidad" (entregar la entrada sin cambios).

3. Heurísticas Geométricas vs. Herramientas Especializadas
Los baselines geométricos sintetizados (centro/escala, similitud PCA, trimmed ICP) lograron puntuaciones comparables o mejores que la condición FPP. El probe geométrico más fuerte (trimmed ICP) promedió 0.41, casi igualando a PA (0.41) y superando a FPP (0.36). Esto sugiere que los agentes en la condición Básica estaban utilizando efectivamente heurísticas simples y robustas que los paquetes especializados no lograron replicar de manera fiable en este contexto.

4. Variabilidad Específica de la Tarea
Ninguna familia de paquetes fue una ganadora universal. La geometría personalizada rígida/afín funcionó mejor en algunas familias de alineación serial, mientras que paquetes como Spateo o PASTE excelieron en otras. El benchmark recompensó la selección de métodos locales por encima del simple aumento de la disponibilidad de paquetes.

Significado y Reivindicaciones

El artículo afirma que es difícil dirigir a los agentes de codificación científica hacia el uso efectivo de herramientas especializadas únicamente mediante el prompting y la provisión de entornos.

• La "Brecha de Alineación" (The Alignment Gap): Existe una desconexión entre la capacidad de un agente para usar herramientas especializadas y su capacidad para usarlas eficazmente. Añadir andamiaje (pistas de paquetes, entornos preinstalados) a menudo induce transformaciones innecesarias, flujos de trabajo frágiles y fallos de infraestructura que reducen el rendimiento general.
• Filosofía de Evaluación: Los autores argumentan que los benchmarks de agentes científicos deben evaluar tanto las trazas y flujos de trabajo de los agentes como los resultados finales. La "caja negra" de las puntuaciones finales oculta el hecho de que los agentes pueden estar recurriendo a heurísticas sorprendentemente eficaces o fallando debido a la integración frágil de los paquetes.
• Utilidad del Benchmark: El estudio demuestra que los artículos de benchmarking pueden ser reaprovechados como fuentes de tareas ejecutables y puntuables para agentes de IA, proporcionando un caso de estudio concreto para evaluar la solidez de los métodos en genómica computacional.
• Alcance Modesto: Los autores declaran explícitamente que no pretenden que la alineación espacial agote la evaluación de agentes científicos. En su lugar, lo ven como un caso de estudio que ilustra cómo las herramientas especializadas pueden alterar el comportamiento del agente, lo que requiere trabajos futuros para evaluar la generalizabilidad en otros dominios y familias de modelos.

En conclusión, el artículo aboga por un cambio desde el "ascenso de colina" en métricas agregadas hacia un flujo de trabajo centrado en el usuario donde los científicos inspeccionen las trazas de los agentes para comprender cómo se derivan las soluciones, asegurando que la solidez científica del enfoque no se vea comprometida por la complejidad de las herramientas empleadas.