AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

Problema
La automatización de la investigación científica mediante agentes de modelos de lenguaje (LM) es un campo en rápido crecimiento; sin embargo, evaluar su capacidad para generar contribuciones científicas perspicaces sigue siendo un desafío significativo. Un mecanismo crítico para derivar conocimiento científico es el experimento de ablación, el cual descompone un método propuesto en sus componentes para evaluar sus contribuciones individuales. Si bien trabajos previos han abordado la ejecución de código de investigación o la generación de hipótesis, la tarea específica de planificar experimentos de ablación —identificar componentes clave del método y proponer cambios significativos, factibles y fundamentados— no ha sido explorada plenamente en un entorno automatizado. Benchmarks existentes como AbGen dependen de contextos de investigación procesados manualmente en lugar de contenido bruto de artículos, y se centran únicamente en la planificación asistida por autores, dejando un vacío en la evaluación de agentes que puedan asistir tanto a autores en la planificación de experimentos como a revisores en la identificación de validaciones faltantes.

Metodología
Los autores presentan AblationBench, una suite de benchmarks diseñada para evaluar agentes de LM en tareas de planificación de ablación en la investigación empírica de IA. La suite comprende dos tareas distintas:

1. AuthorAblation: Esta tarea consiste en generar un plan de ablación basado en la sección de método de un artículo (excluyendo los resultados experimentales). El conjunto de datos contiene 83 artículos de conferencias que abarcan 14 conferencias, con 230 experimentos de ablación anotados por humanos como verdad de terreno (GT).
2. ReviewerAblation: Esta tarea consiste en identificar experimentos de ablación faltantes en una entrega de artículo completa, simulando el rol de un revisor. El conjunto de datos consta de 350 entregas de ICLR (2023–2025) y sus revisiones oficiales, donde los revisores sugirieron explícitamente ablaciones faltantes.

Para ambas tareas, los autores desarrollaron jueces basados en LM para automatizar la evaluación. Estos jueces comparan los planes de ablación generados contra la GT (las ablaciones originales de los autores para AuthorAblation; las sugerencias de los revisores para ReviewerAblation) para determinar coincidencias semánticas. Para asegurar la robustez, los jueces emplean estrategias para mitigar los sesgos intra-modelo, contextuales y posicionales, tales como el uso de votación por comité (ensemble voting) y la aleatorización del orden de entrada.

Los autores establecieron el rendimiento base utilizando dos tipos de planificadores:

• LM-PLANNER: Un prompt de cadena de pensamiento (CoT) de un solo paso dirigido a un LM.
• AGENT-PLANNER: Un agente de estilo ReAct (basado en SWE-agent) que opera en un entorno contenedorizado con herramientas de inspección y ejecución de archivos.

Contribuciones Clave

1. AblationBench: Una suite de benchmark exhaustiva que contiene dos tareas (AuthorAblation y ReviewerAblation) con un total de 433 instancias, cubriendo diversos dominios de IA (ML, CV, NLP) y proporcionando un recurso completo para desarrollar y evaluar agentes de ablación.
2. Marco de Evaluación Automatizada: Dos jueces basados en LM (uno para cada tarea) capaces de evaluar los planes generados frente a la verdad de terreno, validados mediante un conjunto de datos separado anotado por humanos (JudgeEval) para asegurar la alineación con el juicio humano.
3. Análisis de Rendimiento Base: Una evaluación de los LMs de frontera actuales (incluyendo GPT-4o, Claude 3.5 Sonnet, Llama 3.1, o3-mini y Gemini 2.5 Flash) sobre la planificación de ablación, revelando brechas significativas de rendimiento en comparación con los expertos humanos.

Resultos
Los experimentos con LMs de frontera demuestran que la planificación de ablación sigue siendo una tarea desafiante:

• Rendimiento: El mejor sistema de LM identificó solo el 38% de las ablaciones originales en promedio a través de las tareas. En un subconjunto de tareas de AuthorAblation, el mejor modelo alcanzó una puntuación F1 de 0.42, comparado con el 0.65 de los expertos humanos.
• Arquitectura del Planificador: Contrario a las expectativas para tareas de razonamiento complejo, el LM-PLANNER (paso único de CoT) superó al AGENT-PLANNER (razonamiento de múltiples pasos con herramientas) tanto en precisión como en costo (aproximadamente 1.5 veces más barato). El enfoque de agente no mostró correlación entre la longitud de la trayectoria y el rendimiento.
• Diferencias de Tarea: Se observó una tendencia de rendimiento inversa entre las dos tareas. Los modelos que funcionaron bien en AuthorAblation (que requiere adherencia estricta a las descripciones del método) a menudo funcionaron mal en ReviewerAblation (que requiere creatividad para identificar vacíos), y viceversa. Esto se atribuye a diferencias en la fundamentación (grounding) del modelo.
• Tipos de Ablación: Los modelos fueron significativamente mejores identificando ablaciones de "remoción" (eliminar un componente) que las ablaciones de "modificación" (reemplazar un componente con una alternativa específica), lo que sugiere dificultad para proponer sustituciones específicas del dominio.
• Línea Base Humana: Los humanos demostraron una precisión y exhaustividad (recall) sustancialmente mayores que los modelos, indicando que el benchmark aún no está saturado y que los modelos actuales carecen de la comprensión matizada requerida para una planificación de ablación de alta calidad.

Significancia
El artículo afirma que AblationBench proporciona un recurso necesario para avanzar en el campo de los co-científicos de IA al aislar y evaluar la capacidad específica del diseño de experimentos de ablación. Los resultados resaltan que, si bien los LM pueden automatizar partes del proceso de investigación, actualmente no alcanzan el nivel de desempeño humano en el paso crítico de la planificación experimental. El hallazgo de que el simple prompting de CoT supera a los enfoques complejos basados en agentes para esta tarea específica sugiere que las herramientas de agentes actuales podrían no estar bien alineadas con los requisitos cognitivos de la planificación de ablación. Los autores posicionan este trabajo como un paso hacia el desarrollo de modelos más fuertes capaces de contribuciones científicas creativas y fundamentadas, reconociendo al mismo tiempo limitaciones como la dependencia de modelos propietarios para los jueces y la dificultad de evaluar ideas de ablación novedosas que no existen en la verdad de terreno.