AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

Problema
A automação da pesquisa científica utilizando agentes de modelos de linguagem (LM) é um campo em rápido crescimento, mas avaliar sua capacidade de gerar contribuições científicas perspicazes continua sendo um desafio significativo. Um mecanismo crítico para derivar insights científicos é o experimento de ablação, que disseca um método proposto em seus componentes para avaliar suas contribuições individuais. Embora trabalhos anteriores tenham abordado a execução de código de pesquisa ou a geração de hipóteses, a tarefa específica de planejar experimentos de ablação — identificar componentes-chave do método e propor mudanças significativas, viáveis e fundamentadas — não foi totalmente explorada em um cenário automatizado. Benchmarks existentes como o AbGen dependem de contextos de pesquisa processados manualmente em vez de conteúdo bruto de artigos, e focam exclusivamente no planejamento assistido pelo autor, deixando uma lacuna na avaliação de agentes que possam auxiliar tanto autores no planejamento de experimentos quanto revisores na identificação de validações ausentes.

Metodologia
Os autores introduzem o AblationBench, um conjunto de benchmarks projetado para avaliar agentes de LM em tarefas de planejamento de ablação em pesquisa empírica de IA. O conjunto compreende duas tarefas distintas:

1. AuthorAblation: Esta tarefa envolve a geração de um plano de ablação baseado na seção de método de um artigo (excluindo os resultados experimentais). O conjunto de dados contém 83 artigos de conferências abrangendo 14 conferências, com 230 experimentos de ablação anotados por humanos servindo como verdade fundamental (GT).
2. ReviewerAblation: Esta tarefa envolve a identificação de experimentos de ablação ausentes em uma submissão de artigo completa, simulando o papel de um revisor. O conjunto de dados consiste em 350 submissões da ICLR (2023–2025) e suas revisões oficiais, onde revisores sugeriram explicitamente ablações ausentes.

Para ambas as tarefas, os autores desenvolveram juízes baseados em LM para automatizar a avaliação. Esses juízes comparam planos de ablação gerados contra o GT (ablações originais dos autores para AuthorAblation; sugestões de revisores para ReviewerAblation) para determinar correspondências semânticas. Para garantir a robustez, os juízes empregam estratégias para mitigar vieses intra-modelo, contextuais e posicionais, como o uso de votação em comitê (ensemble voting) e a randomização da ordem de entrada.

Os autores estabeleceram o desempenho de linha de base usando dois tipos de planejadores:

• LM-PLANNER: Um prompt de Cadeia de Pensamento (CoT) de etapa única para um LM.
• AGENT-PLANNER: Um agente no estilo ReAct (baseado no SWE-agent) operando em um ambiente conteinerizado com ferramentas de inspeção e execução de arquivos.

Principais Contribuições

1. AblationBench: Um conjunto abrangente de benchmarks contendo duas tarefas (AuthorAblation e ReviewerAblation) com um total de 433 instâncias, cobrindo diversos domínios de IA (ML, CV, NLP) e fornecendo um recurso completo para o desenvolvimento e avaliação de agentes de ablação.
2. Estrutura de Avaliação Automatizada: Dois juízes baseados em LM (um para cada tarefa) capazes de avaliar planos gerados contra a verdade fundamental, validados através de um conjunto de dados separado anotado por humanos (JudgeEval) para garantir o alinhamento com o julgamento humano.
3. Análise de Desempenho de Linha de Base: Uma avaliação dos atuais LMs de fronteira (incluindo GPT-4o, Claude 3.5 Sonnet, Llama 3.1, o3-mini e Gemini 2.5 Flash) no planejamento de ablação, revelando lacunas significativas de desempenho em comparação com especialistas humanos.

Resultos
Experimentos com LMs de fronteira demonstram que o planejamento de ablação continua sendo uma tarefa desafiadora:

• Desempenho: O melhor sistema de LM identificou apenas 38% das ablações originais, em média, entre as tarefas. Em um subconjunto de tarefas de AuthorAblation, o melhor modelo alcançou um F1 score de 0,42, comparado a 0,65 para especialistas humanos.
• Arquitetura do Planejador: Contrário às expectativas para tarefas de raciocínio complexo, o LM-PLANNER (passo único de CoT) superou o AGENT-PLANNER (raciocínio de múltiplas etapas com ferramentas) tanto em precisão quanto em custo (aproximadamente 1,5x mais barato). A abordagem de agente não mostrou correlação entre o comprimento da trajetória e o desempenho.
• Diferenças de Tarefa: Uma tendência de desempenho inverso foi observada entre as duas tarefas. Modelos que performaram bem em AuthorAblation (que exige adesão estrita às descrições do método) frequentemente performaram mal em ReviewerAblation (que exige criatividade para identificar lacunas), e vice-versa. Isso é atribuído a diferenças no nivelamento (grounding) do modelo.
• Tipos de Ablação: Os modelos foram significativamente melhores em identificar ablações de "remoção" (remover um componente) do que ablações de "modificação" (substituir um componente por uma alternativa específica), sugerindo dificuldade em propor substituições específicas do domínio.
• Linha de Base Humana: Humanos demonstraram precisão e recall substancialmente superiores aos modelos, indicando que o benchmark ainda não está saturado e que os modelos atuais carecem da compreensão matizada necessária para o planejamento de ablação de alta qualidade.

Significância
O artigo afirma que o AblationBench fornece um recurso necessário para o avanço do campo dos co-cientistas de IA, isolando e avaliando a capacidade específica de design de experimentos de ablação. Os resultados destacam que, embora os LMs possam automatizar partes do processo de pesquisa, eles atualmente ficam aquém do desempenho de nível humano na etapa crítica de planejamento experimental. A descoberta de que o simples prompting de CoT supera as abordagens de agentes complexos para esta tarefa específica sugere que as ferramentas de agentes atuais podem não estar bem alinhadas com os requisitos cognitivos do planejamento de ablação. Os autores posicionam este trabalho como um passo para o desenvolvimento de modelos mais fortes, capazes de contribuições científicas criativas e fundamentadas, ao mesmo tempo em que reconhecem limitações, como a dependência de modelos proprietários para os juízes e a dificuldade de avaliar ideias de ablação inovadoras que não existem na verdade fundamental.