AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

Problema
L'automazione della ricerca scientifica tramite agenti basati su modelli linguistici (LM) è un campo in rapida crescita, eppure valutare la loro capacità di generare contributi scientifici profondi rimane una sfida significativa. Un meccanismo critico per derivare intuizioni scientifiche è l'esperimento di ablazione, che scompone un metodo proposto nei suoi componenti per valutarne i singoli contributi. Mentre lavori precedenti hanno affrontato l'esecuzione di codice di ricerca o la generazione di ipotesi, il compito specifico di pianificare esperimenti di ablazione — identificare i componenti chiave del metodo e proporre cambiamenti significativi, fattibili e radicati — non è stato pienamente esplorato in un contesto automatizzato. Benchmark esistenti come AbGen si affidano a contesti di ricerca elaborati manualmente piuttosto che al contenuto grezzo dei paper e si concentrano esclusivamente sulla pianificazione assistita dall'autore, lasciando un vuoto nella valutazione di agenti che possano assistere sia gli autori nella pianificazione degli esperimenti, sia i revisori nell'identificare validazioni mancanti.

Metodologia
Gli autori introducono AblationBench, una suite di benchmark progettata per valutare agenti LM su compiti di pianificazione dell'ablazione nella ricerca empirica sull'IA. La suite comprende due compiti distinti:

1. AuthorAblation: Questo compito consiste nel generare un piano di ablazione basato sulla sezione metodologica di un paper (escludendo i risultati sperimentali). Il dataset contiene 83 paper di conferenze provenienti da 14 conferenze, con 230 esperimenti di ablazione annotati da umani come ground truth (GT).
2. ReviewerAblation: Questo compito consiste nell'identificare esperimenti di ablazione mancanti in una sottomissione completa di un paper, simulando il ruolo di un revisore. Il dataset consiste in 350 sottomissioni a ICLR (2023–2025) e le relative recensioni ufficiali, dove i revisori hanno esplicitamente suggerito ablazioni mancanti.

Per entrambi i compiti, gli autori hanno sviluppato dei giudici basati su LM per automatizzare la valutazione. Questi giudici confrontano i piani di ablazione generati con il GT (le ablazioni originali degli autori per AuthorAblation; i suggerimenti dei revisori per ReviewerAblation) per determinare le corrispondenze semantiche. Per garantire la robustezza, i giudici impiegano strategie per mitigare i bias intra-modello, contestuali e posizionali, come l'uso del voto di consenso (ensemble voting) e la randomizzazione dell'ordine di input.

Gli autori hanno stabilito le prestazioni di base utilizzando due tipi di planner:

• LM-PLANNER: Un prompt a singolo step di Chain-of-Thought (CoT) rivolto a un LM.
• AGENT-PLANNER: Un agente in stile ReAct (basato su SWE-agent) che opera in un ambiente containerizzato con strumenti di ispezione ed esecuzione di file.

Contributi Chiave

1. AblationBench: Una suite di benchmark completa contenente due compiti (AuthorAblation e ReviewerAblation) con un totale di 433 istanze, che copre diversi domini dell'IA (ML, CV, NLP) e fornisce una risorsa completa per lo sviluppo e la valutazione di agenti di ablazione.
2. Framework di Valutazione Automatizzata: Due giudici basati su LM (uno per ciascun compito) in grado di valutare i piani generati rispetto al ground truth, validati attraverso un dataset separato annotato da umani (JudgeEval) per garantire l'allineamento con il giudizio umano.
3. Analisi delle Prestazioni di Base: Una valutazione degli attuali modelli frontiera (inclusi GPT-4o, Claude 3.5 Sonnet, Llama 3.1, o3-mini e Gemini 2.5 Flash) sulla pianificazione dell'ablazione, che rivela significativi divari di prestazione rispetto agli esperti umani.

Risultati
Gli esperimenti con i modelli frontiera dimostrano che la pianificazione dell'ablazione rimane un compito impegnativo:

• Prestazioni: Il miglior sistema LM ha identificato solo il 38% delle ablazioni originali in media tra i compiti. Su un sottoinsieme di compiti di AuthorAblation, il miglior modello ha raggiunto un punteggio F1 di 0,42, rispetto allo 0,65 degli esperti umani.
• Architettura del Planner: Contrariamente alle aspettative per compiti di ragionamento complesso, l'LM-PLANNER (singolo step CoT) ha superato l'AGENT-PLANNER (ragionamento multi-step con strumenti) sia in accuratezza che in costi (circa 1,5 volte più economico). L'approccio agent-based non ha mostrato alcuna correlazione tra la lunghezza della traiettoria e le prestazioni.
• Differenze tra i Compiti: È stata osservata una tendenza inversa nelle prestazioni tra i due compiti. I modelli che performavano bene su AuthorAblation (che richiede un rigoroso rispetto delle descrizioni del metodo) spesso performavano male su ReviewerAblation (che richiede creatività per identificare lacune), e viceversa. Ciò è attribuito alle differenze nel grounding del modello.
• Tipi di Ablazione: I modelli sono stati significativamente più bravi nell'identificare ablazioni di "rimozione" (rimuovere un componente) rispetto ad ablazioni di "modifica" (sostituire un componente con un'alternativa specifica), suggerendo una difficoltà nel proporre sostituzioni specifiche del dominio.
• Baseline Umana: Gli esseri umani hanno dimostrato una precisione e un richiamo (recall) sostanzialmente superiori ai modelli, indicando che il benchmark non è ancora saturo e che gli attuali modelli mancano della comprensione sfumata necessaria per un'alta qualità nella pianificazione dell'ablazione.

Significatività
L'articolo sostiene che AblationBench fornisca una risorsa necessaria per far avanzare il campo dei co-scienziati IA, isolando e valutando la specifica capacità di progettazione di esperimenti di ablazione. I risultati evidenziano che, sebbene gli LM possano automatizzare parti del processo di ricerca, attualmente sono lontani dalle prestazioni umane nella fase critica della pianificazione sperimentale. Il fatto che il semplice prompting CoT superi gli approcci basati su agenti complessi per questo specifico compito suggerisce che gli attuali strumenti per agenti potrebbero non essere ben allineati con i requisoli cognitivi della pianificazione dell'ablazione. Gli autori pongono questo lavoro come un passo verso lo sviluppo di modelli più forti capaci di contributi scientifici creativi e radicati, pur riconoscendo i limiti come la dipendenza da modelli proprietari per i giudici e la difficoltà di valutare idee di ablazione nuove che non esistono nel ground truth.