ACE-Bench: Agent Configurable Evaluation with Scalable Horizons and Controllable Difficulty under Lightweight Environments

1. Il Problema

Gli attuali benchmark per agenti basati su LLM (Large Language Models) soffrono di due limitazioni critiche che compromettono l'efficienza e l'affidabilità della valutazione:

• Elevato overhead di interazione con l'ambiente: Molti benchmark esistenti (es. WebArena, TAU2-Bench) richiedono ambienti complessi come simulatori web o agenti LLM che fungono da utenti. Questo comporta che l'interazione con l'ambiente consumi fino al 41% del tempo totale di valutazione, rendendo i test proibitivamente costosi e lenti, specialmente per la validazione durante l'addestramento.
• Squilibrio nelle distribuzioni di orizzonte e difficoltà: Esiste una forte disparità nella lunghezza delle task (da meno di 10 a oltre 100 passaggi) e nella difficoltà tra diversi domini (es. retail vs telecomunicazioni). Questa mancanza di controllo rende i punteggi aggregati inaffidabili, poiché un modello potrebbe eccellere su task brevi e facili per ottenere un punteggio alto, fallendo sistematicamente su task a lungo orizzonte o ad alta complessità.

2. Metodologia: ACE-Bench

Per affrontare queste sfide, gli autori propongono ACE-Bench, un benchmark basato su un'unified task di pianificazione su griglia.

• Struttura del Task: L'agente deve riempire slot nascosti in un programma parzialmente completato (una griglia $R \times C$). Ogni cella deve essere riempita con un elemento da un pool specifico del dominio, soggetto a vincoli locali (per lo slot) e vincoli globali (per l'intera griglia).
• Asse 1: Orizzonte Scalabile (Scalable Horizons): La lunghezza della task è controllata dal numero di slot nascosti ($H$). Variando $H$ (da 1 a 21), si può passare da una decisione indipendente a catene di ragionamento a lungo orizzonte, permettendo una valutazione sistematica della capacità di pianificazione sequenziale.
• Asse 2: Difficoltà Controllabile (Controllable Difficulty): La difficoltà è governata dal budget di esche ($B$). Questo parametro determina il numero di candidati "esca" (decoy) introdotti nel pool di candidati. Le esche soddisfano i vincoli locali ma violano i vincoli globali se selezionate. Aumentando $B$, l'agente deve eseguire un ragionamento globale più complesso per distinguere la risposta corretta dalle trappole.
• Ambiente Leggero (Lightweight Environment): A differenza dei benchmark tradizionali, ACE-Bench non utilizza servizi in esecuzione o simulatori. Tutte le chiamate agli strumenti (tool calls) sono risolte interrogando file JSON statici. Questo elimina l'overhead di configurazione, rendendo la valutazione rapida, riproducibile e ideale per la validazione durante l'addestramento.
• Interazione: L'agente interagisce tramite un'interfaccia unificata di strumenti (query attributi, controllo vincoli, impostazione slot) in un dialogo multi-turno.

3. Contributi Chiave

1. Controllo Granulare: Introduzione di due assi ortogonali ($H$ e $B$) che permettono di generare istanze di task con orizzonte e difficoltà esattamente controllabili e interpretabili.
2. Efficienza Estrema: Progettazione di un ambiente "senza server" basato su JSON, che riduce drasticamente il tempo di valutazione eliminando l'interazione con ambienti esterni pesanti.
3. Validazione Empirica: Dimostrazione che $H$ e $B$ forniscono un controllo affidabile sulla difficoltà e sull'orizzonte, con una forte consistenza tra domini e capacità di discriminare le performance tra modelli di diverse dimensioni.
4. Copertura Multi-Dominio: Il benchmark copre 6 domini reali (pianificazione corsi, spesa, viaggi, forza lavoro, pasti, configurazione PC) mantenendo la stessa struttura logica per evitare bias specifici del dominio.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 13 modelli di diverse famiglie (Qwen3.5 Dense e MoE, MiniMax, GLM-4, MiroThinker) e dimensioni (da 0.8B a 397B parametri attivi).

• Discriminabilità dei Modelli: Il benchmark distingue chiaramente le capacità dei modelli in base alla scala. Ad esempio, nella famiglia Qwen3.5 Dense, il punteggio sale monotonicamente da 0.6% (0.8B) a 74.7% (27B). I modelli più grandi (Qwen3.5-397B-A17B) raggiungono il punteggio complessivo più alto (84.9%).
• Relazione Orizzonte/Difficoltà: I risultati confermano che all'aumentare del numero di slot nascosti ($H$) e del budget di esche ($B$), i punteggi diminuiscono in modo coerente. I modelli più deboli falliscono quasi completamente su task complessi, mentre quelli più forti mostrano un degrado graduale, permettendo di identificare i limiti di capacità di ciascun modello.
• Consistenza di Dominio: I punteggi sono coerenti tra i diversi domini (es. 74.1% - 79.6% per Qwen3.5-27B), indicando che il benchmark non introduce bias sistematici verso settori specifici.
• Robustezza agli Errori: Una simulazione di fallimento degli strumenti (tool failure rate fino al 30%) mostra che le performance degradano significativamente, confermando che ACE-Bench può anche valutare la resilienza degli agenti in scenari reali.

5. Significato e Impatto

ACE-Bench rappresenta un passo avanti significativo nella valutazione degli agenti LLM:

• Validazione durante l'Addestramento: Grazie alla sua natura leggera e veloce, permette di utilizzare benchmark complessi non solo per la valutazione finale, ma anche come strumento di feedback durante il training (RLHF o fine-tuning).
• Diagnosi Precisa: Fornisce una mappa dettagliata delle capacità di un agente, permettendo di capire esattamente dove fallisce (es. in task a lungo orizzonte o con molte distrazioni), superando la limitazione dei punteggi medi aggregati.
• Riproducibilità: L'uso di file statici garantisce che i risultati siano perfettamente riproducibili senza dipendenze esterne instabili.

In sintesi, ACE-Bench offre un framework di valutazione principled, scalabile e controllabile per misurare il ragionamento degli agenti, risolvendo i problemi di costo e di squilibrio che affliggono le metodologie attuali.