Riepilogo Tecnico: Anchor – Mitigazione della Deriva degli Artefatti nella Generazione di Benchmark per Agenti

Enunciato del Problema

I benchmark attuali per gli agenti AI aziendali soffrono di un difetto fondamentale di costruzione denominato deriva degli artefatti. Nella generazione tradizionale dei benchmark, i quattro componenti critici di un compito – l'istruzione ($I$), l'ambiente ($E$), la soluzione oracolo ($x^*$) e il verificatore ($V$) – sono spesso creati attraverso processi debolmente accoppiati. Questo disaccoppiamento porta a incoerenze in cui gli artefatti non concordano sui requisiti del compito. Ad esempio, un ambiente potrebbe mancare di dati assunti dall'istruzione, una soluzione oracolo potrebbe dipendere da uno stato omesso dall'ambiente, o un verificatore potrebbe accettare esiti non richiesti dall'istruzione. Queste incoerenze risultano in ambienti irrisolvibili, suscettibili all'hacking della ricompensa o semplicemente incoerenti, creando un divario tra i punteggi dei benchmark e le prestazioni reali in produzione.

Metodologia: La Pipeline Anchor

Per affrontare la deriva degli artefatti, gli autori introducono Anchor, una pipeline di generazione di compiti che compila tutti e quattro gli artefatti del compito da un'unica specifica risolta. La pipeline opera come segue:

1. Formalizzazione: Un esperto di dominio e un ingegnere formalizzano un flusso di lavoro aziendale (ad esempio, la priorità delle fatture, la pianificazione della produzione) come programma di vincoli parametrico utilizzando OR-Tools CP-SAT. Questa specifica include variabili decisionali, vincoli di regole aziendali e una metrica obiettivo.
2. Risoluzione: Per un dato insieme di parametri ($\theta$), il risolutore CP-SAT respinge l'istanza come non fattibile o certifica una soluzione ottimale ($x^*_\theta$). Questo risultato, combinato con i parametri e i vincoli, forma una specifica risolta ($S_\theta$).
3. Compilazione Deterministica: Quattro livelli di traduzione proiettano deterministicamente $S_\theta$ negli artefatti del compito:
   • Generatore di Istruzioni: Rende i parametri, i vincoli e gli obiettivi in linguaggio naturale.
   • Generatore di Setup: Scrive record iniziali campionati nel contenitore dell'ambiente.
   • Generatore Oracolo: Scrive la soluzione certificata del risolutore come stato terminale di riferimento.
   • Generatore di Verifica: Valuta gli stati terminali rispetto ai vincoli e all'obiettivo del programma.

Poiché tutti gli artefatti sono proiezioni deterministiche della stessa specifica risolta, le incoerenze sono mitigate per costruzione. La pipeline include cinque controlli end-to-end (punteggio di agente no-op, replay oracolo, giudizio di coerenza LLM, canarini di hacking della ricompensa e controlli a campione da parte di esperti) per evidenziare difetti residui.

Contributi Chiave

1. La Pipeline Anchor

Un nuovo framework di creazione di compiti che unifica la generazione di istruzioni, ambiente, oracolo e verificatore da un unico programma di vincoli. Questo approccio garantisce che la difficoltà sia regolabile tramite parametri e che le soluzioni ottimali siano certificate matematicamente, consentendo curricula di formazione verificabili.

2. ERP-Bench

Un benchmark di 300 compiti a lungo orizzonte che copre flussi di lavoro di approvvigionamento e produzione all'interno di Odoo 19, un sistema ERP open-source di livello produttivo.

• Ambito: Copre 29 pattern di flusso di lavoro, inclusi il rifornimento di routine, il recupero da interruzioni e scenari di produzione e soddisfacimento.
• Complessità: I compiti coinvolgono dati strutturati (ordini di vendita, ordini di acquisto, ordini di produzione, distinte base) e richiedono agli agenti di navigare regole aziendali complesse (tempi di consegna, quantità minime di ordinazione, vincoli di capacità).
• Verifica: Il verificatore utilizza un sistema di punteggio ponderato (25% soddisfazione dei vincoli, 60% ottimalità, 15% tracciabilità) con gate a zero assoluto per fallimenti critici.

3. Valutazione Completa

Gli autori hanno valutato cinque modelli all'avanguardia (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) attraverso tre harness (codifica, browser, uso del computer) su 18.000 prove.

• Harness: Costruiti sul toolkit open-source pi-mono per riflettere strutture reali piuttosto che wrapper specifici per i benchmark.
• Metriche: Valutati Pass@1, Pass@5, punteggi medi e il divario fattibilità-ottimalità.

Risultati

1. Correlazione con la Difficoltà

L'intervento parametrico sulla difficoltà prevede con successo le prestazioni realizzate. Per tutti i modelli e gli harness, i punteggi Pass@5 diminuiscono monotonicamente dai livelli facili a quelli difficili:

• Codifica: 70,5% $\to$ 22,3%
• Browser: 46,5% $\to$ 7,7%
• Uso del computer: 56,0% $\to$ 9,5%

Parametri del compito come il numero di centri di lavoro, ordini di produzione e fornitori distinti mostrano forti correlazioni negative con Pass@1.

2. Il Divario Fattibilità-Ottimalità

Esiste un divario significativo tra la soddisfazione dei vincoli e il raggiungimento dell'ottimalità. Per tutti i modelli, gli agenti soddisfano i vincoli espliciti del compito nel 26,1% delle prove ma raggiungono una soluzione pienamente ottimale solo nel 17,4%. Il modello più forte (GPT-5.5 nella codifica) mostra un divario di 23,4 punti. Il degrado del punteggio è guidato principalmente da vincoli espliciti rotti (fattibilità) piuttosto che da compromessi subottimali tra piani fattibili.

3. Prestazioni degli Harness

I modelli performano significativamente meglio nell'harness di codifica (guidato da API) rispetto agli harness di browser o uso del computer.

• Gli harness GUI risolvono 16–56 punti percentuali in meno di compiti rispetto all'harness di codifica.
• Gli harness GUI costano 3,1–14,3 volte di più per tentativo di compito a causa di un numero maggiore di turni (limitazioni del batch di azioni nell'interfaccia utente rispetto all'API).
• Non sono stati osservati casi di hacking della ricompensa durante la valutazione.

4. Affidabilità

Gli agenti all'avanguardia attuali non sono ancora abbastanza affidabili per il dispiegamento senza supervisione. Sebbene Pass@5 (almeno un successo in cinque prove) sia misurabile, Pass5 (tutte e cinque le prove che hanno successo) è circa un ordine di grandezza inferiore (ad esempio, 9,8% nella codifica), indicando un'alta varianza nelle prestazioni degli agenti.

Significato e Affermazioni

Il documento afferma che Anchor e ERP-Bench forniscono una ricetta concreta per costruire ambienti di valutazione auditabili per lavori di agenti economicamente preziosi. Formalizzando i flussi di lavoro aziendali in programmi di ottimizzazione vincolata, gli autori dimostrano che è possibile generare benchmark realistici, verificabili e scalabili che mitigano la deriva degli artefatti che affligge le valutazioni attuali.

Gli autori posizionano questo lavoro come un passo verso la chiusura del divario tra i punteggi dei benchmark e le prestazioni in produzione. Osservano che, sebbene il framework privilegi compiti fattibili, riproducibili e esattamente valutabili, è naturalmente adatto per lavori aziendali visibili negli stati del sistema terminale (come le operazioni ERP) ma meno adatto per flussi di lavoro che si basano su giudizi taciti o negoziazioni. Il rilascio del generatore di compiti e del dataset su erpbench.ai è inteso a supportare ulteriori ricerche sulla formazione e valutazione verificabile degli agenti.