Riepilogo Tecnico: APEX–Accounting

Problematica

Sebbene i grandi modelli linguistici (LLM) abbiano dimostrato competenza nel superare esami di certificazione professionale (es. CPA, CMA) e nel migliorare la qualità generale del lavoro, esiste una carenza di benchmark che valutino la loro capacità di svolgere l'effettivo lavoro quotidiano dei contabili. Gli esistenti benchmark come AuditBench, FinMaster e AccountingBench si affidano spesso a transazioni sintetiche, simulatori solo testuali o casi studio di singole aziende che non riescono a catturare la natura ripetitiva, procedurale e ricca di documenti della chiusura mensile e della contabilità. Gli autori sostengono che le attuali valutazioni non testino sufficientemente il "lavoro reale" dei contabili, che consiste nel riconciliare conti, accantonare spese, registrare transazioni e produrre report in contesti aziendali diversi e complessi.

Metodologia

Design del Benchmark (APEX–Accounting)

APEX–Accounting è un benchmark chiuso sviluppato da Mercor in collaborazione con Ramp, composto da 160 task distribuiti su 10 mondi aziendali generati sinteticamente.

• Costruzione dei Mondi: Ogni mondo rappresenta un'azienda autonoma congelata alla chiusura mensile, aderente ai principi contabili U.S. GAAP su base di competenza (accrual-basis). I mondi sono stati costruiti in quattro fasi: definizione dell'ambito (scoping), specifica dettagliata (inclusi i "registri trappola" per seminare contraddizioni), derivazione della guida di stile e generazione dei file. Tutti i file (fogli di calcolo, PDF, esportazioni di software contabili) sono inediti e sottoposti a screening rispetto a fonti pubbliche per prevenire la memorizzazione.
• Categorie di Task: I 160 task sono divisi in quattro categorie:
  1. Riconciliazione (61 task): Collegare due fonti, identificare discrepanze e spiegarle o correggerle.
  2. Inserimento Dati (26 task): Registrare transazioni, scritture contabili e fatture.
  3. Analisi delle Variazioni (28 task): Confrontare i dati effettivi con i budget o le aspettative.
  4. Programmazi e Accantonamenti (45 task): Costruire tabelle di ammortamento/scadenziari, calcolare gli accantonamenti e gestire i saldi.
• Coinvolgimento degli Esperti: 42 esperti contabili (esperienza mediana di 11 anni, il 52% proveniente dalle "Big Four") hanno redatto i task, li hanno risolti per creare le "risposte auree" (golden responses) e hanno scritto rubriche di valutazione binarie basate sui risultati. Ogni task include un prompt, i file di input richiesti, una risposta aurea e una rubrica con una media di 13,7 criteri.

Configurazione Sperimentale

• Modelli Valutati: Sono stati testati nove modelli di frontiera, tra cui Claude-Fable-5, Muse-Spark-1.1, GPT-5.6-Sol e altri. Ogni modello ha eseguito ogni task 8 volte, generando 11.520 traiettorie.
• Harness (Strumenti di Esecuzione): Sono stati utilizzati due harness di agenti:
  • Loop Harness: Un'architettura standard a ciclo while-loop-with-tools.
  • Ramp Harness: Un harness specializzato costruito con Ramp che presenta consapevolezza dei tentativi di riprova (retry-awareness), liste consentite di strumenti (tool allowlists), validazione e delega a sub-agenti per rispecchiare i vincoli del mondo reale.
• Valutazione (Grading): Un modello DeepSeek-v4-Flash, ottimizzato con un prompt GEPA, ha funto da giudice. È stato validato rispetto alla verità fondamentale (ground truth) degli esperti umani (1.687 criteri), raggiungendo un'accuratezza del 97,1% (F1 = 0,970). Il giudice valuta l'output finale rispetto ai criteri binari della rubrica senza avere accesso al log della traiettoria intermedia.
• Metriche:
  • Mean Criteria@3: La metrica primaria, che media la percentuale di criteri della rubrica soddisfatti su 3 esecuzioni selezionate casualmente per task.
  • Pass@k / Pass^k: Misura il tetto delle capacità (Pass@8: superare almeno una volta in 8 tentativi) e la coerenza (Pass^8: superare tutti gli 8 tentativi).
  • Analisi dell'Ablazione dei Costi: Esperimenti che variano il budget di token da $1 a$50 per task per analizzare la relazione tra spesa e prestazioni.

Risultati Chiave

Performance della Classifica (Leaderboard)

• Top Performer: Claude-Fable-5 (Max) ha ottenuto il valore più alto di Mean Criteria@3 pari a 56,4%, seguito da Muse-Spark-1.1 (52,6%) e GPT-5.6-Sol (51,5%).
• Gap di Coerenza: Nonostante gli alti punteggi di Mean Criteria@3, la coerenza rimane estremamente bassa. Nessun modello ha raggiunto un punteggio Pass^8 superiore al 2,6% (GPT-5.6-Sol). Il valore più alto di Pass@8 è stato del 21,5% (Muse-Spark-1.1), indicando che sebbene i modelli possano occasionalmente risolvere un task, non possono farlo in modo affidabile end-to-end.
• Difficoltà per Categoria: La categoria "Schedules & Accruals" si è rivelata la più difficile, con tutti i modelli che hanno ottenuto punteggi inferiori del 7–21% rispetto alle altre categorie, riflettendo la sua natura multi-step e basata sul giudizio.

Analisi dei Costi e del Budget

• Impatto del Budget di Token: Aumentare il budget da $1 a$50 ha migliorato significativamente i punteggi per i modelli costosi (es. Claude-Fable-5 è guadagnato +43,4 punti percentuali), mentre i modelli più economici (es. Muse-Spark-1.1) hanno visto guadagni minimi.
• Paradosso di Simpson: Lo studio ha osservato un caso di Paradosso di Simpson: sebbene l'aumento del budget totale abbia alzato i punteggi, all'interno di un budget fisso, i task in cui i modelli hanno speso più token correlavano con punteggi più bassi. Ciò è attribuito alla difficoltà del task: i task più difficili consumano più token ma rimangono più difficili da risolvere.
• Impatto dell'Harness: Il passaggio dallo standard Loop Harness al Ramp Harness ha prodotto uno spostamento medio trascurabile (+1,2 punti percentuali), suggerendo che la capacità del modello sia un driver di performance più forte rispetto alla specifica architettura dell'agente per questi task.

Analisi dei Fallimenti

L'analisi delle traiettorie a basso punteggio dei primi tre modelli ha rivelato un profilo di fallimento sorprendentemente simile:

• Dominanza del Ragionamento: I fallimenti di ragionamento hanno rappresentato il 59–79% di tutti gli errori annotati.
• Modalità di Fallimento Specifiche: Le sub-mancanze più comuni sono state il ragionamento non numerico (applicare una logica errata a dati non numerici) e gli errori di gestione dei dati (filtraggio, join o aggregazione errati).
• Informazione vs Logica: I modelli hanno trovato con affidabilità i file di input corretti (i fallimenti di raccolta informazioni sono stati rari). La modalità di fallimento principale è stata la gestione errata del ragionamento multi-step su tali input: sostituire la logica di autorizzazione corretta, perdere i risultati intermedi corretti o non portare le conclusioni fino alla risposta finale.
• Uso degli Strumenti (Tool Use): Nessun fallimento annotato ha riguardato errori nell'uso degli strumenti, suggerendo che le attuali architetture di agenti siano sufficienti per l'interazione con gli strumenti, ma che la capacità di ragionamento sottostante sia il collo di bottiglia.

Significato e Rivendicazioni

Il documento sostiene che APEX–Accounting fornisce la prima valutazione rigorosa dei modelli di frontiera sui flussi di lavoro contabili reali, andando oltre gli esami di certificazione verso l'applicazione pratica.

• Limitazioni Attuali: I risultati indicano che, sebbene i modelli di frontiera possano recuperare informazioni e svolgere passaggi isolati, non sono ancora in grado di chiudere i libri in modo affidabile senza supervisione. I bassi punteggi di Pass^8 (massimo 2,6%) evidenziano un significativo divario tra "tetto delle capacità" (capability ceiling) e "implementazione affidabile" (reliable deployment).
• Direzione Futura: Gli autori sostengono che il progresso dipenderà meno dal miglioramento degli harness degli agenti (che hanno mostrato un impatto minimo) e più dal miglioramento dei modelli stessi. Nello specifico, suggeriscono la necessità di un addestramento specifico per la contabilità per instillare la disciplina necessaria a portare i risultati multi-step attraverso i processi, far emergere le contraddizioni nei documenti e rifiutarsi di registrare voci senza prove sufficienti.
• Utilità del Benchmark: In quanto benchmark chiuso, APEX–Accounting consente la valutazione di qualsiasi modello di frontiera su richiesta, offrendo una metrica standardizzata per l'industria per tracciare i progressi nell'automazione del lavoro intellettuale specializzato.