Riepilogo Tecnico: CEO-BENCH

Problematica

Gli attuali agenti basati su modelli linguistici (LM) dimostrano competenza in compiti isolati a breve orizzonte, come l'ingegneria del software, l'assistenza clienti o i flussi di lavoro sul web. Tuttavia, questi compiti tipicamente comportano obiettivi chiari, feedback immediati e sequenze di azioni brevi. Le sfide del mondo reale richiedono una combinazione di capacità sofisticate che rimangono in gran parte non testate: navigare orizzonti temporali lunghi sotto incertezza, acquisire informazioni da ambienti rumorosi, adattarsi a condizioni mutevoli e orchestrare decisioni multiple interdipendenti verso un obiettivo coerente. I benchmark esistenti (ad es., SWE-bench, WebArena) si concentrano su episodi brevi con esiti osservati rapidamente, mentre altri (ad es., Vending-Bench, Accounting-Bench) coinvolgono set decisionali ristretti e ambienti ampiamente stabili. Manca un framework di valutazione che testi la capacità di un agente di coordinare azioni interdipendenti, inferire stati nascosti da feedback ritardati e ideare strategie in presenza di condizioni di mercato non stazionarie.

Metodologia

Gli autori introducono CEO-BENCH, un benchmark che valuta le capacità generali degli agenti su lunghi orizzonti simulando la gestione di una startup nell'arco di 500 giorni simulati.

Design dell'Ambiente

• Ambito della Simulazione: L'agente gestisce una società fittizia di software in abbonamento ("NovaMind") partendo con $1M in contanti e zero clienti. La simulazione dura 500 giorni (circa 71 settimane).
• Stato e Dinamiche: L'ambiente è parzialmente osservabile, rumoroso e non stazionario.
  • Clienti: 26 gruppi di clienti distinti, ciascuno con agenti individuali dotati di preferenze nascoste su prezzo e qualità. Il comportamento dei clienti è governato da regole meccanicistiche (ad es., regole di partecipazione microeconomica) piuttosto che da giudici LLM opachi.
  • Cicli di Feedback: Le decisioni hanno conseguenze ritardate e incerte. Le entrate arrivano nei cicli di fatturazione, la R&D richiede tempo e gli errori emergono successivamente attraverso il churn e la reputazione.
  • Fattori Esterni: L'ambiente evolve a causa di cicli macroeconomici, shock dei competitor (che si adattano alzando le aspettative di qualità) e cambiamenti nelle preferenze dei clienti.
• Interfaccia di Azione: Gli agenti interagiscono tramite un'interfaccia Python programmabile (novamind_api) con accesso a:
  • 34 Strumenti: Coprono pricing, crescita, qualità del prodotto, affidabilità, vendite enterprise, acquisizione di informazioni e comunicazione pubblica.
  • Database a 19 Tabelle: Un database SQL realistico contenente registri contabili, abbonamenti, lead pubblicitari, ticket di supporto e feed dei social media.
  • Workflow: Gli agenti scrivono ed eseguono script Python per interrogare il database, analizzare i dati e comporre strumenti in workflow personalizzati.

Configurazione Sperimentale

• Modelli Valutati: Lo studio valuta un mix di modelli a pesi chiusi (ad es., GPT-5.5, Claude Opus 4.8/4.7, Gemini 3 Flash) e modelli a pesi aperti (ad es., DeepSeek-V4-Pro, GLM-5.1).
• Protocollo: Ogni modello esegue tre simulazioni di 500 giorni con un seed casuale fisso. Il successo è misurato dal contante finale disponibile. Il fallimento (cash < $0) termina la simulazione.
• Baseline: È inclusa una baseline euristica basata su regole (senza chiamate LLM), che fissa prezzi e quote mantenendo costante la capacità in base all'utilizzo.

Contributi Chiave

1. Benchmark Innovativo: CEO-BENCH è il primo benchmark che valuta agenti in una simulazione di startup realistica e su larga scala che richiede l'integrazione di coding, analisi dei dati e pensiero strategico su lunghi orizzonti.
2. Realismo Meccanicistico: A differenza dei benchmark che si affidano a LLM come giudici, CEO-BENCH utilizza regole esplicite e meccanicistiche per il comportamento dei clienti, le dinamiche di mercato e i risultati finanziari, garantendo che il successo dipenda da vere abilità strategiche piuttosto che dallo sfruttamento di simulazioni fragili.
3. Spazio di Azione Granulare: L'interfaccia consente azioni fini (ad es., target su specifici gruppi di clienti per pubblicità o R&D), creando uno spazio combinatoriamente ampio di strategie e modalità di fallimento.
4. Analisi Comprensiva: Il paper fornisce sia metriche quantitative (traiettoria del contante, giorni di sopravvivenza) che analisi qualitative dei comportamenti degli agenti (contenuto dei memo, complessità del codice, pattern di utilizzo degli strumenti).

Risultati

• Performance Complessiva: La maggior parte dei modelli allo stato dell'arte fatica a completare la simulazione senza il fallimento. Solo Claude Opus 4.8 e GPT-5.5 sono terminati con un saldo di cassa superiore al punto di partenza di $1M nelle loro migliori esecuzioni.
• Confronto con le Baseline: La baseline basata su regole ha raggiunto un saldo finale di circa $15,76M. Sebbene Claude Opus 4.8 ($27,8M) e GPT-5.5 ($21,3M) abbiano superato questa, sono ancora lontani dal limite teorico superiore stimato di ~$2,2B, indicando che il compito è lontano dalla saturazione.
• Pattern Comportamentali:
  • Esplorazione vs Sfruttamento: I modelli con le migliori prestazioni (Opus 4.8, GPT-5.5) hanno esplorato attivamente diverse strategie, simulato scenari futuri e si sono adattati frequentemente. Al contrario, i modelli più deboli hanno spesso adottato strategie passive di "preservazione del contante" o hanno fallito nel coordinare la crescita con la qualità.
  • Analisi Sofisticata: Gli agenti forti hanno scritto codice per simulare le coorti di clienti per le previsioni di cassa (Opus 4.8) e hanno analizzato la cronologia delle negoziazioni per inferire le preferenze nascoste dei clienti (GPT-5.5).
  • Utilizzo degli Strumenti: I modelli di successo hanno distribuito le azioni in modo più uniforme tra gli strumenti e hanno allocato una percentuale più alta di spese di sviluppo a miglioramenti mirati e specifici per gruppo rispetto ad altri modelli.
• Studi di Ablazione:
  • Difficoltà dei Competitor: Rimuovere i competitor o ridurre la loro adattabilità ha ridotto significativamente la difficoltà del compito, confermando che la pressione di mercato non stazionaria è un componente crito della sfida.
  • Orizzonte Temporale: Anche quando l'orizzonte è stato accorciato a 50 giorni, la maggior parte dei modelli non è riuscita a generare profitti positivi, suggerendo che gli attuali agenti faticano anche con l'orchestrazione a breve termine.
  • Sensibilità all'Harness: Passare a standard agent harness (ad es., Claude Code, Codex) ha comportato significativamente meno azioni e prestazioni inferiori, evidenziando l'importanza dell'ambiente di esecuzione.

Significato e Rivendicazioni

Il paper sostiene che CEO-BENCH rappresenti un "primo passo verso la misurazione dell'intelligenza necessaria per guidare un progresso sostenuto e adattivo nel tempo". Evidenzia un divario critico tra la competenza locale degli strumenti dei modelli attuali e il controllo strategico sostenuto richiesto per l'operatività nel mondo reale.

Gli autori affermano che, sebbene gli agenti possano eseguire singoli compiti, essi falliscono nell'integrare tali capacità in un comportamento coerente e adattivo su orizzonti estesi quando affrontano feedback ritardati, stati nascosti e condizioni mutevoli. Il benchmark rivela un sostanziale "margine di miglioramento" (headroom) per i futuri modelli nella loro capacità di:

1. Inferire strutture nascoste da dati rumorosi.
2. Prevedere conseguenze ritardate.
3. Adattarsi alla pressione competitiva.
4. Coordinare decisioni interdipendenti.

Il paper conclude che, per andare oltre gli esecutori di compiti isolati, il campo necessita di valutazioni che testino se gli agenti siano in grado di organizzare sistemi in evoluzione verso obiettivi distanti, una capacità che CEO-BENCH è progettato per misurare.