AgentFloor: How Far Up the tool use Ladder Can Small Open-Weight Models Go?

1. Enunciato del Problema

I sistemi agentici di produzione effettuano frequentemente numerose chiamate al modello per ogni richiesta utente. Una parte significativa di queste chiamate è breve, strutturata e routinaria (ad esempio, ricerche, estrazione di record, singole sottomissioni). Attualmente, lo standard industriale consiste nell'instradare tutte queste chiamate a modelli "frontier" costosi e di grandi dimensioni (ad esempio, GPT-5).

• La Domanda Centrale: Le valutazioni esistenti non rispondono direttamente a quali parti di un flusso di lavoro agentiche richiedano realmente intelligenza frontier e quali possano essere gestite da modelli open-weight più piccoli.
• Il Divario: I benchmark a turno singolo (ad esempio, BFCL) ignorano le dipendenze sequenziali, mentre suite complesse a più passaggi (ad esempio, SWE-Bench) sono compromesse da drift delle API, grounding web e contaminazione dei dati. Non esiste una mappa controllata di dove i modelli piccoli corrispondano alle prestazioni frontier e dove divergano.

2. Metodologia: Il Benchmark AgentFloor

Gli autori introducono AgentFloor, un benchmark deterministico a 30 task progettato per isolare le richieste cognitive nell'uso degli strumenti.

• Struttura: Il benchmark è organizzato come una scala di capacità a sei livelli (da A0 a E), dove ogni livello introduce esattamente una nuova richiesta cognitiva:
  • A0: Seguire le istruzioni (nessuno strumento).
  • A: Invocazione di un singolo strumento.
  • B: Catena sequenziale di 2 strumenti (l'output dello Strumento 1 alimenta lo Strumento 2).
  • C: Diramazione condizionale basata su risultati intermedi.
  • D: Sintesi da più fonti con recupero dei conflitti.
  • E: Pianificazione a lungo orizzonte sotto vincoli persistenti (8–12 passaggi).
• Ambiente: I task vengono eseguiti in un ambiente di strumenti fisso e astratto con un database di fixture in memoria. Non esistono filesystem, API live o stati variabili nel tempo, eliminando il rumore ambientale e la contaminazione dal pre-addestramento.
• Modelli Valutati: 16 modelli open-weight che vanno da 0,27B a 32B parametri (inclusi Gemma, Qwen, Mistral, Granite, Ministral) insieme a GPT-5.
• Protocollo di Valutazione:
  • Esecuzioni: 16.542 esecuzioni valutate.
  • Punteggio: Pass/Fail binario basato su quattro famiglie di controllori (corrispondenza della risposta finale, validazione della sottomissione, soddisfazione della traiettoria e assenza di comportamenti proibiti come strumenti allucinati).
  • Rigor Statistico: Utilizza analisi bootstrap accoppiate (10.000 ricampionamenti) e il Test a Due Lati Singoli (TOST) per l'equivalenza a un margine pre-registrato di ±10 punti percentuali (pp).
  • Tassonomia dei Fallimenti: I fallimenti sono classificati in una cascata rigorosa (F1: Strumento allucinato, F4: Budget di passaggi esaurito, F5: Rinuncia anticipata, ecc.).

3. Contributi Chiave

1. Benchmark AgentFloor: Una scala controllata e deterministica a 30 task che isola specifiche richieste cognitive nell'uso degli strumenti agentici, rimuovendo fattori di confusione come il drift delle API.
2. Mappa Capacità-Costo: Un confronto pre-registrato che mostra come il miglior modello open-weight (Gemma 4:26b) raggiunga la parità aggregata con GPT-5 risultando significativamente più economico e veloce.
3. Analisi delle Modalità di Fallimento: Un'analisi granulare che rivela come il "divario a lungo orizzonte" non sia universale; modelli diversi falliscono per motivi diversi (ad esempio, esaurimento dei passaggi vs. rinuncia anticipata), il che significa che gli interventi sono specifici del modello e non universali.

4. Risultati Chiave

A. Parità Aggregata ed Efficienza dei Costi

• Prestazioni: Su tutti i 30 task, Gemma 4:26b è statisticamente equivalente a GPT-5 (Δ accoppiato = +0,4 pp, IC 90% [-4,0, +5,1]).
• Costo: A parità di accuratezza aggregata (~60% TCR), Gemma 4:26b è 15 volte più economico di GPT-5 su Mac auto-ospitati e 3 volte più economico su GPU cloud.
• Latenza: Gemma 4:26b è 2,5 volte più veloce per task superato rispetto a GPT-5.
• Frontiera di Pareto: I modelli open-weight occupano l'intera frontiera di Pareto del costo per task superato a ogni punto di affidabilità misurato.

B. Analisi Livello per Livello

• A0 (Istruzioni): I modelli open-weight (ad esempio, Gemma 4:26b) superano rigorosamente GPT-5 (100% vs 80%). I fallimenti di GPT-5 erano spesso dovuti a una parafrasi eccessiva del vocabolario tecnico.
• A (Singolo Strumento): I modelli open-weight sono formalmente equivalenti a GPT-5.
• B, C, D (Catena, Diramazione, Sintesi): Le stime puntuali sono vicine a GPT-5 (entro 9 pp), ma le dimensioni del campione erano insufficienti per certificare formalmente l'equivalenza al margine di ±10 pp.
• E (Pianificazione a Lungo Orizzonte): Questo è l'unico livello in cui GPT-5 è rigorosamente superiore (tasso di superamento del 10% contro lo 0% per Gemma 4:26b). Tuttavia, nessuno dei due modelli raggiunge un'affidabilità "rilevante per il professionista" (>80%) su questo livello.

C. Il "Cliff" e la Dimensione del Modello

• Modelli Piccoli Sufficienti per il Lavoro Routinario: Per i livelli A0 e A, modelli grandi quanto 0,6B–4B parametri sono sufficienti per superare target di affidabilità dell'80–90%.
• La Transizione B→C: C'è un calo netto delle prestazioni passando dalla catena sequenziale (B) alla diramazione (C). Nessun modello open-weight zero-shot nel corpus ha superato la barra dell'80% di affidabilità sui livelli C, D o E.
• Scalabilità Non Monotona: Le prestazioni non scalano strettamente con il numero di parametri. Ad esempio, un modello da 4B (Nemotron) ha superato un modello da 26B sul Livello D, e un modello da 14B è stato superato dal suo fratello da 8B della stessa famiglia.

D. Analisi degli Interventi (Perché Esiste il Divario)

Gli autori hanno testato interventi per colmare il divario del Livello E, ma non hanno trovato nessuna soluzione universale:

• Prompt di Sottomissione Esplicita: Ha portato Ministral-3:8b su un task specifico dallo 0% al 100%, ma ha avuto zero effetto su GPT-5 o Gemma 4:26b.
• Raddoppio del Budget di Passaggi: Ha aiutato GPT-5 su un task specifico (E1) ma è stato nullo sugli altri.
• Modalità di Ragionamento: Disabilitare il ragionamento ha aiutato il modello Qwen da 32B sul Livello B, ma ha danneggiato le versioni da 8B e 14B.
• Prompt Strutturati (Pianifica/Esegui/Sottometti): Questo "leva" universale "ovvia" ha peggiorato le prestazioni su tutti i modelli testati, portandoli a pianificare ma fallendo nell'esecuzione.
• Impronte dei Fallimenti:
  • GPT-5 fallisce principalmente tramite F5 (Rinuncia Anticipata): Pianifica ma si arrende.
  • Gemma 4:26b fallisce tramite F4 (Esaurimento Passaggi) e F1 (Strumenti Allucinati): Esaurisce i passaggi o inventa strumenti.
  • Conclusione: Poiché i meccanismi di fallimento differiscono, un singolo intervento non può risolvere entrambi.

5. Significato e Principi di Progettazione

Il paper fornisce una guida concreta e basata sui dati per l'instradamento dei sistemi agentici:

1. Instrada il Routinario ai Modelli Piccoli: La stragrande maggioranza delle chiamate agentiche (A0, A e probabilmente B) può essere gestita da modelli open-weight piccoli (<5B parametri) senza perdita misurabile di accuratezza e con enormi guadagni in termini di costi e latenza.
2. Riserva il Frontier per il Lungo Orizzonte: I modelli frontier dovrebbero essere riservati strettamente alla ristretta classe di task che richiedono coordinamento sostenuto e tracciamento dei vincoli (Livello E), sebbene anche lì l'affidabilità rimanga bassa.
3. Gli Interventi sono Specifici del Modello: Non esiste un prompt "proiettile d'argento" o un aggiustamento architetturale che risolva universalmente la pianificazione a lungo orizzonte. Le strategie di instradamento devono essere adattate alle specifiche modalità di fallimento del modello scelto.

Conclusione Finale: La "scala dell'uso degli strumenti" ha un confine chiaro. I modelli open-weight piccoli sono già sufficienti per la vasta base di lavoro agentiche strutturato e a breve orizzonte, sfidando la strategia di deployment predefinita di instradare tutto ai modelli frontier.