Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
Questo studio di benchmark preregistrato dimostra che la formulazione del prompt e il design dell'harness gonfiano significativamente i costi di ragionamento dei grandi agenti di codifica — spesso da 2,4 a 30 volte — senza migliorare il successo del compito, con istruzioni specifiche come "sviluppa molteplici approcci" e determinate architetture di harness che rappresentano i principali fattori di questa inefficienza.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di assumere un assistente robotico super intelligente per riparare un tostapane rotto. Non vuoi solo che il robot lo ripari; vuoi che prima lo pensi come ripararlo. Nel mondo dell'intelligenza artificiale, questi passaggi di "pensiero" sono chiamati token di ragionamento. Proprio come un essere umano potrebbe scarabocchiare appunti, cancellare e provare diverse idee prima di risolvere un enigma, questi modelli di IA dedicano tempo e denaro a "deliberare" prima di darti una risposta.
Ma ecco il problema: paghi per ogni singolo pensiero che il robot ha, anche quelli che scarta. Se chiedi al robot di "pensare davvero intensamente" o di "provare cinque modi diversi", potrebbe farlo esattamente, bruciando il tuo budget tanto quanto se avessi solo chiesto di "riparare il tostapane". Questo articolo esplora un angolo strano dell'informatica dove i ricercatori agiscono come detective, cercando di capire quali parole nelle tue istruzioni fanno sprecare soldi al robot e quali lo mantengono con un budget contenuto. Non stanno solo tirando a indovinare; stanno eseguendo migliaia di esperimenti controllati per vedere esattamente quanto costano diverse frasi.
Il Grande Esperimento dei Prompt: Perché le tue parole costano denaro
Immagina di avere una flotta di sei diversi chef robot super intelligenti. Vuoi che scrivano del codice (che è come una ricetta per un computer) per risolvere 24 sfide culinarie specifiche. Ma c'è un colpo di scena: devi pagare per ogni singolo pensiero che gli chef hanno mentre cucinano. I ricercatori volevano sapere: Il modo in cui scrivi l'ordine cambia quanto pensano gli chef, e questo pensiero aiuta davvero il piatto a avere un sapore migliore?
Per scoprirlo, hanno allestito un laboratorio culinario massiccio e super organizzato. Non hanno solo tirato a indovinare; hanno scritto le loro regole prima di iniziare a cucinare (questo si chiama "preregistrazione", come scrivere un menu prima di andare al supermercato). Hanno usato due diversi tipi di manager della cucina (chiamati "harnesses") per parlare con gli chef: uno era un manager diretto e senza fronzoli, l'altro era un manager molto chiacchierone e dettagliato che inviava una enorme quantità di informazioni di contesto con ogni ordine.
Ecco cosa hanno scoperto dopo aver eseguito oltre 4.600 sessioni di cucina:
1. La trappola del "Prova Tutto"
Il maggiore spreco di denaro? Dire al robot di "sviluppare diversi approcci e confrontarli".
Sembra intelligente, giusto? Come un buon chef che assaggia tre salse prima di sceglierne una. Ma per questi robot IA, questa istruzione è stata un disastro. Ha fatto pensare ai robot da 2,4 a 7,4 volte di più rispetto al normale. E la parte peggiore? Il piatto finale (il codice) non era migliore. Hanno solo bruciato denaro extra per pensare a opzioni che non hanno mai usato. È come pagare uno chef per scrivere tre ricette diverse per un sandwich, assaggiarle tutte e poi servirti lo stesso sandwich che avrebbe preparato se gli avessi solo chiesto "un sandwich".
2. Le Parole Magiche che non servono a nulla
Le persone spesso dicono "pensa passo dopo passo" o "pensa profondamente" per ottenere risultati migliori. I ricercatori hanno scoperto che per questi robot da programmazione, queste parole magiche di "pensiero profondo" erano solo puro spreco. Hanno fatto pensare ai robot da 1,6 a 2,2 volte più a lungo senza migliorare il risultato. È come dire a una calcolatrice di "pensare intensamente" prima di fare 2 + 2; la risposta è la stessa, ma hai pagato per il tempo di pensiero extra.
3. L'Hack dell' "Efficienza Vincolata"
Dall'altro lato, c'era una salsa segreta che faceva risparmiare denaro. Se davi al robot un box stretto entro cui lavorare — dicendogli esattamente qual era l'obiettivo, quali erano le regole e quando fermarsi — esso in realtà pensava meno. Un robot ha persino dimezzato il suo tempo di pensiero! Questo modello di "efficienza vincolata" era gratuito da usare e rendeva i robot più veloci ed economici senza rovinare il codice.
4. Il Manager conta più dello Chef
Uno dei risultati più sorprendenti è stato che chi assume per gestire il robot conta più del robot stesso.
Hanno testato lo stesso robot con due diversi manager. Un manager (PI.DEV) era efficiente. L'altro (Claude Code) era come un micromanager che inviava un "discorso introduttivo" da 12 a 15 volte più grande con ogni singolo messaggio. Anche quando i robot risolvevano il problema perfettamente, la versione con il micromanager costava da 5 a 30 volte di più solo per il modo in cui veniva gestita la conversazione. Si scopre che il "manager" (il software che avvolge l'IA) è spesso la parte più consistente del conto, non l'IA stessa.
5. L'illusione dello "Sconto Nascosto"
I ricercatori hanno anche esaminato come le aziende addebitano i costi per questi robot. Hanno scoperto che le aziende risparmiano automaticamente denaro ricordando il "discorso introduttivo" che inviano ogni volta. Questo ha risparmiato circa il 61% del conto. Ma i ricercatori hanno avvertito: Non chiamate questo "efficienza". È solo uno sconto sul solito lavoro. Il robot non ha lavorato più velocemente o meglio; l'azienda ha solo smesso di addebitarti le parti che il robot ricordava.
6. Nuovi Robot, Vecchi Trucchi
Quando è stato rilasciato un nuovo robot super veloce (Kimi-K3), i ricercatori lo hanno testato immediatamente. Nonostante questo nuovo robot fosse naturalmente più economico da gestire, le stesse istruzioni errate (come "prova più approcci") lo hanno fatto sprecare denaro 15 volte di più del solito. La lezione? Non importa quanto il robot sia intelligente o economico, le cattive istruzioni faranno sempre sprecare denaro.
Il Punto Fondamentale
Questo articolo dimostra che il modo in cui poni una domanda cambia quanto costa, anche se la risposta è la stessa.
- Non dire al robot di "provare molti approcci" o "pensare profondamente" a meno che tu non abbia realmente bisogno che faccia quelle cose.
- Fai invece dare al robot confini chiari e una condizione di arresto.
- Ricorda che il software che gestisce il robot potrebbe costarti più del robot stesso.
I ricercatori hanno reso pubblici tutti i loro dati, il codice e le ricette di test. Vogliono che tutti sappiano che, nel mondo degli agenti IA, meno teatro del pensiero e più istruzioni chiare è il modo migliore per risparmiare denaro e portare a termine il lavoro.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.