Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
Questo articolo investiga come le specifiche dei compiti influenzino il consumo di token nei flussi di lavoro di codifica agentica, dimostrando che prompt eccessivamente brevi aumentano significativamente i costi e introducendo un metodo predittivo per stimare la spesa di token attraverso diverse configurazioni con elevata accuratezza.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo moderno dello sviluppo software, è emerso un nuovo tipo di lavoratore: l'agente di intelligenza artificiale. A differenza di una semplice chatbot che risponde a una singola domanda, questi agenti sono progettati per affrontare lavori complessi e multi-fase, come correggere un bug in un programma informatico o costruire una nuova funzionalità da zero. Lo fanno leggendo la descrizione di un compito, riflettendo sul problema, utilizzando strumenti digitali per scrivere e testare il codice, e ripetendo il processo finché il lavoro non è completato. Tuttavia, questa autonomia ha un prezzo. Ogni volta che l'IA pensa, legge o scrive, consuma risorse digitali misurate in "token", che sono le unità base di testo che il modello elabora. Questi token si traducono direttamente in denaro. Man mano che questi agenti diventano più comuni nei sistemi del mondo reale, gli ingegneri si trovano di fronte a una domanda pressante: quanto costerà lasciare che un'IA risolva un problema, e questo costo può essere controllato?
La risposta non è semplice come scegliere un modello di computer più economico. Studi recenti hanno dimostrato che anche quando un'IA riceve esattamente le stesse istruzioni, l'importo speso può variare enormemente da un tentativo all'altro. A volte, due esecuzioni identiche dello stesso compito possono differire nel costo di un fattore trenta. Questa imprevedibilità rende difficile la pianificazione del budget. Inoltre, mentre i ricercatori hanno esaminato le prestazioni di diversi modelli di IA, hanno ampiamente ignorato come il modo in cui un essere umano descrive il compito stesso modifichi il prezzo. Un ingegnere senior potrebbe scrivere una specifica dettagliata e strutturata per una correzione software, mentre un ingegnere junior potrebbe incollare un messaggio di errore grezzo. Queste diverse descrizioni portano a costi differenti, o l'IA compie comunque lo stesso lavoro indipendentemente da come viene formulata la richiesta?
Per scoprirlo, un ricercatore della Stanford University ha condotto un esperimento su larga scala utilizzando un modello di IA specifico noto come Kimi K3. Il team ha selezionato cinque compiti distinti di riparazione del software da una suite di test standard utilizzata dagli sviluppatori. Per ogni compito, hanno creato una grande varietà di istruzioni, che spaziavano da un documento completo e altamente strutturato contenente ogni possibile dettaglio, a una descrizione essenziale con quasi nessuna informazione. Hanno inoltre testato tre diversi livelli di "sforzo di pensiero", che controllano essenzialmente quanto l'IA cerchi di ragionare sul problema prima di agire. In totale, hanno eseguito il sistema 2.700 volte, tracciando attentamente quanto denaro è stato speso per ogni tentativo e quante volte l'agente ha dovuto rivolgersi al computer per portare a termine le operazioni.
I risultati hanno rivelato un modello chiaro e sorprendente. Il modo in cui un compito viene descritto ha un impatto enorme sul costo medio. Quando i ricercatori hanno ridotto una specifica completa e dettagliata a una semplice storia in linguaggio naturale di ciò che l'utente desidera, il costo per risolvere il problema è aumentato di quasi il trenta per cento. Questo è accaduto costantemente in ogni compito testato. Sembra che quando l'IA non riceve abbastanza dettagli specifici, debba spendere più tempo e denaro per individuare autonomamente le parti mancanti. Tuttavia, lo studio ha anche scoperto che le istruzioni non hanno cambiato l'imprevedibilità del costo. Indipendentemente dal fatto che il prompt fosse dettagliato o vago, la differenza tra un'esecuzione e l'altra rimaneva approssimativamente la stessa. Il costo di un singolo tentativo è intrinsecamente instabile, e l'unico modo per rendere più prevedibile il conto totale è rendere più economici i singoli tentativi.
Un'altra scoperta chiave riguarda il fatto che il livello di dettaglio nelle istruzioni conta di più quando l'IA ha un budget limitato per il pensiero. Quando l'IA è autorizzata a pensare profondamente ed estensivamente, la differenza di costo tra un prompt dettagliato e uno vago si riduce. Ciò suggerisce che se si dà all'IA abbastanza tempo per ragionare, essa può colmare le lacune di una descrizione scarsa da sola, ma se si limita il suo tempo di pensiero, un prompt chiaro e dettagliato diventa essenziale per risparmiare denaro. I ricercatori hanno anche scoperto che rimuovere sezioni specifiche di una descrizione del compito, come l'elenco dei casi limite o i criteri di successo, aveva un effetto minimo di per sé, ma rimuovere l'intera storia dell'utente o gli scenari di test causava un aumento drammatico dei costi.
Forse il risultato più pratico per chiunque utilizzi questi strumenti è un metodo per prevedere i costi su nuovi compiti. Il team ha dimostrato che non è necessario eseguire un compito decine di volte per sapere quanto costerà. Eseguendo un singolo test economico su un nuovo problema, potevano prevedere il costo di quello stesso problema sotto molti stili di istruzioni e impostazioni di pensiero con una ragionevole accuratezza. Senza questo singolo test, qualsiasi ipotesi sul costo di un nuovo compito era probabilmente errata di oltre il cento per cento. Con una sola piccola misurazione, l'errore è sceso a circa il trentasei per cento. Ciò significa che gli ingegneri possono valutare rapidamente l'impatto finanziario delle loro scelte senza sprecare risorse in estesi tentativi ed errori.
Lo studio conclude che, sebbene il comportamento dell'IA sia naturalmente imprevedibile, il costo del suo lavoro è fortemente influenzato da come gli esseri umani inquadrano la richiesta. Una descrizione del compito ben strutturata e dettagliata può ridurre significamente il denaro speso, specialmente quando l'IA non ha un tempo di pensiero illimitato. La ricerca suggerisce che il modo più efficace per gestire questi costi non è cercare di eliminare la casualità dell'IA, ma progettare attentamente le istruzioni del compito e utilizzare un singolo test a basso costo per calibrare le aspettative per i nuovi lavori. Man mano che questi agenti si integrano nel lavoro quotidiano, comprendere la relazione tra le parole che usiamo e il denaro che spendiamo sarà importante quanto il codice che scrivono.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.