Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering
Questo articolo analizza i modelli di consumo di token nei sistemi di ingegneria del software basati su multi-agente e LLM, rivelando che la fase iterativa di revisione del codice e i token di input dominano l'uso delle risorse, evidenziando così che i costi primari risiedono nel raffinamento e nella verifica automatizzati piuttosto che nella generazione iniziale del codice.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di assumere un team di robot AI per costruire un software per te. Potresti pensare che la parte più costosa del lavoro sia l'effettiva "costruzione" (scrivere il codice). Tuttavia, questo articolo suggerisce che sia come pensare che la parte più costosa della costruzione di una casa sia posare i mattoni, quando in realtà il costo deriva dalle infinite riunioni in cui il team discute se il colore della vernice sia quello giusto.
Ecco una semplice scomposizione di ciò che i ricercatori hanno scoperto:
L'Idea Centrale: "Tokenomics"
Gli autori hanno inventato una nuova parola, "Tokenomics", per descrivere l'economia dell'IA. Proprio come un team umano consuma denaro in stipendi e caffè, i team di IA consumano "token" (la valuta che l'IA usa per pensare e parlare). Ogni volta che l'IA legge un prompt o scrive una riga di codice, costa dei token. I ricercatori volevano rispondere a una domanda semplice: Dove va esattamente questo denaro?
L'Esperimento: Una Fabbrica di Software Virtuale
Per scoprirlo, i ricercatori hanno creato una società di software virtuale chiamata ChatDev. Hanno dato a questo team di IA 30 lavori diversi, che andavano da semplici problemi matematici alla costruzione di un gioco di scacchi. Hanno usato un modello di IA molto intelligente (GPT-5) per alimentare il team.
Hanno osservato il team di IA lavorare passo dopo passo, tracciando ogni singolo token utilizzato e mappando quei passaggi sulle fasi reali del software:
- Design: Pianificare cosa costruire.
- Coding: Scrivere la prima bozza.
- Code Review: Controllare il lavoro e correggere gli errori.
- Testing: Romperlo per vedere se funziona.
- Documentation: Scrivere il manuale.
I Risultati Sorprendenti
1. La "Code Review" è il Pozzo Senza Fondo
Potresti aspettarti che la fase di "Coding" sia la più costosa. Non lo è.
- L'Analogia: Immagina un cantiere edile. Il vero martellare i chiodi (Coding) è veloce ed economico. Ma la parte in cui il capocantiere e l'architetto girano intorno al sito, indicando lo stesso muro, discutendo, riscrivendo i piani e controllando ripetutamente le misure? Quella è la Code Review.
- Il Risultato: I ricercatori hanno scoperto che il 59,4% di tutti i token (denaro) è stato speso proprio nella fase di "Code Review". Gli agenti IA continuavano a parlare tra loro per perfezionare e correare il codice, il che era incredibilmente costoso.
2. La Tassa dell' "Ascolto"
I token dell'IA sono divisi in tre tipi: Input (ciò che l'IA legge), Output (ciò che l'IA scrive) e Reasoning (ciò che l'IA pensa).
- L'Analogia: Immagina un gruppo di persone che cerca di risolvere un puzzle. Passano 2 minuti a leggere le istruzioni e a guardare i pezzi (Input), ma solo 1 minuto ad accostare effettivamente i pezzi (Output).
- Il Risultato: L'IA ha passato il 53,9% del suo tempo solo a leggere il contesto (Input). I ricercatori chiamano questo la "Tassa di Comunicazione". Poiché gli agenti parlano tra loro in un ciclo, continuano a passare l'intero discorso e il codice avanti e indietro. Stanno spendendo la maggior parte del loro budget solo per ripetere ciò che già sanno, invece di creare qualcosa di nuovo.
3. Lavori Diversi, Costi Diversi
- Coding: Era in realtà la parte più economica. Era "ricca di Output", il che significa che l'IA era impegnata a scrivere cose nuove.
- Documentation & Review: Erano "ricche di Input". L'IA doveva leggere enormi quantità di codice esistente per scrivere un piccolo riassunto o trovare un piccolo bug.
Conclusione
L'articolo conclude che l'alto costo dell'uso dell'IA per costruire software non è dovuto al fatto che l'IA sia scarsa nello scrivere codice. È perché i team di IA sono inefficienti nel comunicare tra loro.
Consumano la stragrande maggioranza delle loro risorse in un ciclo di controllo e ricontrollo del lavoro (Code Review) e di rilettura del contesto (Input). I ricercatori suggeriscono che, se vogliamo rendere lo sviluppo di software tramite IA più economico e veloce, non dovremmo concentrarci sul rendere l'IA più veloce a scrivere codice; dovremmo concentrarci sul far sì che il team di IA smetta di discutere e di rileggere così tanto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.