Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering
Este artículo analiza los patrones de consumo de tokens en sistemas de ingeniería de software basados en agentes múltiples con LLM, revelando que la etapa iterativa de revisión de código y los tokens de entrada dominan el uso de recursos, destacando así que los costos principales residen en el refinamiento y la verificación automatizados más que en la generación inicial de código.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que contratas a un equipo de robots de IA para que construyan un software para ti. Podrías pensar que la parte más cara del trabajo es la "construcción" propiamente dicha (escribir el código). Sin embargo, este artículo sugiere que eso es como pensar que la parte más cara de construir una casa es colocar los ladrillos, cuando en realidad, el coste proviene de las interminables reuniones donde el equipo discute sobre si el color de la pintura es el adecuado.
Aquí hay un desglose sencillo de lo que los investigadores descubrieron:
La gran idea: "Tokenomics"
Los autores inventaron una nueva palabra, "Tokenomics", para describir la "economía" de la IA. Así como un equipo humano gasta dinero en salarios y café, los equipos de IA gastan "tokens" (la moneda que la IA usa para pensar y hablar). Cada vez que la IA lee un prompt o escribe una línea de código, cuesta tokens. Los investigadores querían responder una pregunta simple: ¿A dónde va exactamente este dinero?
El experimento: Una fábrica de software virtual
Para averiguarlo, los investigadores configuraron una empresa de software virtual llamada ChatDev. Le dieron a este equipo de IA 30 trabajos diferentes, que iban desde problemas matemáticos simples hasta la construcción de un juego de ajedrez. Utilizaron un modelo de IA muy inteligente (GPT-5) para potenciar al equipo.
Observaron al equipo de IA trabajar paso a paso, rastreando cada uno de los tokens que utilizó, y mapearon esos pasos con las etapas reales del software:
- Diseño: Planificar qué construir.
- Codificación: Escribir el primer borrador.
- Revisión de código: Comprobar el trabajo y corregir errores.
- Pruebas: Romperlo para ver si funciona.
- Documentación: Escribir el manual.
Los resultados sorprendentes
1. La "Revisión de código" es el pozo sin fondo de dinero
Podrías esperar que la fase de "Codificación" fuera la más cara. No lo es.
- La analogía: Imagina un equipo de construcción. El acto de martillear los clavos (Codificación) es rápido y barato. Pero, ¿la parte en la que el capataz y el arquitecto caminan por la obra, señalando la misma pared, discutiendo, reescribiendo los planos y comprobando las medidas una y otra vez? Eso es la Revisión de código.
- El hallazgo: Los investigadores descubrieron que el 59,4% de todos los tokens (dinero) se gastaron solo en esta fase de "Revisión de código". Los agentes de IA estaban constantemente hablando entre sí para refinar y corregir el código, lo cual era increíblemente caro.
2. El impuesto de "Escuchar"
Los tokens de la IA se dividen en tres tipos: Input (lo que la IA lee), Output (lo que la IA escribe) y Reasoning (lo que la IA piensa).
- La analogía: Imagina a un grupo de personas intentando resolver un rompecabezas. Pasan 2 minutos leyendo las instrucciones y mirando las piezas (Input), pero solo 1 minuto colocando las piezas (Output).
- El hallazgo: La IA pasó el 53,9% de su tiempo simplemente leyendo el contexto (Input). Los investigadores llaman a esto el "Impuesto de comunicación". Debido a que los agentes hablan entre sí en un bucle, siguen pasando todo el contenido de la conversación y el código de un lado a otro. Están gastando la mayor parte de su presupuesto simplemente repitiendo lo que ya saben, en lugar de crear algo nuevo.
3. Diferentes trabajos, diferentes costes
- Codificación: Esta fue en realidad la parte más barata. Fue "pesada en Output", lo que significa que la IA estaba ocupada escribiendo cosas nuevas.
- Documentación y Revisión: Fueron "pesadas en Input". La IA tuvo que leer grandes cantidades de código existente para escribir un pequeño resumen o encontrar un pequeño error.
La conclusión final
El artículo concluye que el alto coste de usar IA para desarrollar software no se debe a que la IA sea mala escribiendo código. Es porque los equipos de IA son ineficientes al hablar entre sí.
Gastan la gran mayoría de sus recursos en un bucle de comprobación y re-comprobación del trabajo (Revisión de código) y de re-lectura del mismo contexto (Input). Los investigadores sugieren que, si queremos que el desarrollo de software con IA sea más barato y rápido, no debemos centrarnos en hacer que la IA escriba código más rápido; debemos centrarnos en hacer que el equipo de IA deje de discutir y de re-leer tanto.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.