Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
Este artículo investiga cómo las especificaciones de las tareas impactan el consumo de tokens en los flujos de trabajo de codificación agéntica, demostrando que los prompts excesivamente breves aumentan significativamente los costos al tiempo que introducen un método predictivo para estimar el gasto de tokens a través de diferentes configuraciones con alta precisión.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo moderno del desarrollo de software, ha surgido un nuevo tipo de trabajador: el agente de inteligencia artificial. A diferencia de un simple chatbot que responde a una única pregunta, estos agentes están diseñados para abordar tareas complejas y de múltiples pasos, como corregir un error en un programa informático o construir una nueva funcionalidad desde cero. Lo hacen leyendo la descripción de una tarea, reflexionando sobre el problema, utilizando herramientas digitales para escribir y probar código, y repitiendo el proceso hasta que el trabajo esté terminado. Sin embargo, esta autonomía tiene un precio. Cada vez que la IA piensa, lee o escribe, consume recursos digitales medidos en "tokens", que son las unidades básicas de texto que el modelo procesa. Estos tokens se traducen directamente en dinero. A medida que estos agentes se vuelven más comunes en los sistemas del mundo real, los ingenieros se enfrentan a una pregunta apremiante: ¿cuánto costará dejar que una IA resuelva un problema y se puede controlar ese coste?
La respuesta no es tan sencilla como elegir un modelo de computadora más barato. Estudios recientes han demostrado que, incluso cuando se le da a una IA las mismas instrucciones exactas, la cantidad que gasta puede variar drásticamente de un intento a otro. A veces, dos ejecuciones idénticas de la misma tarea pueden diferir en coste por un factor de treinta. Esta imprevisibilidad dificulta la elaboración de presupuestos. Además, mientras que los investigadores han analizado cómo se desempeñan diferentes modelos de IA, en gran medida han ignorado cómo la forma en que un humano describe la tarea cambia el precio. Un ingeniero sénior podría escribir una especificación detallada y estructurada para una corrección de software, mientras que un ingeniero júnior podría pegar un mensaje de error bruto. ¿Conducen estas diferentes descripciones a costes distintos, o la IA simplemente realiza la misma cantidad de trabajo independientemente de cómo se formule la solicitud?
Para averiguarlo, un investigador de la Universidad de Stanford llevó a cabo un experimento a gran escala utilizando un modelo de IA específico conocido como Kimi K3. El equipo seleccionó cinco tareas de reparación de software distintas de un conjunto de pruebas estándar utilizado por desarrolladores. Para cada tarea, crearon una amplia variedad de instrucciones, que iban desde un documento completo y altamente estructurado que contenía todos los detalles posibles, hasta una descripción mínima con casi ninguna información. También probaron tres niveles diferentes de "esfuerzo de pensamiento", que esencialmente controla cuánto se esfuerza la IA por razonar a través del problema antes de actuar. En total, ejecutaron el sistema 2.700 veces, rastreando cuidadosamente cuánto dinero se gastó en cada intento y cuántas veces el agente tuvo que recurrir al ordenador para realizar las tareas.
Los resultados revelaron un patrón claro y sorprendente. La forma en que se describe una tarea tiene un impacto masivo en el coste promedio. Cuando los investigadores redujeron una especificación completa y detallada a una historia simple de lenguaje común sobre lo que el usuario desea, el coste de resolver el problema aumentó casi un treinta por ciento. Esto ocurrió consistentemente en cada tarea probada. Parece que cuando la IA no recibe suficientes detalles específicos, tiene que dedicar más tiempo y dinero a averiguar las piezas faltantes por su cuenta. Sin embargo, el estudio también encontró que las instrucciones no cambiaban la imprevisibilidad del coste. Independientemente de si el prompt era detallado o vago, la diferencia entre una ejecución y la siguiente se mantenía aproximadamente igual. El coste de un solo intento es inherentemente inestable, y la única forma de hacer que la factura total sea más predecible es hacer que los intentos individuales sean más baratos.
Otro descubrimiento clave fue que el nivel de detalle en las instrucciones importa más cuando la IA tiene un presupuesto limitado para pensar. Cuando se le permite a la IA pensar profunda y extensamente, la diferencia de coste entre un prompt detallado y uno vago se reduce. Esto sugiere que si le das a la IA suficiente tiempo para razonar, puede llenar los vacíos de una descripción deficiente por su cuenta, pero si restringes su tiempo de pensamiento, un prompt claro y detallado resulta esencial para ahorrar dinero. Los investigadores también descubrieron que eliminar secciones específicas de la descripción de una tarea, como la lista de casos límite o los criterios de éxito, tenía un efecto pequeño por sí solo, pero eliminar la historia de usuario completa o los escenarios de prueba causaba un aumento dramático en el coste.
Quizás el hallazgo más práctico para cualquiera que utilice estas herramientas es un método para predecir costes en nuevas tareas. El equipo demostró que no es necesario ejecutar una tarea docenas de veces para saber cuánto costará. Al realizar una única prueba económica sobre un nuevo problema, podían predecir el coste de ese mismo problema bajo muchos estilos de instrucción y configuraciones de pensamiento con una precisión razonable. Sin esta única prueba, cualquier suposición sobre el coste de una nueva tarea probablemente tendría un error de más del cien por ciento. Con solo una pequeña medición, el error descendió a aproximadamente el treinta y seis por ciento. Esto significa que los ingenieros pueden evaluar rápidamente el impacto financiero de sus decisiones sin desperdiciar recursos en un extenso proceso de ensayo y error.
El estudio concluye que, si bien el comportamiento de la IA es naturalmente impredecible, el coste de su trabajo está fuertemente influenciado por cómo el humano plantea la solicitud. Una descripción de tarea bien estructurada y detallada puede reducir significativamente el dinero gastado, especialmente cuando la IA no tiene un tiempo ilimitado para pensar. La investigación sugiere que la forma más eficaz de gestionar estos costes no es intentar eliminar la aleatoriedad de la IA, sino diseñar las instrucciones de la tarea cuidadosamente y utilizar una única prueba de bajo coste para calibrar las expectativas para nuevos trabajos. A medida que estos agentes se integren en el trabajo diario, comprender la relación entre las palabras que usamos y el dinero que gastamos será tan importante como el código que escriben.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.