Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
Este estudio de referencia prerregistrado demuestra que la redacción de los prompts y el diseño del entorno de ejecución inflan significativamente los costos de razonamiento de los grandes agentes de programación —a menudo de 2.4 a 30 veces— sin mejorar el éxito en las tareas, siendo instrucciones específicas como "desarrollar múltiples enfoques" y ciertas arquitecturas de entorno los principales impulsores de esta ineficiencia.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás contratando a un asistente robot superinteligente para arreglar una tostadora rota. No solo quieres que el robot la arregle; quieres que primero piense cómo arreglarla. En el mundo de la inteligencia artificial, estos pasos de "pensamiento" se llaman tokens de razonamiento. Al igual que un humano podría hacer anotaciones, tachar y probar diferentes ideas antes de resolver un rompecabezas, estos modelos de IA dedican tiempo y dinero a "deliberar" antes de darte una respuesta.
Pero aquí está el truco: pagas por cada pensamiento que tiene el robot, incluso por aquellos que descarta. Si le pides al robot que "piense muy duro" o que "pruebe cinco formas diferentes", es posible que lo haga exactamente así, consumiendo tu presupuesto sin arreglar la tostadora mejor de lo que lo habría hecho si solo le hubieras pedido que "arregle la tostadora". Este artículo explora un rincón extraño de la informática donde los investigadores actúan como detectives, tratando de descubrir qué palabras en tus instrucciones hacen que el robot desperdicie dinero y qué palabras lo mantienen con un presupuesto ajustado. No están simplemente adivinando; están realizando miles de experimentos controlados para ver exactamente cuánto cuestan las diferentes frases.
El Gran Experimento de los Prompts: Por qué tus palabras cuestan dinero
Imagina que tienes una flota de seis diferentes chefs robot superinteligentes. Quieres que escriban código (que es como una receta para una computadora) para resolver 24 desafíos culinarios específicos. Pero hay un giro: tienes que pagar por cada uno de los pensamientos que tengan mientras cocinan. Los investigadores querían saber: ¿Cambia la forma en que escribes tu orden la cantidad de veces que los chefs piensan, y ese pensamiento realmente ayuda a que el plato sepa mejor?
Para averiguarlo, establecieron un laboratorio de cocina masivo y súper organizado. No se limitaron a adivinar; escribieron sus reglas antes de empezar a cocinar (esto se llama "prerregistro", como escribir un menú antes de ir al supermercado). Utilizaron dos tipos diferentes de gerentes de cocina (llamados "harnesses") para hablar con los chefs: uno era un gerente directo y sin rodeos, y el otro era un gerente muy hablador y detallista que enviaba una enorme cantidad de información de trasfondo con cada orden.
Esto es lo que descubrieron después de realizar más de 4,600 sesiones de cocina:
1. La trampa del "Probar todo"
¿El mayor desperdicio de dinero? Decirle al robot: "desarrolla varios enfoques y compáralos".
Suena inteligente, ¿verdad? Como un buen chef que prueba tres salsas antes de elegir una. Pero para estos robots de IA, esta instrucción fue un desastre. Hizo que pensaran de 2.4 a 7.4 veces más de lo habitual. Y lo peor de todo: el plato final (el código) no fue mejor. Simplemente gastaron dinero extra pensando en opciones que nunca usaron. Es como pagarle a un chef para que escriba tres recetas diferentes para un sándwich, las pruebe todas y luego te sirva el mismo sándwich que habría hecho si solo le hubieras pedido "un sándwich".
2. Las palabras mágicas que no hacen nada
La gente suele decir "piensa paso a paso" o "piensa profundamente" para obtener mejores resultados. Los investigadores descubrieron que, para estos robots de programación, estas palabras mágicas de "pensamiento profundo" eran puro desperdicio. Hicieron que los robots pensaran de 1.6 a 2.2 veces más largo sin mejorar el resultado. Es como decirle a una calculadora que "piense muy duro" antes de sumar 2 + 2; la respuesta es la misma, pero pagaste por el tiempo de pensamiento extra.
3. El truco de la "Eficiencia Acotada"
Por el contrario, hubo una salsa secreta que ahorró dinero. Si le dabas al robot una caja estricta en la que trabajar —diciéndole exactamente cuál era el objetivo, cuáles eran las reglas y cuándo detenerse—, este en realidad pensaba menos. ¡Un robot incluso redujo su tiempo de pensamiento a la mitad! Esta plantilla de "eficiencia acotada" era gratuita y permitió que los robots fueran más rápidos y económicos sin alterar el código.
4. El gerente importa más que el chef
Uno de los hallazgos más sorprendentes fue que a quién contratas para gestionar al robot importa más que el propio robot.
Probaron el mismo robot con dos gerentes diferentes. Un gerente (PI.DEV) era eficiente. El otro (Claude Code) era como un microgestor que enviaba un "discurso introductorio" de 12 a 15 veces más grande con cada mensaje. Incluso cuando los robots resolvían el problema perfectamente, la versión del microgestor costaba de 5 a 30 veces más solo por la forma en que se manejaba la conversación. Resulta que el "gerente" (el software que envuelve a la IA) es a menudo la parte más grande de la factura, no la IA en sí.
5. La ilusión del "Descuento Oculto"
Los investigadores también analizaron cómo las empresas cobran por estos robots. Descubrieron que las empresas ahorran dinero automáticamente al recordar el "discurso introductorio" que envían cada vez. Esto ahorró aproximadamente el 61% de la factura. Pero los investigadores advirtieron: No llamen a esto "eficiencia". Es solo un descuento sobre el mismo trabajo de siempre. El robot no trabajó más rápido ni de forma más inteligente; la empresa simplemente no te cobró por las partes que recordaba.
6. Nuevos robots, mismos viejos trucos
Cuando se lanzó un robot nuevo y súper rápido (Kimi-K3), los investigadores lo probaron de inmediato. Aunque este nuevo robot era naturalmente más barato de ejecutar, las mismas malas instrucciones (como "probar múltiples enfoques") hicieron que desperdiciara dinero 15 veces más de lo habitual. La lección: no importa qué tan inteligente o barato sea el robot, las malas instrucciones siempre harán que gaste de más.
La conclusión
Este documento demuestra que cómo haces una pregunta cambia cuánto cuesta, incluso si la respuesta es la misma.
- No le digas al robot que "pruebe muchos enfoques" o "piense profundamente" a menos que realmente necesites que haga esas cosas.
- Sí dale límites claros y una condición de parada.
- Recuerda que el software que gestiona al robot podría estar costándote más que el propio robot.
Los investigadores hicieron públicos todos sus datos, código y recetas de prueba. Quieren que todo el mundo sepa que, en el mundo de los agentes de IA, menos teatro de pensamiento y más instrucciones claras es la mejor manera de ahorrar dinero y hacer el trabajo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.