Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

Imagina un mundo donde las computadoras pueden escribir código para reparar software averiado, pero contratarlas es increíblemente caro. Piensa en estos "codificadores de IA" como un equipo de detectives de élite: algunos son superestrellas que pueden resolver casi cualquier misterio, pero cobran una fortuna por hora. Otros son detectives capaces e inteligentes que cuestan una fracción del precio, pero podrían pasar por alto las pistas más complicadas. Durante mucho tiempo, la gran pregunta en este campo fue: "¿Cómo sabemos qué detective contratar para un caso específico?". La mayoría de la gente intentaba adivinar basándose solo en la descripción del problema (el "texto del problema/issue text"), esperando predecir si el detective barato sería suficiente o si necesitaban llamar a la superestrella costosa.

Pero aquí está el truco: leer la descripción del problema es como intentar resolver un crimen mirando únicamente el informe policial sin haber visitado nunca la escena del crimen. El artículo que estás a punto de leer explora una idea más inteligente: ¿qué pasaría si enviamos primero a un explorador pequeño y barato a la escena del crimen? Este explorador no intenta resolver todo el misterio; solo observa alrededor, encuentra las partes averiadas y escribe un informe rápido y verificado. Luego, un gerente utiliza ese informe para decidir qué detective contratar. Este enfoque, llamado "scrouting" (exploración), sugiere que conocer el contexto del problema es mucho más valioso que simplemente adivinar basándose en el título del problema.

---

La historia de SuperScout: El detective que explora primero

Conoce a SuperScout, un nuevo sistema diseñado para reparar errores de software sin romper el banco. El equipo detrás de él se dio cuenta de que la forma antigua de contratar codificadores de IA era ineficiente. Normalmente, un enrutador (un tomador de decisiones) observa un reporte de error e inmediatamente elige un modelo. Pero los autores descubrieron algo sorprendente: si observas los resultados de las reparaciones de software pasadas, los modelos "superestrella" resuelven casi todo lo que los modelos más económicos pueden resolver, además de algunas cosas más. Esto significa que intentar enrutar para la precisión (elegir el modelo perfecto para obtener la mayor cantidad de reparaciones) es un callejón sin salida; no puedes realmente superar el hecho de contratar siempre al modelo más caro.

Así que el equipo cambió el guion. En lugar de intentar ser perfectos, decidieron ser conscientes del costo. Su objetivo no era resolver más problemas que el mejor modelo, sino resolver el mismo número de problemas por una fracción mínima del precio.

La obra en tres actos: Explorar, Verificar y Despachar

El sistema SuperScout funciona como una línea de ensamblaje de tres pasos:

1. El Explorador (SuperScout-7B): Primero, un modelo de IA pequeño de 7 mil millones de parámetros (piensa en él como un pasante junior) es enviado al repositorio de software. Su trabajo no es reparar el error, sino explorar el código, encontrar los archivos específicos involucrados e intentar escribir una prueba que demuestre que el error existe. Produce un "handoff" (entrega): una nota estructurada que contiene los archivos sospechosos, una prueba de reproducción y algunas notas de detective.
2. La Puerta de Seguridad (Verificar-luego-Eliminar): Aquí está el truco de magia. Las notas del pasante no se aceptan ciegamente. Antes de que el detective principal vea sus notas, un "sandbox" (una habitación de pruebas segura y aislada) ejecuta la prueba de reproducción del pasante. Si la prueba no logra romper realmente el código (lo que significa que el pasante estaba alucinando o estaba equivocado), esa afirmación es eliminada y descartada. Solo los hechos verificados y verdaderos pasan al siguiente paso.
3. El Enrutador de Currículums: Finalmente, un gerente observa la tarea y los "pensamientos ocultos" del pasante (los estados de datos internos del modelo del explorador) para decidir qué "reparador" contratar. El grupo de reparadores incluye cuatro modelos de IA de vanguardia, que van desde lo económico hasta lo costoso. El enrutador elige al más barato que crea que puede manejar el trabajo. Si el explorador no encontró nada, el reparador trabaja simplemente con el reporte de error original.

La gran revelación: El "handoff" hace el trabajo pesado

Cuando el equipo probó SuperScout en 266 errores de software del mundo real (un desafío masivo conocido como SWE-bench Pro), los resultados fueron impactantes.

• La puntuación: SuperScout resolvió 159 de 266 tareas.
• La competencia: El modelo individual más caro y mejor (Claude Opus 4.6) resolvió 158 de 266 tareas.
• El costo: SuperScout logró este resultado por aproximadamente $0.23 por solución, mientras que el modelo solitario costoso costó $1.27 por solución. ¡Eso es aproximadamente una quinta parte del costo!

El descubrimiento más fascinante, sin embargo, no fue sobre la toma de decisiones del enrutador. Cuando los investigadores eliminaron el enrutador por completo y enviaron cada tarea al modelo más barato (Kimi K2.5) con el "handoff" verificado del explorador, este resolvió 159 tareas, exactamente el mismo número que el sistema completo de SuperScout.

Esto sugiere que el handoff verificado es el verdadero héroo. El acto de explorar el repositorio y proporcionar un informe verificado elevó el rendimiento de los modelos más económicos a tal nivel que pudieron igualar a los más caros. La decisión de enrutamiento en sí no añadió mucha magia; solo aseguró que los modelos baratos recibieran el handoff.

Por qué esto importa (y qué no es)

El artículo descarta explícitamente algunas cosas:

• Enrutar para la precisión es un fracaso: No puedes realmente mejorar el número de tareas resueltas cambiando de modelo basándote solo en el texto del problema; el mejor modelo simplemente gana de todos modos.
• El texto del handoff no es para el enrutador: Curiosamente, alimentar al enrutador con el texto del informe del pasante en realidad lo hizo peor. El enrutador funciona mejor utilizando los "estados ocultos" (la actividad cerebral interna) del explorador en lugar de las notas escritas. Las notas son para el reparador, no para el gerente.
• No es una solución mágica para todo: El sistema fue probado en un conjunto específico de 266 tareas de Python. Aunque el modelo explorador mostró que podía funcionar en lenguajes para los que nunca fue entrenado, el rendimiento del sistema completo en otros benchmarks aún no ha sido probado.

Los autores advierten cuidadosamente que esto no es un problema "resuelto" para siempre. Los resultados son específicos para este conjunto de tareas y los modelos actuales. Sin embargo, el mecanismo es robusto: al enviar un pequeño explorador para verificar los hechos antes de contratar a un reparador, puedes redistribuir el poder de resolución. El handoff eleva a los modelos más económicos, haciéndolos casi tan buenos como los más caros, mientras que el costo del explorador es insignificante (menos de medio centavo por tarea).

En resumen, SuperScout nos enseña que en el mundo de la codificación por IA, el contexto es el rey. No intentes adivinar a quién contratar basándote en la descripción del trabajo; envía primero a un explorador a la escena, verifica lo que encuentre y luego deja que el trabajador más capaz y económico haga el trabajo. Es una forma más inteligente y barata de construir software, demostando que, a veces, la mejor manera de ahorrar dinero es hacer un poco de tarea primero.