Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

Immaginate un mondo in cui i computer possono scrivere codice per riparare software difettosi, ma assumerli è incredibilmente costoso. Pensate a questi "programmatori AI" come a una squadra di detective d'élite: ci sono delle superstar che possono risolvere quasi ogni mistero, ma che si fanno pagare una fortuna all'ora. Altri sono detective intelligenti e capaci, che costano una frazione del prezzo, ma potrebbero perdere gli indizi più sottili. Per molto tempo, la grande domanda in questo campo è stata: "Come facciamo a sapere quale detective assumere per un caso specifico?" La maggior parte delle persone ha cercato di indovinare leggendo semplicemente la descrizione del problema (il "testo del bug"), sperando di prevedere se il detective economico sarebbe stato sufficiente o se fosse necessario chiamare la superstar costosa.

Ma ecco l'inghippo: leggere la descrizione del problema è come cercare di risolvere un crimine guardando solo il rapporto di polizia senza mai visitare la scena del crimine. Il documento che state per leggere esplora un'idea più intelligente: e se inviassimo prima un piccolo e poco costoso esploratore sulla scena del crimine? Questo esploratore non cerca di risolvere l'intero mistero; deve solo dare un'occhiata in giro, trovare le parti rotte e scrivere un rapporto rapido e verificato. Poi, un manager usa quel rapporto per decidere quale detective assumere. Questo approccio, chiamato "scouting", suggerisce che conoscere il contesto del problema è molto più prezioso che limitarsi a indovinare basandosi solo sul titolo del problema.

---

La storia di SuperScout: Il detective che esplora prima

Incontra SuperScout, un nuovo sistema progettato per riparare bug del software senza mandare in rovina il budget. Il team dietro di esso ha capito che il vecchio modo di assumere programmatori AI era inefficiente. Di solito, un router (un decisore) guarda un rapporto di bug e sceglie immediatamente un modello. Ma gli autori hanno scoperto qualcosa di sorprendente: se si osservano i risultati delle riparazioni passate, i modelli "superstar" risolvono quasi tutto ciò che i modelli più economici possono risolvere, più qualche cosa in più. Ciò significa che cercare di fare il routing per l'accuratezza (scegliere il modello perfetto per ottenere il maggior numero di riparazioni) è una strada senza uscita; non si può davvero battere l'opzione di assumere sempre il modello più costoso.

Così, il team ha ribaltato la situazione. Inve Instead di cercare la perfezione, hanno deciso di essere consapevoli dei costi. Il loro obiettivo non era risolvere più problemi del miglior modello, ma risolvere lo stesso numero di problemi per una frazione minima del prezzo.

L'opera in tre atti: Scout, Verifica e Dispatch

Il sistema SuperScout funziona come una catena di montaggio in tre fasi:

1. Lo Scout (SuperScout-7B): Per prima cosa, un piccolo modello AI da 7 miliardi di parametri (pensate a un tirocinante junior) viene inviato nel repository del software. Il suo compito non è riparare il bug, ma esplorare il codice, trovare i file specifici coinvolti e provare a scrivere un test che dimostri l'esistenza del bug. Produce un "handoff" (una consegna): una nota strutturata contenente i file sospetti, un test di riproduzione e alcune note investigative.
2. Il Cancello di Sicurezza (Verify-then-Strip): Ecco il trucco magico. Le note del tirocinante non vengono accettate ciecamente. Prima che il detective principale veda le loro note, una "sandbox" (una stanza di test sicura e isolata) esegue il test di riproduzione del tirocinante. Se il test non riesce effettivamente a rompere il codice (il che significa che il tirocinante stava allucinando o sbagliava), quel particolare elemento viene rimosso e scartato. Solo i fatti verificati e veri arrivano alla fase successiva.
3. Il Router del Curriculum: Infine, un manager guarda il compito e le "pensieri nascosti" del tirocinante (gli stati interni dei dati del modello scout) per decidere quale "esperto di riparazioni" assumere. Il pool di esperti include quattro diversi modelli AI all'avanguardia, che vanno dai più economici ai più costosi. Il router sceglie il più economico che ritiene possa gestire il lavoro. Se l'esploratore non ha trovato nulla, l'esperto lavora partendo dal rapporto di bug originale.

La Grande Rivelazione: L'Handoff fa il lavoro pesante

Quando il team ha testato SuperScout su 266 bug reali di software Python (una sfida massiccia nota come SWE-bench Pro), i risultati sono stati scioccanti.

• Il Punteggio: SuperScout ha risolto 159 dei 266 compiti.
• La Competizione: Il singolo miglior modello, il più costoso (Claude Opus 4.6), ha risolto 158 dei 266 compiti.
• Il Costo: SuperScout ha ottenuto questo risultato per circa $0,23 per soluzione, mentre il modello singolo costoso è costato $1,27 per soluzione. Si tratta di circa un quinto del costo!

La scoperta più affascinante, tuttavia, non riguardava il processo decisionale del router. Quando i ricercatori hanno rimosso completamente il router e hanno inviato ogni compito al modello più economico (Kimi K2.5) con l'handoff verificato dell'esploratore, questo ha risolto 159 compiti, esattamente lo stesso numero del sistema SuperScout completo.

Ciò suggerisce che l'handoff verificato è il vero eroe. L'atto di esplorare il repository e fornire un rapporto verificato ha elevato le prestazioni dei modelli più economici a un livello tale da poter eguagliare quelli costosi. La decisione del router in sé non ha aggiunto molta magia; ha solo garantito che i modelli economici ricevessero l'handoff.

Perché questo è importante (e cosa non è)

Il documento esclude esplicitamente alcune cose:

• Il routing per l'accuratezza è un fallimento: Non si può davvero migliorare il numero di compiti risolti cambiando modello basandosi solo sul testo del problema; il modello migliore vince comunque.
• Il testo dell'handoff non è per il router: Sorprendentemente, fornire il testo del rapporto del tirocinante al router lo ha reso peggiore. Il router funziona meglio utilizzando gli "stati nascosti" (l'attività cerebrale interna) dello scout piuttosto che le note scritte. Le note sono per l'esperto, non per il manager.
• Non è una bacchetta magica per tutto: Il sistema è stato testato su un set specifico di 266 compiti Python. Sebbene il modello scout abbia dimostrato di poter funzionare su linguaggi per i quali non è mai stato addestrato, le prestazioni del sistema completo su altri benchmark non sono ancora state testate.

Gli autori sottolineano che questa non è una soluzione definitiva per sempre. I risultati sono specifici per questo set di compiti e per gli attuali modelli. Tuttavia, il meccanismo è robusto: inviando uno scout per verificare i fatti prima di assumere un esperto, è possibile ridistribuire la capacità di risoluzione. L'handoff eleva i modelli più economici, rendendoli quasi capaci quanto quelli costosi, mentre il costo dello scout è trascurabile (meno di mezzo centesimo per compito).

In breve, SuperScout ci insegna che nel mondo della programmazione AI, il contesto è fondamentale. Non cercare di indovinare chi assumere basandoti solo sulla descrizione del lavoro; invia prima uno scout sulla scena, verifica ciò che trova e poi lascia che il lavoratore più economico e capace faccia il lavoro. È un modo più intelligente e meno costoso di costruire software, dimostrando che a volte, il modo migliore per risparmiare è fare un po' di ricerca preventiva.