Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
Questo articolo introduce Risa, un metodo di scaling al tempo di test per agenti software che sfrutta le tracce del router MoE nativo per guidare l'esplorazione diversificata e selezionare le soluzioni finali attraverso l'accordo in punti decisionali chiave, ottenendo tassi di risoluzione migliorati su SWE-bench Verified senza richiedere giudici esterni o il confronto delle stringhe di risposta.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo dell'intelligenza artificiale, esiste una classe crescente di programmi progettati per agire come ingegneri del software. Questi agenti non si limitano a rispondere a domande; navigano in complessi ambienti digitali, leggono codice, eseguono test e scrivono correzioni per riparare software guasti. Per risolvere un problema difficile, un agente deve spesso compiere una lunga catena di decisioni, provando diversi strumenti e comandi finché non trova una soluzione. Poiché questi compiti sono così complessi, i ricercatori hanno scoperto che fornire all'agente maggiore potenza di calcolo per provare molti percorsi diversi contemporaneamente porta spesso a risultati migliori. Tuttavia, sorge un nuovo problema quando l'agente prova molti percorsi: come si sceglie la singola soluzione migliore da una folla di candidati? A differenza di un semplice problema matematico dove esiste un'unica risposta chiara, una correzione software può apparire in molti modi diversi, rendendo difficile capire quale versione sia veramente la migliore senza eseguirla effettivamente in un sistema reale, il che è lento e costoso.
Un team di ricercatori dell'Università di Fudan e dello Shanghai Innovation Institute ha sviluppato un nuovo modo per risolvere questo problema di selezione ascoltando il "processo di pensiero" interno dell'IA stessa, piuttosto che aspettare l'output finale. Si sono concentrati su un tipo specifico di architettura IA noto come sparse mixture-of-experts. In questi modelli, ogni volta che l'IA genera una parola, un piccolo router interno decide quali sottoreti specializzate, o "esperti", debbano svolgere il lavoro. Questo router lascia una traccia, un registro di quali esperti sono stati scelti e di quanto abbiano contribuito. I ricercatori si sono resi conto che questa traccia funge da impronta digitale unica del comportamento dell'IA. Anche se due soluzioni diverse appaiono completamente differenti in superficie, il percorso interno che l'IA ha seguito per crearle potrebbe rivelare se sta esplorando nuovi territori o convergendo su una risposta solida.
I ricercatori hanno costruito un sistema che chiamano Risa, che utilizza queste impronte digitali interne per guidare il viaggio dell'agente. Quando l'agente si trova nelle fasi iniziali della risoluzione di un problema, Risa lo incoraggia a continuare l'esplorazione. Lo fa controllando la storia recente dell'agente; se l'IA sta per compiere un passo che sembra troppo simile a quello che ha appena fatto, il sistema la indirizza verso un'azione diversa e più originale. Ciò evita che l'agente rimanga bloccato in un ciclo di ripetizione degli stessi errori. Tuttavia, una volta che l'agente inizia a scrivere una patch — un insieme di modifiche per riparare il codice — la strategia cambia. In questa fase, il sistema cerca l'accordo tra i diversi candidati. Se diversi tentativi, che sono partiti da punti differenti, arrivano tutti a una struttura interna simile per la loro correzione, il sistema interpreta questo come un segnale forte che la soluzione è corretta.
Per testare questa idea, il team ha eseguito esperimenti su un benchmark standard chiamato SWE-bench Verified, che contiene centinaia di compiti reali di riparazione del software. Hanno utilizzato diversi modelli di IA e hanno lasciato che tentassero i compiti più volte. In un set di test, hanno confrontato il loro nuovo metodo guidato dal routing con un approccio semplice in cui la scelta finale viene fatta casualmente. I risultati hanno mostrato un netto miglioramento. Utilizzando il sistema di routing, il tasso di successo degli agenti nel riparare il software è passato da circa il 45 percento a oltre il 48 percento. Questo potrebbe sembrare un numero piccolo, ma nel mondo della riparazione automatizzata del software, dove ogni punto percentuale rappresenta un progresso significativo, è un guadagno rilevante. Il sistema ha funzionato così bene da eguagliare le prestazioni di metodi che si basano sul confronto del testo effettivo delle soluzioni, ma senza la necessità di eseguire il codice o utilizzare un giudice separato per verificare la risposta.
Lo studio ha anche scoperto che l'informazione più utile non risiedeva nell'intera cronologia dell'output dell'IA, ma in momenti decisivi specifici. Quando l'IA doveva scegliere tra diverse vie plausibili per scrivere una riga di codice, quelle scelte specifiche lasciavano un segno distinto sulla traccia di routing interna. Concentrandosi solo su questi punti decisionali critici, il sistema poteva distinguere tra un colpo di fortuna e una soluzione ben ragionata. Questo approccio ha funzionato attraverso diversi tipi di modelli di IA, suggerendo che la traccia di routing interna è un segnale affidabile che può essere utilizzato per coordinare compiti complessi. I ricercatori hanno concluso che prestando attenzione a come l'IA alloca le sue risorse interne, piuttosto che a ciò che dice, possiamo costruire agenti che siano migliori nell'esplorare, più coerenti quando si impegnano in una soluzione e, in definitiva, più efficaci nel risolvere problemi difficili.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.