StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

Nel mondo dell'informatica moderna, esiste una classe crescente di programmi intelligenti noti come agenti. Questi non sono semplici strumenti che seguono un singolo comando; sono sistemi progettati per ragionare, analizzare le informazioni e intraprendere azioni per risolvere problemi complessi, proprio come farebbe un dipendente umano. Per funzionare, questi agenti si affidano a due parti distinte. La prima è il cervello, un modello linguistico di grandi dimensioni che fornisce il ragionamento e la conoscenza. Il secondo è l'imbracatura (harness), che funge da mani, occhi e orecchie dell'agente. L'imbracatura definisce come l'agente vede il mondo, quali strumenti può utilizzare e come controlla il proprio lavoro. Per anni, gli scienziati si sono concentrati quasi esclusivamente sul rendere il cervello più grande e più intelligente. Tuttavia, nella realtà disordinata e regolata da norme degli ambienti aziendali, un cervello brillante può comunque fallire se le sue mani sono goffe o se non comprende le regole specifiche dell'ufficio in cui sta lavorando. Ciò solleva una questione pratica: se non possiamo cambiare il cervello, possiamo migliorare le mani e le regole per far sì che l'agente funzioni meglio?

Un team di ricercatori di ServiceNow, insieme a collaboratori di istituzioni accademiche, ha deciso di rispondere a questa domanda con un nuovo framework chiamato StarHarness. Si sono concentrati su una sfida specifica presente negli ambienti enterprise, dove il software deve gestire elementi come sistemi IT, flussi di lavoro finanziari e record del servizio clienti. In questi ambienti, il software deve interagire con database e strumenti che hanno regole rigide, spesso nascoste. I ricercatori volevano vedere se fosse possibile migliorare automaticamente l'imbracatura dell'agente senza mai toccare il cervello sottostante. Hanno trattato l'imbracatura come un pezzo di codice che poteva essere evoluto, o migliorato, attraverso un processo di tentativi ed errori. L'obiettivo era trovare un modo migliore affinché l'agente strutturasse i suoi compiti, utilizzasse i suoi strumenti e verificasse i suoi risultati, il tutto mantenendo i pesi interni del modello completamente congelati.

Per testare la loro idea, i ricercatori hanno creato un sistema in grado di cercare miglioramenti in modo controllato. Hanno iniziato eseguendo l'agente su un grande insieme di compiti per vedere dove solitamente falliva. Hanno poi suddiviso questi compiti in tre gruppi. Un gruppo è stato utilizzato per proporre modifiche, un altro è stato tenuto nascosto per testare se le modifiche funzionassero effettivamente, e un terzo gruppo è stato conservato per un controllo finale imparziale. Il sistema suggeriva una piccola modifica all'imbracatura, come correggere il modo in cui veniva chiamato uno strumento o aggiungere una regola per prevenire un errore comune. Successivamente, testava questa modifica sul gruppo nascosto. Se la modifica rendeva l'agente più performante, il sistema la manteneva; altrimenti, la scartava. Questo processo si ripeteva, permettendo all'imbracatura di evolversi lentamente in una versione più capace di se stessa. I ricercatori hanno utilizzato questo metodo in tre diversi tipi di sfide aziendali: l'analisi dei guasti delle reti informatiche, la gestione delle richieste di assistenza IT e la gestione dei flussi di lavoro finanziari.

I risultati sono stati sorprendenti. Dopo che il sistema ha apportato solo un piccolo numero di modifiche accettate — tipicamente tra quattro e dodici aggiustamenti per ambiente — le prestazioni dell'agente sono aumentate significatamente. In tutti i benchmark, le prestazioni sul benchmark completo sono migliorate di 20–35 punti percentuali rispetto all'imbracatura predefinita. Nello specifico, il tasso di successo è migliorato del 35% nei compiti di analisi di rete, è salito del 20% nei test di gestione dei servizi IT e si è alzato del 26% nei flussi di lavoro finanziari. Fondamentalmente, questi miglioramenti non sono stati il risultato della memorizzazione dei problemi specifici incontrati durante l'addestramento. Quando i ricercatori hanno testato l'imbracatura evoluta su nuovi compiti mai visti, l'agente ha comunque performato molto meglio di prima. Ancora più sorprendente, i miglioramenti si sono trasferiti ad altri tipi di modelli AI. Un'imbracatura evoluta utilizzando una specifica famiglia di modelli funzionava altrettanto bene quando veniva fornita a una famiglia di modelli completamente diversa, senza necessità di ulteriore addestramento o regolazione.

I ricercatori hanno analizzato le modifiche per capire cosa avesse effettivamente imparato il sistema. Hanno scoperto che i miglioramenti rientravano in tre chiare categorie. Primo, il sistema ha riparato le interfacce tra l'agente e i suoi strumenti, correggendo gli errori che causavano chiamate errate agli strumenti. Secondo, ha appreso le convenzioni nascoste dell'ambiente, come l'ordine specifico in cui devono essere prese certe fasi o come gestire correttamente date e priorità. Terzo, ha compresso il processo di ricerca aggiungendo conoscenze operative, permettendo all'agente di saltare passaggi non necessari e concentrarsi sulle cause più probabili di un problema. Ad esempio, nei compiti finanziari, l'imbracatura evoluta ha imparato a controllare le violazioni della sicurezza prima di apportare qualsiasi modifica, il che ha ridotto drasticamente il numero di errori. Nei compiti di analisi di rete, l'agente ha imparato a interrompere la ricerca una volta trovata una causa probabile, invece di sprecare tempo cercando ulteriori prove non necessarie.

Queste scoperte suggeriscono che, per molte applicazioni aziendali del mondo reale, la barriera principale al successo non è l'intelligenza del modello, ma il design del sistema che lo guida. Evolvendo l'imbracatura, i ricercatori sono stati in grado di ridurre il numero di diagnosi errate, accorciare il tempo necessario per completare i compiti e abbassare il costo di gestione dell'agente. Lo studio dimostra che un cervello fisso e immutabile può diventare notevolmente più efficace quando i suoi strumenti e le sue regole circostanti sono accuratamente calibrati sullo specifico ambiente in cui opera. Ciò offre una via pratica per le organizzazioni che necessitano di agenti AI affidabili oggi, senza dover attendere lo sviluppo della prossima generazione di modelli più grandi. Il lavoro mostra che, a volte, l'aggiornamento più potente non è una nuova mente, ma un modo migliore di lavorare.