FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management

Nel mondo ad alta posta in gioco della gestione degli investimenti, il successo dipende da qualcosa di più del semplice avere una buona idea su quali azioni comprare. Richiede un processo rigoroso e passo dopo passo di raccolta di dati precisi, l'esecuzione di calcoli complessi e l'adesione a regole ferree che governano il modo in cui il denaro può essere spostato. Immaginate un analista finanziario che deve esaminare un portafoglio di trenta diverse società, calcolare come potrebbero reagire a un improvviso crollo del mercato e poi riorganizzare i titoli detenuti per rimanere entro i limiti legali, il tutto utilizzando solo le informazioni disponibili in un giorno specifico del passato. Questa è la realtà quotidiana per i professionisti umani, ma è una nuova frontiera per l'intelligenza artificiale. Sebbene i moderni sistemi di IA siano eccellenti nello scrivere testi e rispondere a domande generali, spesso faticano quando viene chiesto loro di eseguire questi compiti esatti e disciplinati. Potrebbero comprendere il concetto di rischio, ma frequentemente falliscono nell'eseguire i passaggi matematici specifici necessari per misurarlo accuratamente o nel seguire le istruzioni dettagliate necessarie per ribilanciare un portafoglio senza errori.

Un team di ricercatori ha creato un nuovo modo per testare se gli agenti di IA possano davvero gestire questo tipo di lavoro. Hanno costruito un campo di prova specializzato chiamato FinSkillBench, che presenta agli agenti di IA 2.603 scenari di investimento distinti. Questi scenari coprono tre aree principali: la costruzione di un portafoglio di azioni, la gestione dei rischi associati a tali azioni e l'analisi della salute finanziaria di singole società. I ricercatori non si sono limitati a chiedere all'IA di indovinare la risposta; hanno fornito un termine specifico, un insieme di dati grezzi e un obiettivo chiaro, per poi verificare il risultato rispetto a una soluzione corretta nota, generata da un software finanziario standard. L'obiettivo era vedere se l'IA potesse agire come un analista professionista, recuperando i dati giusti al momento giusto e utilizzando gli strumenti corretti per portare a termine il lavoro.

Lo studio ha testato tre diversi modi per aiutare l'IA. Nel primo scenario, l'IA doveva risolvere i problemi interamente da sola, senza alcun aiuto. Nel secondo, i ricercatori hanno fornito all'IA un set "curato" di strumenti e guide scritte. Questi non erano semplici documenti casuali; erano istruzioni e script informatici preparati con cura che mostravano all'IA esattamente come eseguire i calcoli necessari e come utilizzare correttamente gli strumenti disponibili. Nel terzo scenario, all'IA è stato chiesto di scrivere le proprie istruzioni e i propri strumenti per se stessa prima di tentare il compito, cercando essenzialmente di insegnarsi da sola come svolgere il lavoro al volo.

I risultati sono stati chiari e decisivi. Quando l'IA riceveva le guide e gli strumenti pre-esistenti scritti da esseri umani, le sue prestazioni miglioravano drasticamente. In tutti i test, il punteggio medio di questi agenti di IA è passato da circa il 37 percento al 53 percento. Il miglioramento è stato più significativo nei compiti che richiedevano un pesante lavoro di calcolo, come la costruzione di un portafoglio ottimale o l'identificazione di rischi nascosti. In queste aree, l'IA con gli strumenti curati è stata in grado di risolvere problemi che precedentemente non era in grado di risolvere affatto. I ricercatori hanno scoperto che avere accesso a queste procedure affidabili e passo dopo passo era importante quanto la scelta del modello di IA stesso. Un modello di IA potente senza gli strumenti giusti spesso falliva, mentre un modello capace con gli strumenti giusti aveva successo.

Al contrario, l'idea che l'IA potesse insegnare a se stessa sul momento non ha funzionato. Quando gli agenti erano costretti a scrivere le proprie guide e i propri strumenti prima di risolvere i problemi, le loro prestazioni sono cambiate appena. Hanno trascorso molto tempo e potenza di calcolo scrivendo queste istruzioni, ma le istruzioni che hanno creato erano spesso difettose o incomplete. Lo studio ha dimostrato che in un unico tentativo, un'IA non può inventare in modo affidabile le procedure complesse e precise necessarie per l'analisi finanziaria. Non basta che l'IA sappia come scrivere codice; deve ricevere codice che sia già stato testato e verificato. I ricercatori hanno eseguito gli stessi test utilizzando un sistema di IA diverso per assicurarsi che le loro scoperte non fossero solo un caso fortuito di una specifica configurazione. Il secondo sistema ha prodotto lo stesso schema: gli strumenti pre-fatti aiutavano, e gli strumenti creati autonomamente no.

Questo lavoro suggerisce che, affinché l'IA sia utile in settori seri come la finanza, non possiamo fare affidamento sui modelli affinché capiscano le regole del gioco man mano che procedono. Invece, dobbiamo costruire sistemi in cui l'IA abbia accesso a metodi affidabili e verificati dall'uomo per svolgere il lavoro difficile. Lo studio conclude che il futuro dell'IA nella gestione degli investimenti non risiede solo in modelli più intelligenti, ma in sistemi meglio progettati che combinano tali modelli con competenze affidabili e riutilizzabili. I ricercatori hanno messo i loro test e strumenti a disposizione di altri, sperando di far progredire il campo concentrandosi su come gli agenti di IA possano essere dotati delle risorse giuste per risolvere problemi del mondo reale.