Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

Immaginate un mondo in cui i vostri personaggi dei videogiochi, le vostre guide turistiche virtuali o i vostri amici nel Metaverso non si limitano a seguire uno script come un robot che legge da un teleprompter. Invece, sono veramente "vivi" in senso digitale: ricordano ciò che avete detto ieri, comprendono le vostre battute e possono prendere decisioni sul momento. Questo è il sogno degli "Agenti Virtuali Incarnati" (Embodied Virtual Agents). Ma c'è un problema. Per rendere questi personaggi intelligenti, di solito devono inviare i loro pensieri a enormi e potentissimi computer nel cloud. Questo richiede tempo, crea ritardi (lag) e può dare una sensazione di disconnessione.

Entrano in scena due nuovi eroi: i Modelli di Linguaggio Piccoli (Small Language Models - SLM) e l'Edge Computing. Pensate agli SLM come a un cervello brillante ma compatto che sta in tasca, capace di comprendere il linguaggio senza bisogno di un supercomputer. L'Edge Computing è come spostare quel cervello da un remoto data center proprio accanto all'azione — forse anche direttamente sul dispositivo che state utilizzando. La grande domanda che gli scienziati si pongono è: possiamo mettere questo "cervello da tasca" proprio accanto ai nostri amici virtuali in modo che possano pensare, ricordare e agire istantaneamente, senza aspettare che un segnale viaggi fino al cloud e torni indietro? Questo articolo approfondisce esattamente questo, testando se questi cervelli più piccoli e locali siano abbastanza intelligenti da gestire il lavoro pesante della memoria e del processo decisionale per gli agenti virtuali.

Il Cervello e il Bibliotecario: Il Dilemma di un Agente Virtuale

Nel mondo della realtà virtuale, un agente ha bisogno di due cose principali per sembrare reale: un processo di "Pensiero" (per decidere cosa fare) e un processo di "Memoria" (per ricordare chi siete e di cosa avete parlato). I ricercatori dietro questo studio volevano vedere se potevano costruire un "motore cognitivo" per questi agenti utilizzando Modelli di Linguaggio Piccoli che girano su un dispositivo locale, nello specifico un piccolo ma potente computer chiamato NVIDIA Jetson Orin NX. Non volevano solo che l'agente chiacchierasse; volevano che agisse come un vero assistente capace di indirizzare le vostre richieste al servizio corretto (come generare un modello 3D o riprodurre un suono) e di tenere un diario costante della vostra conversazione.

Per testare questo, hanno costruito un sistema in cui il "cervello" dell'agente era un modello Qwen2.5. Hanno provato tre diverse dimensioni di questi "cervelli": uno minuscolo con 0,5 miliardi di parametri, uno medio con 1,5 miliardi e uno più grande con 3,0 miliardi. Li hanno inseriti tutti sul dispositivo edge e li hanno sottoposti a una serie di sfide per vedere quanto bene potessero pensare e ricordare.

Il Test del "Pensiero": Instradare le Richieste

Per prima cosa, hanno testato il processo di "Pensiero". Immaginate di essere in un mondo virtuale e di dire: "Ho bisogno di un effetto sonoro di un ruggito di drago" oppure "Puoi generare una texture per una parete di un castello?". L'agente deve capire istantaneamente quale strumento utilizzare. È come un receptionist in un hotel affollato che deve dirigere gli ospiti verso la stanza giusta: la spa, la palestra o il ristorante.

I risultati hanno mostrato un chiaro compromesso tra velocità e intelligenza. Il modello minuscolo da 0,5B era veloce ma spesso si perdeva. Otteneva la risposta corretta solo circa il 29,4% delle volte. Confondeva frequentemente richieste simili, come mescolare "generazione da immagine a 3D" con "generatore conversazionale". Era come un receptionist che continua a mandare tutti in palestra perché ha dimenticato dove si trovano le altre stanze.

Il modello da 1,5B è stato un enorme miglioramento, ottenendo l'resposta corretta l'85,4% delle volte. Poteva gestire bene la maggior parte delle richieste, anche se inciampava ancora un po' nei compiti 3D complessi. Il modello da 3,0B era il più intelligente, raggiungendo un'accuratezza dell'87,7%, specialmente nei compiti di generazione più difficili. Tuttavia, essere più intelligenti aveva un prezzo: il modello da 3,0B impiegava molto più tempo per pensare. Il suo tempo di risposta medio era di 5.067 millisecondi (circa 5 secondi), rispetto ai 3.349 millisecondi (circa 3,3 secondi) del modello da 1,5B. Il minuscolo modello da 0,5B era il più veloce, con 1.504 millisecondi, ma era troppo inaffidabile per essere utile.

Il Test della "Memoria": Ricordare i Dettagli

Successivamente, hanno testato il processo di "Memoria". Questo è come chiedere all'agente di ricordare un dettaglio specifico che avete menzionato in precedenza, o di aggiornare un fatto se avete cambiato idea. Ad esempio, se dite: "Il nome del mio personaggio è Alex", e in seguito dite: "In realtà, il mio nome è Alex il Coraggioso", l'agente deve ricordare l'aggiornamento e non confondersi.

In questo caso, le differenze sono state ancora più marcate. Il modello da 0,5B riusciva a ricordare i fatti correttamente il 72,8% delle volte, ma era terribile nel gestire le correzioni. Spesso ricordava la persona giusta ma il dettaglio sbagliato, o non si rendeva conto che avevate cambiato idea. Era come un amico che ricorda il vostro nome ma continua a dimenticare che vi siete appena tagliati i capelli.

Il modello da 1,5B è andato meglio, ottenendo la risposta corretta nel 78,4% dei casi. Era bravo con i fatti semplici, ma faticava ancora con gli aggiornamenti complessi o con la distinzione tra memorie simili. Il modello da 3,0B è stato il vincitore assoluto, raggiungendo un'accuratezza del 93,6%. Poteva gestire in modo affidabile fatti, aggiornamenti e correzioni. Tuttavia, proprio come nel test del pensiero, questa alta accuratezza è arrivata con una pesante penalità in termini di velocità. Il modello da 3,0B ha impiegato in media 9.693 millisecondi (quasi 10 secondi) per elaborare una richiesta di memoria, con alcuni casi che hanno raggiunto i 14.531 millisecondi (oltre 14 secondi) nei momenti peggiori. Il modello da 0,5B era molto più veloce, con 2.025 millisecondi, ma la sua scarsa accuratezza lo rendeva una cattiva scelta per qualsiasi cosa seria.

Il Verdetto: Dipende dal Lavoro

Quindi, cosa hanno scoperto i ricercatori? Hanno scoperto che i Modelli di Linguaggio Piccoli possono alimentare parzialmente le parti di "Pensiero" e "Memoria" di un agente virtuale direttamente sull'edge, senza bisogno del cloud. Ma non esiste una dimensione "perfetta" unica.

Se avete bisogno di velocità e potete tollerare qualche errore, i modelli più piccoli sono più veloci ma inaffidabili. Se avete bisogno di alta precisione per ricordare dettagli o prendere decisioni complesse, i modelli più grandi sono molto migliori, ma sono lenti. Il documento suggerisce che la soluzione migliore potrebbe essere un approccio ibrido: utilizzare un modello più piccolo e veloce per compiti rapidi e semplici (come l'instradamento di una richiesta) e un modello più grande e intelligente per i lavori pesanti (come ricordare la cronologia complessa o gestire le correzioni).

Lo studio conclude che, sebbene siamo più vicini ad avere agenti virtuali capaci di pensare e ricordare localmente, abbiamo ancora molto lavoro da fare. Gli attuali modelli sono un po' lenti per interazioni istantanee e in tempo reale, e a volte si confondono su quale azione intraprendere. Ma questo è un primo passo promettente, che dimostra come, con il giusto mix di dimensioni dei modelli e una progettazione accurata, possiamo iniziare a costruire amici virtuali che non siano solo belli da vedere, ma veramente abbastanza intelligenti da stare con noi nel Metaverso.