Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

Stel je een wereld voor waarin je videogame-personages, virtuele gidsen of Metaverse-vrienden niet alleen een script volgen als een robot die een tekst van een teleprompter afleest. In plaats daarvan zijn ze echt "levend" in digitale zin: ze onthouden wat je gisteren tegen hen hebt gezegd, ze begrijpen je grappen en ze kunnen ter plekke beslissingen nemen. Dit is de droom van "Embodied Virtual Agents" (belichaamde virtuele agenten). Maar er is een addertje onder het gras. Om deze personages slim te maken, moeten ze hun gedachten meestal naar enorme, superkrachtige computers in de cloud sturen. Dit kost tijd, creëert vertraging en kan ongeconnecteerd aanvoelen.

Maak kennis met twee nieuwe helden: Small Language Models (SLM's) en Edge Computing. Zie SLM's als een briljant maar compact brein dat in je broekzak past en in staat is taal te begrijpen zonder een supercomputer nodig te hebben. Edge Computing is als het verplaatsen van dat brein van een verre datacenter direct naast de actie—misschien zelfs op het apparaat dat je gebruikt. De grote vraag die wetenschappers stellen is: Kunnen we dit "broekzakbrein" direct naast onze virtuele vrienden plaatsen zodat ze kunnen denken, onthouden en handelen zonder te wachten tot een signaal helemaal van en naar de cloud moet reizen? Dit artikel duikt precies in dat onderwerp door te testen of deze kleinere, lokale breinen slim genoeg zijn om het zware werk van geheugen en besluitvorming voor virtuele agenten te dragen.

Het Brein en de Bibliothecaris: Het Dilemma van een Virtuele Agent

In de wereld van virtual reality heeft een agent twee hoofdzaken nodig om echt aan te voelen: een Think-proces (om te beslissen wat te doen) en een Memory-proces (om te onthouden wie je bent en waar jullie het over hebben gehad). De onderzoekers achter deze studie wilden zien of ze een "cognitieve motor" voor deze agenten konden bou�---bouwen met behulp van Small Language Models die draaien op een lokaal apparaat, specifiek een krachtige kleine computer genaamd de NVIDIA Jetson Orin NX. Ze wilden niet alleen dat de agent kon chatten; ze wilden dat hij handelde als een echte assistent die je verzoeken naar de juiste dienst kon routeren (zoals het genereren van een 3D-model of het afspelen van een geluid) en een voortlopend dagboek van je gesprek bijhield.

Om dit te testen, bouwden ze een systeem waarbij het "brein" van de agent een Qwen2.5-model was. Ze probeerden drie verschillende groottes van deze "hersenen": een piepkleine met 0,5 miljard parameters, een middelgrote met 1,5 miljard, en een grotere met 3,0 miljard. Ze plaatsten ze allemaal op het edge-apparaat en gaven ze een reeks uitdagingen om te zien hoe goed ze konden denken en onthouden.

De "Think"-test: Verzoeken routeren

Eerst testten ze het Think-proces. Stel je voor dat je in een virtuele wereld bent en je zegt: "Ik heb een geluidseffect nodig voor een drakenbrul" of "Kun je een textuur genereren voor een kasteelmuur?" De agent moet direct uitzoeken welk hulpmiddel hij moet gebruiken. Het is als een receptionist in een druk hotel die gasten naar de juiste kamer moet sturen: de spa, de sportschool of het restaurant.

De resultaten toonden een duidelijke afruil tussen snelheid en intelligentie. Het piepkleine 0,5B-model was snel, maar raakte vaak de weg kwijt. Het kreeg het slechts in 29,4% van de gevallen goed. Het haalde vergelijkbare verzoeken vaak door elkaar, zoals het verwarren van "image to 3D generation" met "conversational generator". Het was als een receptionist die iedereen naar de sportschool stuurt omdat hij vergeten is waar de andere kamers zijn.

Het 1,5B-model was een enorme verbetering en kreeg het in 85,4% van de gevallen goed. Het kon de meeste verzoeken goed afhandelen, hoewel het nog steeds struikelde over complexe 3D-taken. Het 3,0B-model was het slimst en behaalde een nauwkeurigheid van 87,7%, vooral bij lastige generatietaken. Echter, slimmer zijn kwam met een prijs: het 3,0B-model deed er veel langer over om na te denken. De gemiddelde responstijd was 5.067 milliseconden (ongeveer 5 seconden), vergeleken met 3.349 milliseconden (ongeveer 3,3 seconden) voor het 1,5B-model. Het piepkleine 0,5B-model was het snelst met 1.504 milliseconden, maar het was te onbetrouwbaar om nuttig te zijn.

De "Memory"-test: De details onthouden

Vervolgens testten ze het Memory-proces. Dit is alsof je de agent vraagt om een specifiek detail te herinneren dat je eerder hebt genoemd, of om een feit bij te werken als je van gedachten bent veranderd. Bijvoorbeeld, als je zegt: "Mijn personage heet Alex," en later zegt: "Eigenlijk is mijn naam Alex de Dappere," dan moet de agent de update onthouden en niet in de war raken.

Hier waren de verschillen nog sterker. Het 0,5B-model onthield feiten correct in 72,8% van de gevallen, maar was verschrikkelijk in het afhandelen van correcties. Het onthield vaak de juiste persoon, maar het verkeerde detail, of het realiseerde zich niet dat je van gedachten was veranderd. Het was als een vriend die je naam onthoudt, maar steeds vergeet dat je net een nieuw kapsel hebt.

Het 1,5B-model deed het beter en kreeg 78,4% van de antwoorden goed. Het was goed in eenvoudige feiten, maar had nog steeds moeite met complexe updates of het onderscheiden van soortgelijke herinneringen. Het 3,0B-model was de duidelijke winnaar en behaalde een nauwkeurigheid van 93,6%. Het kon betrouwbaar omgaan met feiten, updates en correcties. Echter, net als bij de denktest, kwam deze hoge nauwkeurigheid met een zware snelheidspenalty. Het 3,0B-model deed er gemiddeld 9.693 milliseconden (bijna 10 seconden) over om een geheugenverzoek te verwerken, waarbij sommige verzoeken tot wel 14.531 milliseconden (meer dan 14 seconden) duurden in de slechtste gevallen. Het 0,5B-model was veel sneller met 2.025 milliseconden, maar de slechte nauwkeurigheid maakte het een slechte keuze voor alles wat serieus is.

Het eindoordeel: Het hangt af van de taak

Dus, wat hebben de onderzoekers ontdekt? Ze ontdekten dat Small Language Models deels de "Think" en "Memory" delen van het brein van een virtuele agent lokaal op de edge kunnen aandrijven, zonder de cloud nodig te hebben. Maar er is geen enkele "perfecte" grootte.

Als je snelheid nodig hebt en enkele fouten kunt tolereren, zijn de kleinere modellen sneller maar onbetrouwbaar. Als je een hoge nauwkeurigheid nodig hebt voor het onthouden van details of het maken van complexe beslissingen, zijn de grotere modellen veel beter, maar ze zijn traag. Het artikel suggereert dat de beste oplossing een hybride aanpak zou kunnen zijn: het gebruik van een kleiner, sneller model voor snelle, eenvoudige taken (zoals het routeren van een verzoek) en een groter, slimmer model voor het zware werk (zoals het onthouden van een complexe geschiedenis of het afhandelen van correcties).

De studie concludeert dat hoewel we dichter bij het hebben van virtuele agenten komen die lokaal kunnen denken en onthouden, we nog werk aan de winkel hebben. De huidige modellen zijn een beetje traag voor real-time, directe interacties en ze raken soms in de war over welke actie ze moeten ondernemen. Maar dit is een veelbelovende eerste stap, die laat zien dat we met de juiste mix van modelgroottes en zorgvuldig ontwerp kunnen beginnen met het bouwen van virtuele vrienden die niet alleen mooi zijn om naar te kijken, maar ook echt slim genoeg zijn om met ons rond te hangen in de Metaverse.