Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

Stellen Sie sich eine Welt vor, in der Ihre Videospielcharaktere, virtuellen Reiseleiter oder Metaverse-Freunde nicht nur einem Skript folgen wie ein Roboter, der ein Teleprompter abliest. Stattdessen sind sie im digitalen Sinne wirklich „lebendig“: Sie erinnern sich daran, was Sie ihnen gestern erzählt haben, sie verstehen Ihre Witze und sie können Entscheidungen im Handumdrehen treffen. Dies ist der Traum von „Embodied Virtual Agents“ (verkörperten virtuellen Agenten). Aber es gibt einen Haken. Um diese Charaktere intelligent zu machen, müssen sie ihre Gedanken normalerweise an massive, superstarke Computer in der Cloud senden. Das kostet Zeit, erzeugt Latenz und kann sich distanziert anfühlen.

Hier kommen zwei neue Helden ins Spiel: Small Language Models (SLMs) und Edge Computing. Betrachten Sie SLMs als ein brillantes, aber kompaktes Gehirn, das in Ihre Tasche passt und in der Lage ist, Sprache zu verstehen, ohne einen Supercomputer zu benötigen. Edge Computing ist wie das Verschieben dieses Gehirns von einem fernen Rechenzentrum direkt neben das Geschehen – vielleicht sogar direkt auf das Gerät, das Sie gerade benutzen. Die große Frage, die sich Wissenschaftler stellen, lautet: Können wir dieses „Taschengehirn“ direkt neben unsere virtuellen Freunde bringen, damit sie denken, sich erinnern und sofort handeln können, ohne darauf zu warten, dass ein Signal den weiten Weg von der Cloud und zurück zurücklegt? Dieses Paper taucht genau in dieses Thema ein und testet, ob diese kleineren, lokalen Gehirne klug genug sind, um die schwere Arbeit des Erinnerns und der Entscheidungsfindung für virtuelle Agenten zu bewältigen.

Das Gehirn und der Bibliothekar: Das Dilemma eines virtuellen Agenten

In der Welt der virtuellen Realität benötigt ein Agent zwei Hauptdinge, um sich echt anzufühlen: einen Think-Prozess (um zu entscheiden, was zu tun ist) und einen Memory-Prozess (um zu sich erinnern, wer Sie sind und worüber Sie gesprochen haben). Die Forscher hinter dieser Studie wollten sehen, ob sie eine „kognitive Engine“ für diese Agenten mit Small Language Models bauen können, die auf einem lokalen Gerät laufen, speziell auf einem leistungsstarken kleinen Computer namens NVIDIA Jetson Orin NX. Sie wollten nicht nur, dass der Agent chattet; sie wollten, dass er wie ein echter Assistent agiert, der Ihre Anfragen an den richtigen Dienst weiterleitet (wie etwa das Erstellen eines 3D-Modells oder das Abspielen eines Sounds) und ein fortlaufendes Tagebuch Ihrer Konversation führt.

Um dies zu testen, bauten sie ein System, bei dem das „Gehirn“ des Agenten ein Qwen2.5-Modell war. Sie probierten drei verschiedene Größen dieser „Gehirne“ aus: ein winziges mit 0,5 Milliarden Parametern, ein mittleres mit 1,5 Milliarden und ein größeres mit 3,0 Milliarden. Sie installierten sie alle auf dem Edge-Gerät und stellten sie vor eine Reihe von Herausforderungen, um zu sehen, wie gut sie denken und sich erinnern konnten.

Der „Think“-Test: Anfragen routen

Zuerst testeten sie den Think-Prozess. Stellen Sie sich vor, Sie sind in einer virtuellen Welt und sagen: „Ich brauche einen Soundeffekt für ein Drachengebrüll“ oder „Kannst du eine Textur für eine Burgmauer generieren?“ Der Agent muss sofort herausfinden, welches Werkzeug er benutzen soll. Es ist wie ein Rezeptionist in einem belebten Hotel, der die Gäste zum richtigen Raum leiten muss: dem Spa, dem Fitnessstudio oder dem Restaurant.

Die Ergebnisse zeigten einen klaren Kompromiss zwischen Geschwindigkeit und Intelligenz. Das winzige 0,5B-Modell war schnell, verirrte sich aber oft. Es traf die richtige Antwort nur etwa 29,4 % der Zeit. Es verwechselte häufig ähnliche Anfragen, wie etwa „Bild-zu-3D-Generierung“ mit „Konversationsgenerator“. Es war wie ein Rezeptionist, der ständig alle ins Fitnessstudio schickt, weil er vergessen hat, wo die anderen Räume sind.

Das 1,5B-Modell war eine enorme Verbesserung und lag in 85,4 % der Fälle richtig. Es konnte die meisten Anfragen gut handhaben, geriet aber bei komplexen 3D-Aufgaben noch etwas ins Straucheln. Das 3,0B-Modell war das intelligenteste und erreichte eine Genauigkeit von 87,7 %, insbesondere bei schwierigen Generierungsaufgaben. Doch klüger zu sein, hatte seinen Preis: Das 3,0B-Modell brauchte viel länger, um zu denken. Seine durchschnittliche Antwortzeit betrug 5.067 Millisekunden (etwa 5 Sekunden), verglichen mit 3.349 Millisekunden (etwa 3,3 Sekunden) beim 1,5B-Modell. Das winzige 0,5B-Modell war mit 1.504 Millisekunden am schnellsten, aber es war zu unzuverlässig, um nützlich zu sein.

Der „Memory“-Test: Die Details im Blick

Als Nächstes testeten sie den Memory-Prozess. Dies ist vergleichbar mit der Frage an den Agenten, ob er sich an ein Detail erinnert, das Sie zuvor erwähnt haben, oder ob er einen Fakt aktualisieren kann, falls Sie Ihre Meinung geändert haben. Wenn Sie zum Beispiel sagen: „Mein Charakter heißt Alex“, und später sagen: „Eigentlich heißt mein Name Alex der Tapfere“, muss der Agent die Aktualisierung speichern und darf nicht verwirrt sein.

Hier waren die Unterschiede noch deutlicher. Das 0,5B-Modell konnte Fakten in 72,8 % der Fälle korrekt abrufen, war aber furchtbar darin, Korrekturen zu verarbeiten. Es erinnerte sich oft an die richtige Person, aber an das falsche Detail, oder es bemerkte nicht, dass Sie Ihre Meinung geändert hatten. Es war wie ein Freund, der sich zwar an Ihren Namen erinnert, aber ständig vergisst, dass Sie sich gerade die Haare geschnitten haben.

Das 1,5B-Modell schnitt besser ab und lieferte in 78,4 % der Fälle die richtigen Antworten. Es war gut bei einfachen Fakten, hatte aber immer noch Schwierigkeiten mit komplexen Aktualisierungen oder der Unterscheidung zwischen ähnlichen Erinnerungen. Das 3,0B-Modell war der klare Gewinner und erreichte eine Genauigkeit von 93,6 %. Es konnte Fakten, Aktualisierungen und Korrekturen zuverlässig handhaben. Doch genau wie beim Denktest ging diese hohe Genauigkeit mit einem schweren Geschwindigkeitsverlust einher. Das 3,0B-Modell benötigte im Durchschnitt 9.693 Millisekunden (fast 10 Sekunden), um eine Speicheranfrage zu verarbeiten, wobei einige Anfragen in extremen Fällen bis zu 14.531 Millisekunden (über 14 Sekunden) dauerten. Das 0,5B-Modell war mit 2.025 Millisekunden viel schneller, aber seine schlechte Genauigkeit machte es zu einer schlechten Wahl für alles Ernsthafte.

Das Urteil: Es kommt auf den Job an

Was haben die Forscher also herausgefunden? Sie entdeckten, dass Small Language Models die „Think“- und „Memory“-Teile eines virtuellen Agenten-Gehirns teilweise direkt am Edge unterstützen können, ohne die Cloud zu benötigen. Aber es gibt keine einzelne „perfekte“ Größe.

Wenn Sie Geschwindigkeit benötigen und einige Fehler tolerieren können, sind die kleineren Modelle schneller, aber unzuverlässig. Wenn Sie eine hohe Genauigkeit beim Erinnern von Details oder beim Treffen komplexer Entscheidungen benötigen, sind die größeren Modelle viel besser, aber sie sind langsam. Das Paper legt nahe, dass die beste Lösung ein hybrider Ansatz sein könnte: ein kleineres, schnelleres Modell für schnelle, einfache Aufgaben (wie das Routen einer Anfrage) und ein größeres, intelligenteres Modell für die schwere Arbeit (wie das Erinnern an komplexe Verläufe oder das Verarbeiten von Korrekturen).

Die Studie kommt zu dem Schluss, dass wir zwar näher daran sind, virtuelle Agenten zu besitzen, die lokal denken und sich erinnern können, aber wir haben noch Arbeit vor uns. Die aktuellen Modelle sind für Echtzeit-Interaktionen etwas zu langsam und werden manchmal bei der Wahl der Aktion verwirrt. Aber dies ist ein vielversprechender erster Schritt, der zeigt, dass wir mit der richtigen Mischung aus Modellgrößen und sorgfältigem Design damit beginnen können, virtuelle Freunde zu erschaffen, die nicht nur schön anzusehen sind, sondern auch wirklich intelligent genug, um mit uns im Metaverse abzuhängen.