Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

ビデオゲームのキャラクターやバーチャルツアーガイド、あるいはメタバースの友人が、単にテレプロンプターを読み上げるロボットのように台本に従っているだけの世界を想像してみてください。その代わりに、彼らがデジタル的な意味で真に「生きている」としたらどうでしょう。彼らは昨日あなたが言ったことを覚え、あなたのジョークを理解し、即座に判断を下すことができるのです。これが「エンボディド・バーチャル・エージェント（身体性を持つ仮想エージェント）」の夢です。しかし、そこには落とし穴があります。これらのキャラクターを賢くするためには、通常、彼らの思考をクラウド上の巨大で超強力なコンピューターに送る必要があります。これには時間がかかり、ラグが発生し、繋がりが断絶しているように感じさせてしまいます。

ここで、二人の新しいヒーローが登場します。「小型言語モデル（SLM）」と「エッジコンピューティング」です。SLMを、スーパーコンピューターを必要とせずに言語を理解できる、ポケットに収まるほどコンパクトだが極めて優秀な「脳」だと考えてください。エッジコンピューティングは、その脳を遠く離れたデータセンターから、アクションのすぐ隣、おそらくはあなたが使用しているデバイスへと移動させるようなものです。科学者たちが問いかけている大きな疑問は、この「ポケットサイズの脳」を仮想的な友人のすぐそばに配置することで、信号がクラウドまで行って戻ってくるのを待つことなく、彼らが即座に考え、記憶し、行動することができるようになるのか？ ということです。この論文では、まさにその点について、これらの小さなローカルな脳が、仮想エージェントの記憶や意思決定という重労働をこなすのに十分な知能を持っているかどうかを検証しています。

脳と司書：バーチャルエージェントのジレンマ

バーチャルリアリティの世界において、エージェントがリアルに感じられるためには、主に2つの要素が必要です。それは、「思考（Think）」プロセス（何をするかを決めるため）と、「記憶（Memory）」プロセス（あなたが誰であるか、何を話したかを覚えているため）です。この研究の背後にいる研究者たちは、ローカルデバイス、具体的にはNVIDIA Jetson Orin NXと呼ばれる強力な小型コンピューター上で動作する小型言語モデルを使用して、これらのエージェントのための「認知エンジン」を構築できるかどうかを調べたいと考えました。彼らは単にエージェントにチャットをさせたいのではなく、あなたのリクエストを適切なサービス（3Dモデルの生成やサウンドの再生など）へとルーティングできる、真の助手として機能させたいと考えていました。

これをテストするために、彼らはエージェントの「脳」をQwen2.5モデルとしたシステムを構築しました。彼らはこれら「脳」のサイズを、0.5B（5億パラメータ）、1.5B（15億パラメータ）、3.0B（30億パラメータ）という3つの異なるサイズで試しました。彼らはこれらをすべてエッジデバイスに搭載し、それらがどれほど思考し、記憶できるかを判断するために一連の課題を与えました。

「思考」テスト：リクエストのルーティング

まず、彼らは「思考」プロセスをテストしました。想像してみてください、あなたはバーチャルな世界にいて、「ドラゴンの咆哮の音響効果が必要だ」とか「城壁のテクスチャを生成できる？」と言ったとします。エージェントは、どのツールを使うべきかを即座に判断しなければなりません。それは、忙しいホテルの受付係が、ゲストをスパ、ジム、レストランといった正しい部屋へと案内しなければならない状況に似ています。

結果は、スピードと賢さの間の明確なトレードオフを示しました。極小の0.5Bモデルは高速でしたが、しばしば迷走しました。正解を得られたのはわずか**29.4%**でした。それは「画像から3Dへの生成」と「会話生成」を混同するなど、似たようなリクエストを頻繁に間違えました。それは、他の部屋の場所を忘れてしまい、全員をジムへ送ってしまう受付係のようなものでした。

1.5Bモデルは大幅に改善され、85.4%の確率で正解を得ました。ほとんどのリクエストをうまく処理できましたが、複雑な3Dタスクでは依然として躓くことがありました。3.0Bモデルは最も賢く、特にトリッキーな生成タスクにおいて87.7%の精度を達成しました。しかし、賢くなることには代償が伴いました。3.0Bモデルは考えるのにずっと長い時間がかかりました。その平均応答時間は5,067ミリ秒（約5秒）であり、1.5Bモデルの3,349ミリ秒（約3.3秒）と比較して長くなりました。極小の0.5Bモデルは1,504ミリ秒と最も速かったものの、信頼性に欠けるため役に立ちませんでした。

「記憶」テスト：詳細を覚える

次に、彼らは「記憶」プロセスをテストしました。これは、エージェントに以前言及した特定の詳細を思い出させたり、もしあなたが考えを変えた場合に事実を更新させたりすることに似ています。例えば、「私のキャラクターの名前はアレックスです」と言い、後に「実は、私の名前は勇敢なアレックスです」と言った場合、エージェントはその更新を記憶し、混乱しない必要があります。

ここでは、差はさらに顕著になりました。0.5Bモデルは事実を**72.8%**の確率で正しく想起できましたが、修正の処理には全く及びませんでした。人物は正しく覚えていても詳細を間違えたり、あなたが考えを変えたことに気づかなかったりすることがよくありました。それは、名前は覚えているけれど、あなたが髪型を変えたことだけはすぐに忘れてしまう友人のようなものでした。

1.5Bモデルはより優れた結果を出し、78.4%の回答を正解させました。単純な事実については良好でしたが、複雑な更新や、似たような記憶の区別には依然として苦戦しました。3.0Bモデルは明確な勝者であり、93.6%の精度を達成しました。事実、更新、そして修正を確実に扱うことができました。しかし、思考テストと同様に、この高い精度には深刻なスピードのペナルティが伴いました。3.0Bモデルは記憶のリクエストを処理するのに平均9,693ミリ秒（約10秒）かかり、最悪の場合には14,531ミリ秒（14秒以上）かかることもありました。0.5Bモデルは2,025ミリ秒と非常に高速でしたが、その精度の低さゆえに、真剣な用途には不向きな選択肢でした。

判定：仕事による

では、研究者たちは何を発見したのでしょうか？ 彼らは、小型言語モデルが、クラウドを必要とせずに、エッジ上でバーチャルエージェントの「思考」と「記憶」の部分を部分的に駆動できることを発見しました。しかし、「完璧な」サイズというものは存在しません。

スピードが必要で、多少のミスを許容できるのであれば、より小さなモデルの方が高速ですが信頼性に欠けます。もし詳細を記憶したり複雑な決定を下したりするための高い精度が必要であれば、より大きなモデルの方がはるかに優れていますが、速度は遅くなります。論文は、最適な解決策はハイブリッドなアプローチである可能性を示唆しています。つまり、クイックで単純なタスク（リクエストのルーティングなど）には小さくて高速なモデルを使用し、重い作業（複雑な履歴の保持や修正の処理など）には大きくて賢いモデルを使用するという方法です。

この研究は、私たちはバーチャルエージェントをローカルで思考・記憶させることに近づいているものの、まだやるべきことは残されていると結論付けています。現在のモデルは、リアルタイムで即時的なやり取りを行うには少し遅く、取るべき行動について混乱することもあります。しかし、これは有望な第一歩です。適切なモデルサイズの組み合わせと注意深い設計があれば、単に見た目が美しいだけでなく、メタバースで私たちと一緒に過ごすのに十分なほど真に賢いバーチャルな友人を構築し始めることができるということを示しています。