AnovaX: A Local, Multi-Agent Voice Assistant with LLM Planning, Typed Executors, and Adaptive Recovery
本論文は、LLMプランナー、タイピングツールエージェント、および適応型リカバリを通じてデスクトップ操作をオーケストレートし、同時にコンパニオン・スマートフォン・インターフェースを介したリアルタイムのリモート制御とモニタリングを可能にする、ユーザーのデバイス上で完全に動作するローカルファーストのマルチエージェント音声アシスタントであるAnovaXを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたのマシンに宿る声
あなたのポケットの中に、あなたの声を聞き取り、複雑な要求を理解し、さらにはコンピュータを操作することさえできる、非常にスマートなアシスタントがいると想像してみてください。長年、この概念はSiriやAlexaのような「クラウド」型アシスタントによって支配されてきました。これらのクラウド型アシスタントを、あなたの声を預かり、何マイルも離れた巨大なサーバーファームまで運び、答えをもらって戻ってくる「使い走り」だと考えてください。これらは高速ですが、これはあなたのプライベートな会話が自宅の外へ出てしまうことを意味し、また、そのアシスタンスントはあらかじめプログラムされた固定された芸しか披露できません。それは、ドアを開けることはできるものの、あなたのためにペンを手に取ってメモを書くことすらできない執事を持っているようなものです。
人工知能（AI）の分野は最近、大規模言語モデル（LLM）が人間の言語を理解することに非常に長けていることを発見しました。しかし、新たな問いが浮上しています。「あなたのコンピュータの『内部』に留まり、秘密をローカルに保持し、単に知識を答えるだけでなく、アプリを開いたり、テキストを入力したり、ボタンをクリックしたりといった、デスクトップ上で実際に『行動』できるアシスタントを構築できるだろうか？」という問いです。この論文では、AnovaXと呼ばれるプロジェクトについて探求しています。これは「ローカルファースト」の音声アシスタントを構築しようとする試みです。AnovaXは、あなたの声をクラウドに送る代わりに、完全にあなたのノートパソコン上で動作します。それはスマートなプランナー（計画立案者）を使用して何を行うかを決定しますが、キーボードやマウスを実際に操作する際には、専門化され、事前プログラムされた一連の「ワーカー（作業員）」に依存します。その目的は、ビッグテック企業と同じ土俵で戦うことではなく、クラウドへの接続をすべての動作に必要とすることなく、一人の人間が自分のマシンを制御するための、小さく、読みやすく、安全なシステムを構築できることを示すことにあります。
AnovaX：クラウドを必要としないローカルな執事
AnovaXをご紹介しましょう。これはあなたのノートパソコン上で完全に動作するように設計された、透明性が高く、安全で、ローカルな選択肢となる音声アシスタントです。開発者は、コンピュータを制御するために巨大で不透明なシステムは必要ではなく、ただ小さく、よく整理されたデジタルワーカーのチームがあればよいのだということを証明するために、これを構築しました。
大きなアイデア：プランナーとスペシャリストのチーム
あなたが忙しいオフィスのボスだと想像してください。あなたはすべてのタスクを自分で行いたいわけではありません。仕事を任せたいと考えています。AnovaXにおいて、「ボス」はスマートなAIプランナー（Geminiというモデルを使用）です。あなたが「メモ帳を開いて物語を書いて」と言ったとき、プランナーは自分でタイピングを行おうとはしません。代わりに、プランナーは特別なコード（JSON）で素早い計画を書き、それをマルチエージェント・オーケストレーターに引き渡します。
オーケストレーターを、慌ただしくも効率的な舞台監督だと考えてください。それはプランナーのリストを受け取り、各タスクを特定の「子エージェント」に割り当てます。
- AppAgentは、プログラムの起動方法を知っている担当者です。
- TypingAgentは、実際にキーボードでタイピングを行う担当者です。
- BrowserAgentは、ウェブ検索を扱います。
- MediaAgentは、スクリーンショットを撮ります。
これらの各エージェントは、独自のルールを持つ小さな専門ロボットです。例えば、TypingAgentには「他のエージェントがキーを押そうとして衝突しないよう、キーボードが自由になるのを待たなければならない」という厳格なルールがあります。このシステムにより、アシスタントは複数のことを同時に行うことができます。もしあなたが「スクリーンショットを撮って、時間を教えて」と頼めば、オーケストレーターはそれら2つのジョブを2つの異なるエージェントに同時に送り、時間を節約します。
安全第一：ダブルチェック・ゲート
AIに関する最大の懸念の一つは、ファイルを削除するなど、何か危険な動作をするのではないかということです。AnovaXは、「2段階の安全フィルター」によってこれを解決しています。
- ソフト・フィルター： AIプランナーには、「削除」や「フォーマット」といった「禁止」ワードのリストが与えられ、それらを使用しないよう指示されます。
- ハード・フィルター： いかなるエージェントもコンピュータに触れる前に、Pythonプログラムが計画を厳格な「ホワイトリスト（許可されたツールのみ）」と「デニリスト（禁止されたキーワード）」に対して照合します。もし計画の中に危険なコマンドが紛れ込んでいれば、すべてが即座にブロックされ、ユーザーには丁寧な拒絶のメッセージが送られます。
これは、たとえAIが計画をより小さなサブタスクに分解しようとしても、毎回必ず行われます。それは、建物に入る前にIDをチェックするセキュリティガードがいて、さらに特定の部屋に入る前にもう一度IDをチェックするようなものです。
「リカバリー・ループ」：物事がうまくいかないとき
最高の計画であっても、失敗することはあります。頼んだアプリがインストールされていなかったり、ポップアップウィンドウがフォーカスを奪ったりすることがあります。従来のシステムでは、これによってプロセス全体が停止してしまいます。AnovaXには、賢い「リカバリー・ループ」が備わっています。
もしステップが失敗した場合、システムは諦めません。システムは、探偵のように振る舞う、より高速な第2のAIループを起動させます。それは何が間違ったのかを調査し（例：「ああ、アプリの名前が間違っていた、検索し直してみよう」）、新しい計画を考え、再試行します。これを瞬時に感じさせるために、探偵が考えている間、システムはバックグラウンドで安全な「読み取り専用」のタスク（時刻の確認など）を「投機的」に実行しており、新しい計画が整ったときには、それらの部分はすでに完了している状態になります。
スマートフォンからの監視
このプロジェクトには、スマートフォンからノートパソコンを制御できるクールな機能も含まれています。スマートフォンに向かって話すと、そのコマンドは自宅のWi-Fi経由でノートパソコンに送信されます。さらに素晴らしいことに、ノートパソコンはリアルタイムで画面をスマートフォンにストリーミングします。別の部屋にいても、ノートパソコンが自律的にアプリを開き、タイピングしている様子を観察し、エージェントたちが作業を進める様子を正確に目にすることができます。
できること、できないこと
論文では、AnovaXが以下を正常に実行できることが示されています。
- デスクトップアプリケーション（メモ帳など）を開く。
- テキストの入力およびキーの押下。
- ウェブおよびYouTubeの検索。
- スクリーンショットの撮影および時刻の通知。
- 複雑で多段階の要求（例：「メモ帳を開いて、段落を書き、それを保存して」）の処理。
- 危険なコマンド（例：「ダウンロードフォルダを削除して」）の拒絶。
しかし、著者たちはその限界についても非常に明確に述べています。このシステムは「盲目」です。ウィンドウが正しく開いたかどうかを知るために画面を実際に「見ている」わけではなく、単にコマンドを送り、それが成功することを期待しているだけです。もしポップアップが画面を遮った場合、エージェントは間違った場所にタイピングを続けてしまう可能性があります。また、最初の「思考（プランニング）」と「音声の聞き取り」についてはクラウドに依存していますが、著者らは、完全にオフラインにするために、将来的にこれらをローカル版に置き換えることが可能であると示唆しています。
結論
AnovaXは、次世代のSiriになろうとしているのではありません。それは、小さく、読みやすく、安全なローカル・アシスタントが構築可能であることを示すための概念実証（プルーフ・オブ・コンセプト）です。問題をプランナー、安全ガード、そして専門化されたタイピングエージェントのチームへと分解することで、開発者は透明性と制御可能性を備えたシステムを作り上げました。コンピュータを制御するために、クラウドにあるブラックボックスは必要ありません。必要なのは、あなたのデスク上で動いている、よく整理されたデジタルヘルパーのチームなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。