NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

本論文は、ユーザー入力を直接画面フレームに変換する再帰型ニューラルネットワークと拡散ベースのレンダラーを組み合わせ、実際の操作記録や AI エージェントによる合成データから学習することで、既存の OS の GUI 再現だけでなく、インストールされていないアプリケーション（例：Doom）の動作さえもシミュレート可能なニューラル OS「NeuralOS」を提案するものである。

要約

NeuralOS：コンピューターを「描く」新しい AI の世界

この論文は、**「NeuralOS（ニューラル OS）」という画期的なプロジェクトについて書かれています。一言で言うと、「コンピューターの画面を、プログラムで制御するのではなく、AI が『想像して描く』ようにした」**という研究です。

従来のコンピューターは、厳格なルール（プログラム）に従って動きます。しかし、NeuralOS はまるで**「魔法の画家」**のように、ユーザーの操作（マウスの動きやクリック）を見て、「次はどんな画面になるべきか？」を瞬時に予測し、その画面をゼロから描き出します。

以下に、この技術の仕組みと驚くべき能力を、身近な例えを使って解説します。

---

1. 従来の OS と NeuralOS の違い：「レシピ」vs「料理人」

• 従来のコンピューター（レシピ本）：
  今までの OS（Windows や macOS など）は、まるで厳格なレシピ本のようです。「A をクリックしたら B という画面を表示する」というルールが事前にすべて決まっています。もし「B」の画面を作るコードがなければ、その画面は決して現れません。
• NeuralOS（天才料理人）：
  NeuralOS は、レシピ本を持たない**「天才料理人」**です。ユーザーが「卵を割って」と言えば（クリック）、その料理人が「次は卵が割れた状態の画面を描こう」と考え、実際にその絵を描きます。
  • 重要点： この料理人は、実際に卵（アプリケーション）が冷蔵庫（ハードディスク）に入っていなくても、「卵を割った後の様子」を想像して描くことができます。

2. 仕組み：2 人の協力体制

NeuralOS は、2 つの AI が協力して画面を作っています。

1. 記憶屋（RNN：再帰型ニューラルネットワーク）

   • 役割： 「今、コンピューターはどういう状態？」を覚えています。
   • 例え： 料理人の**「アシスタント」です。「さっきユーザーが『ホーム』フォルダを開いたね」「今、マウスはここにあるね」という文脈や記憶**を管理しています。
   • 特徴： 長い間、何をしたかを忘れないように設計されています。

2. 画家（拡散モデル：Diffusion Model）

   • 役割： 記憶屋の指示を受け取って、実際の**「画面（絵）」**を描きます。
   • 例え： **「絵描き」**です。アシスタントから「ホームフォルダを開いた状態だ」と聞くと、そのイメージに合わせてウィンドウやアイコンをリアルに描き出します。
   • 特徴： 従来の動画生成 AI とは異なり、ユーザーの「クリック」や「キーボード入力」という瞬間的な変化に即座に対応して描き直します。

3. 驚くべき実験：存在しないアプリを動かす

この研究の最も面白い部分は、「実際にインストールされていないアプリ」を動かして見せたことです。

• 実験内容：
  研究者たちは、データ収集用のコンピューターに**「Doom（ドゥーム）」という古いゲームをインストールしていませんでした。**
  しかし、NeuralOS には「Doom のアイコンをクリックしたらゲームが始まる」という**「作り話（合成データ）」**を学習させました。
• 結果：
  学習した NeuralOS は、Doom のアイコンをクリックすると、実際にゲーム画面を描き出し、プレイヤーが撃ったり歩いたりする映像をリアルタイムで生成しました。
  • 意味： 裏側でゲームが動いているわけではなく、AI が「Doom が動いているように見える映像」を、ユーザーの操作に合わせて描き続けていたのです。
  • 比喩： 映画館にスクリーンとプロジェクターしかないのに、観客が「アクション映画を見たい」と言うと、プロジェクターがその映像をリアルタイムで描き出し、まるで映画館に映画が上映されているかのように見せるようなものです。

4. なぜこれが重要なのか？

• 安全な練習場：
  AI エージェント（自動操作する AI）を訓練する際、実際のコンピューターを操作すると危険なミス（ファイルを消すなど）が起きる可能性があります。NeuralOS なら、**「仮想のコンピューター」**の中で安全に練習できます。
• 未来のインターフェース：
  将来的には、複雑なメニューを探す必要がなくなるかもしれません。「あのファイルを開いて」と自然言語で言えば、AI がその画面を即座に描き出し、ユーザーは直感的に操作できる世界が来るかもしれません。

5. 課題と限界

もちろん、まだ完璧ではありません。

• 解像度： 今のところは、高精細な写真のような画質ではなく、少し粗いアニメーションのような画質です。
• 細かい入力： 複雑なキーボード入力（長い文章をタイピングするなど）は、まだ少し不正確です。
• 計算コスト： 非常に高性能な GPU（グラフィックボード）が必要で、一般のパソコンで動かすにはまだ重すぎます。

まとめ

NeuralOS は、**「コンピューターの画面を、プログラムで制御するのではなく、AI が『想像力』で描く」**という新しいパラダイムを示しました。

まるで**「夢の中でコンピューターを操作している」**ような感覚で、AI がユーザーの意図に合わせて画面をリアルタイムに生成する未来。この研究は、その第一歩を踏み出したと言えます。

一言で言うと：
「従来の OS は『決まったルールで動く機械』ですが、NeuralOS は『あなたの操作に合わせて、画面をその場で描き出す天才画家』です。しかも、その画家は、実際に存在しないアプリの動きさえも、想像力で完璧に演じきって見せます。」

技術概要

NeuralOS: 神経生成モデルによるオペレーティングシステムのシミュレーションに向けた取り組み

技術的サマリー（日本語）

本論文は、ICLR 2026 にて発表された「NeuralOS」と呼ばれる革新的なフレームワークを提案しています。NeuralOS は、従来の手動プログラミングされたカーネルやアプリケーションに依存せず、深層ニューラルネットワークのみでオペレーティングシステム（OS）のグラフィカルユーザーインターフェース（GUI）をシミュレートすることを目指す研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

従来のコンピューターインターフェースは、コマンドラインや静的なメニューなど、厳密に定義されたルールに基づいて動作していました。近年、大規模言語モデル（LLM）や生成 AI の発展により、自然言語や画像、動画を通じた対話が可能になりましたが、OS 自体の GUI を「生成モデル」としてモデル化し、ユーザーの入力（マウス移動、クリック、キーボード操作）に対してリアルタイムで画面フレームを予測・生成するというアプローチは未開拓でした。

既存の動画生成モデルやゲームシミュレーションモデルでは、以下の課題がありました：

• 状態追跡の欠如: OS の操作は、アプリケーションの起動やウィンドウの閉鎖など、即座に反応する必要があるが、予測不能な遅延（例：Firefox 起動に 30 フレームかかるなど）も発生する。
• カーソルの精度: ゲームモデルでは単純なアクション空間で済むが、OS ではピクセル単位の正確なカーソル位置制御が不可欠である。
• 長期的な依存関係: 直前のフレームだけでなく、過去の操作（例：数分前に作成したフォルダ）を記憶し、現在の画面に反映させる必要がある。

2. 手法 (Methodology)

NeuralOS は、OS の「カーネル（状態管理）」と「デスクトップレンダリング（描画）」の機能を分離し、それぞれを異なるニューラルネットワークで実装するモジュラーアーキテクチャを採用しています。

アーキテクチャ

1. 状態追跡用の階層的 RNN (Recurrent Neural Network):
   • 内部システム状態（開いているアプリ、隠れたウィンドウ、直近の操作など）を維持します。
   • Transformer のようにコンテキスト長に依存して計算量が増加するのではなく、RNN（LSTM）を使用することで、推論時の計算量を一定に保ち、長期的な状態追跡を可能にしています。
   • 2 段構造（Lower LSTM と Upper LSTM）を持ち、ユーザー入力をエンコードし、前のフレームの視覚情報とアテンション機構を介して統合します。
2. 拡散ベースのニューラルレンダラー (Diffusion-based Renderer):
   • 状態 RNN の出力とユーザー入力を条件として、次の画面フレームを生成します。
   • 高解像度の画像を潜在空間（Latent Space）に圧縮するオートエンコーダを使用し、その潜在空間上で UNet ベースの拡散モデルを動作させます。
   • カーソル位置の明示的符号化: 正確なカーソル描画のため、カーソル座標をガウス分布の空間マップとしてレンダラーに直接入力し、位置誤差を最小化しています。

多段階トレーニング戦略 (Multi-Stage Training)

トレーニングの難易度と収束を考慮し、4 つの段階で学習を行います：

1. RNN の事前学習: 拡散モデルを無視して、RNN 単体で潜在フレームを MSE 損失で予測させる。これにより、RNN が状態情報を適切にエンコードする初期値を得る。
2. 結合学習 (Joint Training): 事前学習済みの RNN と拡散レンダラーを同時に最適化し、RNN の出力がレンダリングに活用されるようにする。
3. スケジュールドサンプリング (Scheduled Sampling): 推論時の誤差蓄積（Exposure Bias）を軽減するため、トレーニング中に真のフレームの一部をモデル生成フレームに置き換えて学習する。
4. コンテキスト長の拡張: 初期段階では短いコンテキストで学習し、最終段階でコンテキスト長を延長することで、長期的な依存関係を学習させる。

データ収集

• エージェントによるデモンストレーション: Anthropic の Claude-3.5-Sonnet を使用し、GUI 要素を探索・操作させることで、現実的な操作シーケンスを収集。
• ランダム探索: エージェントデータのみでは見かけ上の相関（例：閉じるボタンへの移動だけで閉じる）が生じるため、ベジエ曲線を用いた自然なマウス軌道やランダムな入力を追加し、データセットを強化。

3. 主要な貢献と結果 (Key Contributions & Results)

主要な成果

• 現実的な GUI シミュレーション: NeuralOS は、Ubuntu XFCE の環境において、マウス操作やウィンドウの操作を含む一連の画面遷移を、人間が区別できないレベルでリアルに生成することに成功しました。
• 高精度なカーソル制御: カーソル位置マップを導入した結果、カーソルの位置誤差は平均 1.6 ピクセル（幅 512px の約 0.5%）以下となり、ランダムなベースラインやカーソルマップなしのモデルを大幅に上回りました。
• 状態遷移の正確な予測: アプリケーションの起動やウィンドウの閉鎖などの重要な状態遷移を、37.7% の精度で予測しました（多数決ベースラインの 1.4% を大きく上回る）。
• 合成データからの学習（Doom 実験）: 最も革新的な点として、NeuralOS は「Doom」というアプリケーションが実際の OS にインストールされていないにもかかわらず、合成データ（デスクトップ操作と VizDoom のプレイ動画の組み合わせ）から学習し、Doom の起動・プレイ・終了をシミュレートできました。これは、生成モデルが現実には存在しない UI も学習可能であることを示しています。
• 長期記憶の保持: 訓練データでは 8 フレームの遅延しか見ていないにもかかわらず、テストでは 256 フレーム後の「フォルダ作成」の有無を 60% 以上の精度で記憶・再現できることが確認されました。

定量的評価

• 人間評価: 10〜60 秒の操作シーケンスにおいて、人間評価者は NeuralOS 生成映像と実 OS 映像を区別できず、偶然に近い精度（50% 前後）でしか正解できませんでした。
• アブレーション研究: 結合学習やスケジュールドサンプリングを省略すると、画像がぼやけたり、誤差が蓄積して品質が劣化することが確認され、提案手法の各要素の必要性が証明されました。

4. 意義と将来展望 (Significance & Future Work)

NeuralOS の意義は、単なる OS の模倣を超えた点にあります：

1. 安全なエージェント訓練環境: 実際のシステムコマンドを実行することなく、AI エージェントを OS 操作で訓練・評価できる安全な環境を提供します。
2. 合成データによる UI 学習: 実在しないアプリケーションや、人工的に作成された UI も、一貫したデモンストレーションがあれば学習可能であることを示しました。これは「プロンプトから UI を生成する」未来への道筋を示唆します。
3. 次世代 HCI の可能性: 固定されたメニューやコマンドに依存せず、ユーザーの意図や文脈に応じて動的に適応する、完全に生成型のインターフェースの実現可能性を証明しました。

今後の課題:

• 現在のモデルは解像度が低く、細かいキーボード入力の再現は困難です。
• 推論には高性能 GPU（H100）が必要であり、実用的な展開には効率化が必要です。
• 外部リソース（インターネット等）との連携や、より複雑な OS 機能への拡張が今後の研究課題です。

総じて、NeuralOS は「OS をソフトウェアとして記述する」のではなく、「OS を生成モデルとして学習する」というパラダイムシフトを実現した画期的な研究です。