💻 computer science

HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy

本論文では、現在の観測だけでなく過去の文脈も活用することで長期的なタスクを改善するスケーラブルなフレームワーク「HAMLET」を提案し、時差対照学習によるモーメントトークンと軽量メモリモジュールを用いて最先端の視覚言語行動モデルを歴史認識型の方策へと変換し、実世界やベンチマークで大幅な性能向上を実現したことを示しています。

原著者： Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Myungkyu Koo, Daewon Choi, Taeyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ハムレット（HAMLET）：ロボットに「過去の記憶」を与える魔法のツール

こんにちは！今日は、ロボットがもっと賢く、人間のように「過去の経験」を活かして動くようになるための新しい技術、**「HAMLET（ハムレット）」**について、難しい専門用語を使わずに解説します。

🤖 ロボットが抱える「忘れっぽさ」の問題

まず、現在の最新のロボット（Vision-Language-Action モデルと呼ばれるもの）は、とても賢いですが、**「今、目の前にあるものしか見ていない」**という弱点があります。

【例え話：料理中のロボット】
Imagine（想像してみてください）。ロボットが「鍋に蓋をして、その上に別の鍋を乗せてね」という指示を受けました。

今のロボット（HAMLET 以前）： 「あ、蓋がある！」「あ、鍋がある！」と今この瞬間の画像だけを見て判断します。
- もし、蓋が鍋の上に乗っている瞬間をカメラが捉えられなかったら（隠れてしまったら）、ロボットは「蓋はどこだ？」「今、何をしてるんだっけ？」と混乱して、同じ動作を繰り返したり、失敗したりします。過去の「蓋を乗せた」という事実を覚えていないからです。
人間の感覚： 「さっき蓋を乗せたから、今はその上に別の鍋を乗せる番だ」と文脈（コンテキスト）を覚えています。

この「過去の記憶がない」せいで、ロボットは長い作業や、物が隠れるような複雑な作業が苦手なのです。

🧠 HAMLET の正体：ロボットに「瞬間のメモ」と「記憶の引き出し」を与える

この問題を解決するために開発されたのが、HAMLETです。名前の由来は、シェイクスピアの『ハムレット』が「過去（父の亡霊）に悩まされ、記憶に翻弄される」物語だからかもしれません（笑）。

HAMLET は、ロボットに以下の 2 つの魔法の道具をプレゼントします。

1. 「瞬間のメモ」（Moment Tokens）

何をする？ 過去のすべての映像をそのまま保存するのではなく、「その瞬間に何が一番重要だったか」を要約した小さなメモを作ります。
例え話： 長い映画（過去の作業）をすべて再生するのではなく、「主人公が泣いたシーン」「宝物が見つかったシーン」といった重要なハイライトだけを書いた付箋を貼るようなものです。
工夫： このメモは、ただの画像ではなく、「時間ごとに何が違うか」を学習させる特別なトレーニング（時間対照学習）で書かれます。これにより、背景の壁などの「変わらないもの」は無視し、動いている「物体」や「手」に注目するようになります。

2. 「記憶の引き出し」（Memory Module）

何をする？ 作った「瞬間のメモ」を、過去の時間軸に沿って整理して引き出しにしまい、必要な時に引き出せるようにします。
例え話： 単に過去のメモをすべて机の上に並べる（これだと混乱します）のではなく、「今、何をするべきか」に合わせて、一番必要な過去のメモだけを賢く選んで取り出す機能です。
効果： ロボットは「さっき青い箱を右に置いたから、次は緑の箱を左に動かそう」といった、過去と現在のつながりを理解できるようになります。

🚀 HAMLET がすごいところ

ゼロから作り直す必要がない！
- 既存のロボット AI に、この「メモ」と「引き出し」を**プラグイン（差し込み式）**するだけで使えます。最初から全部作り直す（コストがかかる）必要がありません。
計算コストが安い！
- 過去の映像を全部読み込むと、ロボットがバカバカしくなってしまいますが、HAMLET は「要約メモ」だけを使うので、スピードはほとんど落ちません。
長い作業が得意になる！
- 実験では、複雑な作業（例：箱を 2 回移動させる、カップで箱を隠して重ねる）で、従来のロボットより成功率が劇的に向上しました。特に、過去を覚えていないと絶対にできないような「長い作業」で差がついています。

🌟 まとめ

HAMLET は、**「今のロボットに、過去の経験を賢く要約して記憶させる技術」**です。

まるで、ロボットに「さっきの出来事を忘れないでね」という**「賢い付箋」と、それを整理する「整理上手な頭脳」**を与えたようなものです。これにより、ロボットは単に「今」を見るだけでなく、「過去」も考慮して、より人間らしく、複雑な作業をこなせるようになるのです。

この技術は、将来の家庭用ロボットや、工場で複雑な作業をするロボットが、もっと頼りになる存在になるための重要な一歩と言えるでしょう！

HAMLET: 歴史認識型ポリシーへのビジョン・言語・アクションモデルの適応

技術的サマリー（日本語）

本論文は、ICLR 2026 にて発表された「HAMLET (History-Aware Memory with LEarned Tokens)」というフレームワークを提案する研究です。既存のロボット制御モデルであるビジョン・言語・アクションモデル（VLA）が、現在の観測のみを基に動作を決定する「単一フレーム仮定」に依存しているという課題に対し、HAMLET は追加の事前学習なしに、これらのモデルを歴史的文脈（過去の観測）を考慮したポリシーへと変換することを可能にします。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

現状の課題: 既存の VLA（例：GR00T, RT-2 など）は、大規模な事前学習済み VLM（ビジョン・言語モデル）をベースにしていますが、基本的には「現在のフレームのみ」を入力として動作を予測します。
歴史依存性の重要性: ロボット操作タスク（特に長期的なタスク）は本質的に歴史依存です。例えば、オブジェクトが隠れている場合や、複数のステップを踏むタスク（「青い箱を掴み、次に赤い箱を掴む」など）において、現在のフレームだけでは次の適切な動作を判断できません。
既存アプローチの限界: 過去のフレームを単純に VLA の入力に連結する（Multi-frame 入力）方法は、計算コスト（推論時間の増加、メモリ使用量の爆発的増加）が非常に高く、バッチサイズを制限してスケーラビリティを損なうだけでなく、因果的な混乱（causal confusion）を引き起こし、性能が低下するケースがあります。
研究の問い: 「高価なゼロから再学習（pre-training from scratch）を行わずに、事前学習済みの VLA に歴史認識機能をどのように効率的に統合できるか？」

2. 提案手法：HAMLET

HAMLET は、事前学習済みの VLA にプラグインとして追加する軽量なフレームワークです。主に 2 つのコンポーネントで構成されます。

A. モーメントトークン (Moment Tokens)

概要: 各タイムステップにおける視覚観測情報をコンパクトに圧縮する学習可能なトークン群です。
機能: 各タイムステップ $t$ で、VLM の入力シーケンスにモーメントトークン $m_t$ を付加します。これにより、VLM は現在の視覚情報とタスク指示を参照しつつ、モーメントトークンが「その瞬間の文脈を要約した表現」を生成します。
初期化（Time-Contrastive Learning, TCL）: モーメントトークンが単なる静的な背景を学習するのではなく、時間的に特徴的な動的な情報を捉えるよう、**時間対照学習（Time-Contrastive Learning）**で初期化されます。
- 同じフレームの拡張版を「正のペア」、同じ軌道内の異なるタイムステップを「負のペア」として学習させます。
- これにより、モーメントトークンは背景などの冗長な情報を抑制し、タスクに関連する動的な変化（グリッパーの動き、オブジェクトの位置変化など）に焦点を当てるようになります。

B. 軽量メモリモジュール (Lightweight Memory Module)

概要: 過去のモーメントトークンを統合し、歴史を考慮した特徴量を作成する Transformer ベースのモジュールです。
動作:
1. 過去の $T$ 個のモーメントトークンをスタックして履歴行列を作成します。
2. 因果的セルフアテンション（causal self-attention）を用いて、過去のどのタイムステップが重要かを動的に選択・集約します。
3. 集約された履歴特徴量（History-augmented feature）を、現在の VLM 表現と結合し、アクションエキスパート（Action Expert）へ渡して次のアクションを予測します。
利点: 単に過去のフレームを連結するのではなく、「どの過去の情報が重要か」を学習して選択的に参照するため、冗長性を排除し、計算コストを抑えつつ長期的な依存関係を捉えることができます。

3. 主要な貢献

HAMLET フレームワークの提案: 事前学習済み VLA を、高価な再学習なしに歴史認識型ポリシーへ変換する、容易に統合可能なプラグイン手法を提案しました。
モーメントトークンと TCL の導入: 時間対照学習で初期化されたモーメントトークンにより、各タイムステップの重要な時間的キューを効率的に抽出・圧縮する仕組みを設計しました。
選択的集約によるメモリ設計: 全てのタイムステップを均等に扱うのではなく、Transformer を用いて文脈に応じた過去の情報を選択的に集約する軽量メモリモジュールを設計しました。
広範な検証: 実世界タスクおよびシミュレーションベンチマーク（RoboCasa, LIBERO, SimplerEnv-Bridge）において、SOTA ベースラインを大幅に上回る性能向上を実証しました。

4. 実験結果

HAMLET は、GR00T N1.5 や CogACT などの異なる VLA バックボーンに対して適用され、以下の結果が得られました。

実世界タスク（長期的な推論が必要）:
- 歴史依存性の高い 3 つのタスク（2 回ピック＆プレイス、カバースタッキング、キューブの入れ替え）において、ベースライン（GR00T N1.5）の成功率 29.2% から 76.4% へと、47.2% 改善しました。
- 単純な多フレーム入力（Multi-frame）ベースライン（45.8%）よりも HAMLET（76.4%）が大幅に優れていることが示されました。
シミュレーションベンチマーク:
- RoboCasa Kitchen (100 デモ): ベースライン 64.1% → HAMLET 66.4%。
- LIBERO: ベースライン 95.6% → HAMLET 97.6%（ほぼ飽和状態からのさらなる改善）。
- SimplerEnv-Bridge (CogACT 適用): ベースライン 52.1% → HAMLET 63.5%。
効率性:
- 多フレーム入力方式は、履歴長 8 で推論遅延が約 2.4 倍、メモリ使用量が約 7 倍に増加しますが、HAMLET は遅延 1.07 倍、メモリ 2.0 倍程度に抑えられ、非常に効率的です。
アブレーション研究:
- TCL 初期化やメモリモジュールの除去は性能低下を招き、特に Transformer ベースのメモリモジュールが RNN/LSTM などの他のアーキテクチャよりも優れていることが確認されました。
- 一度学習したメモリモジュールを別のデータセット（LIBERO → RoboCasa）に転用しても有効であることが示され、汎用性の高さが確認されました。

5. 意義と結論

HAMLET は、ロボット制御における「歴史依存性」の課題に対し、大規模な再学習を必要とせず、計算コストを抑えながら既存の最先端 VLA を強化する画期的なアプローチです。

実用性: 複雑な長期的タスクや、視覚的遮蔽（オクルージョン）が発生する環境において、ロボットの信頼性を劇的に向上させます。
スケーラビリティ: 単一フレームの VLA の汎用性を維持しつつ、外部メモリモジュールを通じて歴史情報を活用するため、計算リソースの制約下でも実装可能です。
将来展望: 本手法は、大規模なロボット操作データセットを用いたさらなるスケーリングや、異なるアーキテクチャへの適応を通じて、より複雑な実世界タスクへのロボット応用を可能にする基盤技術となります。

要約すれば、HAMLET は「現在のフレームだけを見る」ロボットに「過去の文脈を思い出して行動する」能力を、軽量かつ効率的に付与する技術です。