💻 computer science

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

本論文では、破滅的忘却や追加の推論オーバーヘッドを伴うことなく、最先端の視覚・触覚推論を可能にするために、MLLMのパラメータをクリティカルな部分空間と休止部分空間に分割する、マスク分離型の触覚アライメントフレームワークであるSplashを導入する。

原著者： Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、画像を見て質問に答えるのが得意な、非常に賢いロボットアシスタントがいます。そのロボットは、レモンの写真は黄色くて酸っぱいということを知っています。しかし、問題があります。もしあなたがロボットに、レモンがどのような「感触」か（粘り気があるのか、デコボコしているのか、など）を説明するように頼むと、ロボットはしばしば混乱してしまいます。ロボットは、質感について実際に「知っている」のではなく、見た目から推測して答え始めてしまうことがあるのです。

さらに悪いことに、手が物に触れている写真を何千枚も見せて、ロボットに「触覚」について教えようとすると、ロボットは画像を見たり理解したりする方法を忘れてしまうことがよくあります。それはまるで、ピアニストにドラムの練習ばかりをさせてドラムを教えようとするようなものです。ドラムは上手くなるかもしれませんが、ピアノの弾き方を忘れ始めてしまいます。これは「破滅的忘却（catastrophic forgetting）」と呼ばれます。

この論文は、これを解決するための新しい手法であるSplashを紹介しています。その仕組みを、簡単な例えを用いて説明します。

問題点：「全か無か」のジレンマ

研究者たちは、小型で効率的なロボット（実用性に優れたもの）は、既存のスキル（視覚や言語）を失うことなく新しい感覚（触覚）を学ぶための十分な「脳のパワー」を持っていないことを発見しました。通常、あなたは「視覚に優れたロボット」にするか、「触覚に優れたロボブル」にするかのどちらかを選ばなければなりません。両立させることは困難です。

解決策：「寝室」の比喩

ロボットの脳を、本（これらはロボットの内部設定、つまり「パラメータ」です）で満たされた巨大な図書館だと想像してください。

重要な本： いくつかの本は不可欠です。それらには、読み方、画像の理解、そして言葉を話すためのルールが含まれています。もしこれらの本を書き換えてしまうと、ロボットは知っていることをすべて忘れてしまいます。
眠っている本： 他の多くの本は、棚に置かれたまま、めったに開かれることがありません。これらはあまり仕事をしていない状態です。

Splashは、賢い司書のように振る舞います。図書館全体を書き換えて（これではロボットの既存の知識が壊れてしまいます）新しい知識を教えるのではなく、以下の2つのことを行います。

「寝室」を特定する： 司書は図書館をスキャンし、視覚的なタスクではほとんど使われていない特定の、つまり「休止状態」にあるパラメータ（本）を見つけ出します。
「重要室」に鍵をかける： 視覚や言語に不可欠な本には、重い錠前をかけます。これらは凍結され、変更できないようになります。
「寝室」で教える： 新しい情報（触覚）については、この休止状態のセクションの中だけで教えます。

なぜこれが画期的なのか

記憶喪失がない： 「重要室」に鍵がかかっているため、ロボットは視覚や言語の能力を忘れることがありません。元の個性や賢さを維持できます。
追加の重さがない： 通常、新しい感覚を追加するには、ロボットに新しい道具が入った「バックパック」を背負わせる必要があり、それによって動きが遅く、重くなってしまいます。しかし、Splashはバックパックを追加するのではなく、既存の部屋の中の家具を配置換えするだけなのです。ロボットは以前と同じくらい速く、軽量なままです。
ワンステップの学習： 古い手法では、まず触覚を教え、次に言語を教えるといった、長く複雑なプロセスが必要でした。Splashは、転ぶことなくジャグリングと自転車の乗り方を同時に学ぶように、これらすべてを一度に行います。

結果

研究者たちは、これらを小型のロボット（10億および30億の「ニューロン」を持つモデル）でテストしました。

触覚の精度向上： Splashを用いたロボットは、従来の手法よりも質感（「ザラザラしている」「柔らかい」「粒状である」など）を説明することにおいて非常に優れた成績を収め、より大規模で強力なロボットをも上回りました。
視覚は依然として優秀： 一般的な視覚タスク（画像に基づいた数学の問題を解く、あるいは物体を識別するなど）でテストした際、Splashのロボットは触覚を学ぶ前と変わらない性能を発揮しました。元のスキルを失うことはありませんでした。

まとめ

Splashは、小型で効率的なロボットが、視覚や言語の能力を失うことなく、触覚を学べるようにする技術です。これは、ロボットの脳の中にある「未使用のスペース」を見つけ出し、そこに新しい触覚の知識を詰め込みながら、「重要なスペース」を完全に安全かつ未変更のまま保つことで実現されます。それは、ステアリングホイールやブレーキを分解することなく、車のエンジンを新しい燃料タイプに対応するようにアップグレードするようなものです。

技術要約：Splash – MLLMにおけるマスク分離型触覚アライメント学習

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、ロボティクスへの応用が進んでおり、摩擦やコンプライアンス（柔軟性）といった物理的特性の理解が極めて重要となっています。しかし、コンパクトなMLLM（sMLLM、例：パラメータ数3B以下）に触覚推論能力を装備させることは、大きな課題を伴います。それは**破滅的忘却（catastrophic forgetting）**です。

触覚モダリティを統合する既存のアプローチの多くは、モデル全体または大規模なパラメータサブセットの更新を必要とします。リソース制約のあるsMLLMにおいて、こうした触覚信号への最適化を行うと、事前学習された視覚・言語（VL）特徴が歪み、モデルが汎用的な推論能力を失ってしまう現象が発生します。本論文で示されているように、ごく少量の触覚トレーニングデータであっても、VL性能を低下させることがあり、新しい感覚モダリティの獲得と、確立された推論能力の保持との間でゼロサムのトレードオフが生じます。

2. 手法：Splashフレームワーク

著者らは、追加の推論オーバーヘッドや破滅的忘却を引き起こすことなく、sMLLMに触覚センシングを統合するために設計された、マスク分離型触覚アライメントフレームワークであるSplashを提案しています。その核心となる哲学は、すべての触覚適応を「休眠状態（dormant）」にある（重要度の低い）パラメータの部分空間に限定し、「クリティカル（critical）」なパラメータを凍結状態に保つことにあります。

2.1 休眠部分空間の特定

Splashは、事前学習済みモデルには、その機能を維持するために重要なパラメータのサブセットのみが存在するという「自然なスパース性」の仮説を利用しています。

重要度指標： 視覚・言語データ（例：CC12M）からの小さなキャリブレーションセットを用いて、LLMの線形層における各重みの「視覚相対的重要度スコア（ $S_{i,j}$ ）」を算出します。このスコアは、重みの大きさ（magnitude）と、対応する入力アクティベーションの $\ell_2$ ノルムの積として定義されます。
$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$
マスク生成： スパース性比率（ $s\%$ ）に基づき、バイナリマスク（ $\mathbf{M}$ ）を生成します。スコアが閾値を下回るパラメータは「休眠（dormant）」（学習可能）とマークされ、スコアが高いものは「クリティカル（critical）」（凍結）とマークされます。
安定性制約： 入力のグラウンディングと高レベルのセマンティック表現を保持するため、最初のおよび最後のトランスフォーマーブロックはマスキングから除外されます。これにより、学習の安定性が確保されます。

2.2 マスク分離型触覚アライメント

2段階のアプローチ（まずエンコーダーを整列させ、次にLLMを微調整する手法）とは異なり、Splashは単一ステージの統合トレーニングプロセスを採用しています。

アーキテクチャ： モデルは、凍結された視覚フロントエンド、学習可能な触覚フロントエンド（ImageNetで初期化されたViT-Tiny）、およびLLMバックボーンで構成されます。
学習目的： RGB画像、接触画像、およびテキストプロンプトが与えられた際の触覚記述の生成に対するクロスエントロピー損失を最小化します。
パラメータ更新：
- クリティカルなパラメータ： 凍結（ $\nabla \mathcal{L} = 0$ ）。これらは事前学習されたVL多様体（manifold）の安定したアンカーとして機能します。
- 休眠パラメータ： マスクを用いて勾配降下法により更新（ $\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$ ）。
- 触覚フロントエンド： 完全な学習が可能。
メカニズム： 更新を休眠部分空間に厳格に隔離することで、Splashはパラメータ多様体全体の摂動を防ぎ、LoRAのような推論レイテンシを増大させる外部モジュールを導入することなく、破滅的忘却を効果的に回避します。

3. 主な貢献

Splashフレームワーク： 視覚関連の破滅的忘却を軽減しつつ、追加の推論オーバーヘッドなしでsMLLMに触覚センシングを統合する、新しいパラメータ分離型適応手法。
統合トレーニング： 触覚フロントエンドとLLMの休眠部分空間を同時に最適化する単一ステージのトレーニングスキームを提供し、マルチステージのアライメント手順を排除。
能力の保持： 小規模モデル（1Bおよび3B）において、最先端（SOTA）の触覚推論能力を達成しながら、モデル本来の汎用的なVL能力を維持できることを実証。

4. 実験結果

著者らは、3つの視覚・触覚・言語（VTL）ベンチマーク（SSVTP, TVL, TacQuad）と、5つの汎用的な視覚・言語（VL）ベンチマーク（MMMU, MathVista, MME, MMBench）を用いてSplashを評価しました。

触覚推論（VTLベンチマーク）：
- Splash-3B（Qwen2.5-VL-3Bベース）は平均スコア4.91を記録し、最強のベースラインであるTVL-LLaMA（7Bバックボーン、スコア4.31）を上回りました。
- Splash-1B（InternVL2.5-1Bベース）は平均5.01を達成し、UniTouch（7Bバックボーン、3.74）やTVL-Qwen（4.50）を凌駕しました。
- Splashは、分布シフト（例：TacQuad）の下でも優れた堅牢性を示し、(IA)3のような他の手法が大幅な性能低下を示す中で、高い性能を維持しました。
能力の保持（VLベンチマーク）：
- Splash-3Bは、ゼロショットのベースラインおよび他の適応モデルと比較して、一般的なVLタスクにおいて性能を維持または向上させました。例えば、MMMUvalをTVL-Qwenの50.0から55.3へ、MathVistaを52.8から65.3へと向上させました。
- 対照的に、VL能力を保持する(IA)3のような手法は、触覚ダイナミクスの学習に失敗（アンダーフィッティング）することが多く、一方でフルファインチューニングやLoRAはVL性能を低下させる傾向がありました。
アブレーション研究：
- スパース性比率： 60%のスパース性比率（60%のパラメータを凍結）が、触覚学習とVL保持の最適なトレードオフを提供しました。100%のスパース性（フルチューニング）では破滅的忘却が発生し、逆にスパース性が低すぎると触覚学習が制限されました。
- キャリブレーションデータ： 本手法はキャリブレーションデータセットの選択に対して堅牢であり、ペアになっていないノイズデータを用いても良好な性能を示しました。これは、手法が特定のセマンティックな整列に過学習しているのではなく、アーキテクチャ固有の冗長性を捉えていることを示唆しています。

5. 意義と主張

本論文は、Splashがリソース制約のあるエッジロボットに向けた高度な触覚知能への実用的な道筋を提供すると主張しています。利用されていない「休眠」重みを特定して再活性化することで、このフレームワークはコンパクトなモデルが、基礎となる推論能力を犠牲にすることなく、複雑な接触ダイナミクスを内部化することを可能にします。

著者らは、Splashが非破壊的なモダリティ拡張を実現することを強調しています。パラメータ空間全体を摂動させる可能性のある加法的パラメータ効率的微調整（PEFT）手法とは異なり、Splashの構造的隔離により、事前学習されたVL推論経路が根本的に損なわれないことが保証されます。これにより、7B以上のモデルによる計算上のボトルネックを克服し、実世界のロボットのエッジデプロイに適した小型モデル（≤3B）上で、洗練された視覚・触覚推論を展開することが可能になります。