ロボットが、厳格なルールに従ってプログラミングされるのではなく、親が靴紐を結ぶ様子を子供が真似るように、人間を観察して模倣することで家事のやり方を学んでいる世界を想像してみてください。これは**VLA（Vision-Language-Action：視覚・言語・行動）**と呼ばれる分野であり、ロボットは「目」（カメラ）と「脳」（言語モデル）を使用して、次に何をすべきかを決定します。このアプローチにおける大きな問題は、ロボットがしばしば「成功した」例からのみ学習してしまうことです。それは、一度も転んだことがない人たちのビデオだけを見て、自転車の乗り方を学ぼうとしているようなものです。もしロボットがよろめいたり、ハンドルバーを落としたりしても、全体がクラッシュするまで、自分が失敗していることに気づけません。ロボットには、「おい、順調だよ！」とか「止まれ！サンドイッチを落としそうだぞ！」と教えてくれるような、内なる「直感」が備わっていないのです。

この論文は、その欠けている「直感」に取り組んでいます。研究者たちは、ロボットに進行状況を示すプログレスバーのような役割を果たす、より小さな「第二の脳」を構築しようとしました。ロボットがタスクを完了するのを待ってから「成功」または「失敗」と判定するのではなく、この新しいシステムは、フレームごとにリアルタイムでロボットを観察します。そして、「今、ゴールまであとどれくらいか？」「今、ミスをしたか？」という問いに答えようとします。目標は、半自律型のロボットをより安全で役立つものにし、人間オペレーターが惨劇を待つために画面を凝視し続けなくて済むようにすることです。

---

あなたが詰まっていることを察知する、ロボットの「プログレスバー」

ValueFormerをご紹介しましょう。これは、ロボットに進行感覚を与えるために設計された新しいツールです。ロボットがサンドイッチを作ろうとしている場面を想像してください。底のバンズを置き、パティを載せ、チーズ、トマト、レタスを加え、最後に上のバンズを載せなければなりません。もしロボットがレタスの工程で行き詰まった場合、成功例からのみ学習している標準的なロボットは、永遠にレタスを掴もうとし続けるか、あるいは最悪の場合、レタスを飛ばしてパティの上にそのまま上のバンズを置いてしまい、すべてが順調であると思い込んでしまうかもしれません。ロボットには、自分が困っているという認識がありません。

この論文の著者たちは、最大の障害は派手な新しいロボットの脳を作ることではなく、**「毎秒ごとに、何が『うまくやっている状態』なのかをロボットに教える方法」**を見つけ出すことにあると気づきました。

「全か無か」のラベルによる問題点

あなたが数学のテストを採点しているところを想像してください。もし最後に一回だけ成績をつけるとしたら、生徒が「いつ」詰まったのかを知ることはできません。最初の問題で失敗したのか、それとも最後の問題だったのでしょうか？

• 従来の方法： ほとんどのロボットは、タスクの最後にある単純な「成功／失敗」のスイッチを用いて学習します。サンドイッチが完成していれば「1」、めちゃくちゃであれば「0」です。
• 欠陥： これは情報が希薄すぎます。もしロボットが途中でミスをしたとしても、そのまま作業を続けた場合、最後の「0」という結果は、ロボットに対して「どの部分が悪かったのか」を教えてくれません。それは、ランナーに対して「レースに負けたよ」と言うだけで、「2マイル地点で躓いたよ」とは教えないようなものです。

研究者たちは異なるアプローチを試みました。彼らは、「高密度なラベル（dense label）」、つまり、ロボットがゴールまであとどれくらい進んでいるのかを、毎分数秒ごとに更新するスコアを求めていました。しかし、ここには難しい点があります。もし失敗した試行全体に対して単に「失敗したのでスコアは0です」と伝えてしまうと、ロボットは混乱してしまいます。ロボットは、うまくいっていた最初の数秒間を見て、「あれ、自分は上手くやっていたはずなのに、失敗していると言われている？ということは、最初から失敗していたということか！」と考えてしまうのです。これはロボットを混乱させ、成功している試行に対してもパフォーマンスを低下させてしまいます。

「成功後減衰（Success-Then-Decay）」による解決策

この論文の主なブレイクスルーは、**「ステージ認識型、成功後減衰（Stage-Aware, Success-Then-Decay）」**と呼ばれる、ミスに対する巧妙なラベル付け手法です。

ロボットが山に登っている（サンドイッチを作っている）と考えてください。

1. 登頂： 登っている間、その「進行スコア」は滑らかに上がっていきます。
2. 滑落： もし滑って落ちた（ミスをした）場合、スコアは即座にゼロにはなりません。代わりに、正しくできた部分（底のバンズとパティ）については高いスコアを維持し、その後、トラブルに気づくにつれて**ゆっくりと減衰（ディケイ）**していきます。
3. 結果： これにより、ロボットは「前半の試行は実際には上手くいっていたが、最後の方はダメだった」ということを学びます。ミスをする前の作業に対して「部分点」を保持するのです。

著者らはこれを、ミスをラベル付けする他の4つの方法（スコアを即座にゼロに落とす、あるいはスコア全体をスケールダウンさせるなど）と比較検証しました。その結果、彼らの「滑らかな減衰」メソッドこそが、ロボットを混乱させなかった唯一の方法であることを発見しました。この方法により、ロボットは「失敗した試行であっても、始まりの部分には価値があった」ことを学ぶことができ、後の成功した試行において予測が「崩壊」することを防ぐことができました。

二つの頭、一つの脳

ValueFormerは、メインのロボットの脳の傍らで動作する、小さく効率的なモデルです。これは、ロボットが二種類の異なる「目」を持っているかのような、ユニークな「デュアルヘッド（二頭）」設計を備えています。

1. 滑らかな目 ($V_{mc}$): これは連続的で緩やかな進行スコア（0から1）を与えます。「60%完了しています」や「停滞しています」といった情報を伝えます。これは全体的な進捗を追跡するのに適しています。
2. 鋭い目 ($V_{bin}$): これはバイナリ（二値）のアラームです。ミスが発生した瞬間に「危険！」と反応します。レタスを落としたときのように、エラーを素早く察知し、サンドイッチが台無しになる前に人間が介入できるように設計されています。

論文では、サンドイッチ作りに関する1,427件の実機ロボットのエピソードを用いて訓練することで、このシステムが以下の4つの明確なパターンを認識できるようになったことを示しています。

• クリーンな成功： スコアが頂点に向かって着実に上昇する。
• 成功と再試行： ロボットが手こずったとき（パティを落としたときなど）にスコアが下がるが、修正すると再び上昇する。
• 早期崩壊： スコアが上昇した後、低下して低いままとなる（早い段階でミスをしたため）。
• スタック・スクラッチング（空回り）： スコアが低いまま停滞している（ロボットが空回りしているため）。

現実世界での結果

研究者たちがこの「プログレスバー」を使ってロボットの学習を支援したところ、結果は有望でした。ロボット自身の「直感」を利用してトレーニングデータを重み付け（苦戦している部分に注意を向けるよう指示）することで、サンドwich作りのタスクにおける成功率を70%から85%へと向上させました。また、すでに配置済みの食材を何度も掴もうとする特定の悪い癖（「リピート・ピック」エラー）も排除することに成功しました。

ただし、著者らは、改善は実在するものの、サンプルサイズ（最終テストのサンドイッチ20個）が小さいため、結果は「確実な解決策」というよりは「示唆的なもの」であると慎重に述べています。また、システムが判断を下すまでに、過去の短い履歴を参照する必要があるため、約5〜10秒程度の反応時間を要することも判明しています。

十分な速度で動作させるために

最後に、チームはこの新しい「プログレスバー」がロボットの動作を遅らせないようにしなければなりませんでした。一つのコンピュータチップ上で二つの脳を動かすのは困難です。彼らは、コストの主因が「思考」の部分ではなく、「見る」部分（カメラ画像の処理）であることを突き止めました。画像の処理方法を最適化（「バッチ処理」と「bf16」という特定の数学形式を使用）することで、進捗確認にかかる時間を3〜5倍高速化しました。これにより、メインのロボット脳と同じコンピュータチップ上で、ラグを起こすことなく2 Hz（1秒間に2回）の速度でスムーズに動作させることが可能になりました。

要するに、ValueFormerはロボットに、「順調ですが、今チーズを落としました。助けが必要です」と言わせる手段を与えます。これは、単に最後に黙って失敗するだけの状態から、自分が困っていることを自覚できる、半自律的なパートナーへと進化させるものです。