Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties

ロボットが家事を行い、車を組み立て、ガジェットを組み立てる究極の助手となる世界を想像してみてください。しかし、最も賢いロボットでさえ苦戦する厄介な仕事が一つあります。それは、乱雑に混ざり合った部品が詰まった箱の中から、特定のパーツを一つだけ取り出すことです。これは「ビン・ピッキング（容器からの取り出し）」と呼ばれます。たくさんの同じようなレゴブロックが絡まり合い、上を向いていたり、横を向いていたり、他の下に隠れていたりするバケツの中から、特定のブロックを探し出すようなものです。人間にとってこれは簡単です。目を細めたり、首を傾けたり、手探りで探ったりできます。しかし、ロボットにとっては混乱の悪夢です。もしロボットがパーツの向きを誤って推測してしまうと、逆さまに掴んだり、落としたり、あるいは最悪の場合、機械に間違った向きで押し込もうとしてクラッシュを引き起こしたりするかもしれません。現在のロボビクスにおける大きな問いは、「どうすれば、物事がめちゃくちゃな状態でも、私たちのように適応力があり、慎重な機械を作ることができるのか？」ということです。

本論文は、ロボットが不確実性を扱うのを助けるための「モジュール式」の手法を導入することで、まさにこの問題に取り組んでいます。ロボットにオブジェクトの位置について一つの完璧な推測を強いるのではなく、著者らはロボットが「可能性」という観点で考えることを提案しています。ロボットは単にパーツを見て「ここにある」と言うのではなく、「おそらくここにあるが、あそこにあるかもしれないし、あるいは裏返っているかもしれない」と考えるのです。論文では、ロボットが組み合わせて使えるさまざまなトリック（あるいはモジュール）のツールキットを提案しています。あるトリックは、混乱を解消するために異なる角度から二枚目の写真を撮ることです。また別のものは、オブジェクトを特別なトレイに移動させ、平らに置いて再確認することです。著者らはこれらのアイデアを実機のロボットでテストし、これらのモジュールを組み合わせることで、ロボットが非常に高速かつ高信頼になり、パーツが見えにくい場合でもほとんどミスをしなくなることを発見しました。

ロボットのジレンマ：散らかったビン

乱雑に積み重なった金属部品が入ったビンの上に立つロボットアームを想像してください。ロボットの仕事は、それらを一つ拾い上げ、機械に入れることです。問題は、パーツが混沌とした山になっていることです。時には、パーツが左を向いているか右を向いているか、あるいは裏返っているかによって、見た目が全く同じに見えることがあります。これを科学者たちは「曖昧性（アンビギュイティ）」と呼んでいます。もしロボットが間違ったものを選んだり、間違った向きで掴んだりすると、プロセス全体が失敗します。

以前のロボットは、一枚の写真を取り、最善の推測を行うことでこれを解決しようとしてきました。しかし、その推測が間違っていた場合、ロボットはパーツを挿入しようとして失敗し、最初からやり直さなければなりませんでした。それは目隠しをしてパズルを解こうとするようなものでした。運良く成功することもあるかもしれませんが、おそらくピースを落としてしまうでしょう。論文の著者らは、単一の答えを強制するのではなく、ロボットが頭の中に「可能性のリスト」を持つべきだと気づきました。ロボットは「このパーツが上を向いている確率は60%、下を向いている確率は40%だ」と言うべきなのです。このリストは「ポーズ分布（姿勢分布）」と呼ばれます。

モジュラー・ツールキット：トリックの組み合わせ

この論文の核心的なアイデアは、散らかったビンを解決する方法は一つではないということです。代わりに、著者らは「モジュラー・フレームワーク」を構築しました。これは、キャラクターを強くするために異なるパワーアップアイテムを装備できるビデオゲームのようなものです。すべてを使う必要はありませんが、組み合わせることでより強力になれます。論文では、ロボットが使用できる3つの主要な「パワーアップ（モジュール）」を紹介しています。

1. 二度目の確認（セカンド・ビュー）： 時には、ロボットのメインカメラではパーツがどちらを向いているかを知るのに十分な情報が得られないことがあります。それは、ポケットの中にあるコインの上面を見るだけで、それが表か裏かを判断しようとするようなものです。解決策は？ ロボットは二枚目のカメラを異なる角度に移動させます。論文では、これを30度横からの角度での撮影と説明しています。最初のカメラからの「推測」と二枚目のカメラからの「推測」を組み合わせることで、ロボットは可能性を絞り込むことができます。これは、二人の友人に道を聞くようなものです。もし二人が同じことを言えば、正しい方向に進んでいるという自信が深まります。

2. 安全トレイ（再配向トレイ）： 二枚の写真を撮った後でもまだ混乱している場合、あるいはパーツがビンの奥深くに埋まっている場合、ロボットにはバックアッププランがあります。ロボットはオブジェクトを掴み、特別な平らなトレイに移動させます。このトレイは空で清潔なので、オブジェクトは他のものにぶつかることなく平らに置かれます。オブジェクトがトレイに入ったら、ロボットは新しい写真を撮ります。オブジェクトが他のパーツと絡まっていないため、ロボットは正確な位置を特定できます。これは、絡まったヘッドホンのコードの一端を引き出し、テーブルの上に平らに置いて、どこで結び目になっているかを確認するようなものです。

3. 手元での検証（インハンド・ポーズ・ベリフィケーション）： オブジェクトを掴んだ後でも、ロボットは少し斜めに掴んでしまっている可能性があります。絶対を確認するために、ロボットはオブジェクトを「手（グリッパー）」にあるカメラにかざします。そして、見えているものと、本来「見えるはずだったもの」を比較します。もしオブジェクトが予想と異なる場合（例えば回転していたり、違う面が見えていたりする場合）、ロボットはミスをしたと判断します。機械に無理に押し込もうとする代わりに、オブジェクトを戻してやり直します。これは、靴紐を結ぶ前にチェックするようなものです。もし変な形をしていれば、後でつまずかないように、一度解いてやり直します。

実験の結果

著者らは単にアイデアを語っただけでなく、実際にテストするためのロボット構成を構築しました。3Dセンサーと特殊なグリッパーを備えたロボットアームを使用し、3種類の異なるオブジェクト（Novoオブジェクト、ドライブシャフト（WRS-08）、プーリー（WRS-11））でテストを行いました。これらのオブジェクトは、カメラを混乱させる光沢のある表面を持っていたり、角度によって同じように見えたりするため、非常にトリッキーなものとして選ばれました。

結果は素晴らしいものでした。元の方法（ビンの中から直接推測するだけ）を使用した場合、成功率は89%で、一つのオブジェクトを入れるのに平均2.5回の掴みが必要でした。しかし、「安全トレイ」モジュールを追加すると、成功率は100%に跳ね上がり、掴む回数は2.25回に減少しました。「二度目の確認」モジュールを追加するとさらに高速化し、わずか2.05回の掴みとなりました。最高のパフォーマンスは、すべてのモジュールを併用したときでした。ロボットは100%の成功率を達成し、オブジェクトあたりの掴み回数はわずか1.91回でした。

また、論文ではこれらの手法を有名なロボットコンテスト（ワールド・ロボット・サミット）のオブジェクトに対してもテストしました。これらのオブジェクトは非常に難易度が高く、これまでの試みでは成功率がわずか1.6%であったこともあります。彼らの新しいモジュール式システムを使用することで、ロボットはこれらの困難なパーツに対しても100%の成功率を達成し、オブジェクトあたり平均2.2回から3.3回の掴みで完了しました。

著者らが主張していること（およびしていないこと）

この論文が主張していないことを理解しておくことは重要です。著者らは、現在のシステムは主に回転（コインを回転させるような動き）に関する混乱が生じる、円筒形や平らな形状のオブジェクトに対して最も効果的であることを明言しています。現在のシステムは、平面内での回転（SO(2)）のみを扱い、あらゆる方向への完全な3D動作（SE(3)）は扱っていないことを認めています。将来の研究では、より複雑な形状にも対応できるよう拡張できる可能性があると示唆していますが、現時点でそれを解決したとは主張していません。

また、彼らは他のいくつかのアイデアを明確に否定しています。例えば、「振動フィーダー」（部品を仕分けするために揺らすトレイ）の使用も検討しましたが、小規模なバッチには時間がかかりすぎ、オブジェクトの種類ごとに調整が必要になるため、採用しませんでした。また、「非把持操作（パーツを掴まずに押す操作）」についても検討しましたが、精密な制御が困難であるため、代わりに「掴む、確認する、そして掴み直す」というモジュール型のアプローチを採用しています。

論文は、これらのモジュールを組み合わせることで、単に速いだけでなく、信頼性の高いロボットを構築できることを示唆しています。鍵となるのは「柔軟性」です。写真を二枚撮るか、清潔なトレイに移動するか、あるいはグリップをダブルチェックするかを切り替えられるロボットは、一度にすべてをやろうとするロボットよりもはるかに優れています。著者らは、このアプローチが、予測不能で散らかった現実世界を扱うロボットシステムを実現するための有望な方向性であると考えています。