AlbumentationsX: One Augmentation Pipeline for Images and Related Annotations

データの壮大なダンス：なぜAIは足を揃え続けなければならないのか

ロボットに猫を認識させる方法を教えている場面を想像してみてください。あなたはふわふわしたトラ猫の写真を見せ、「これは猫です」と教えます。しかし、ロボットをより賢くするために、同じ猫を異なる状況で見せることにしました。例えば、上下逆さまにしたり、ズームしたり、面白いフィルターをかけたりします。このプロセスは**データ拡張（data augmentation）**と呼ばれます。これは、ロボットに千種類の異なるメガネを与えて、魚眼レンズや万華鏡越しに見ても、猫は猫であることを学ばせるようなものです。

しかし、そこには厄介な問題があります。学習用データは単なる写真ではありません。写真は「画像」に加えて、「猫がどこにいるかを示す地図（アノテーションと呼ばれるもの）」がセットになっています。もし、猫の写真を回転させたのに、その地図を回転させるのを忘れてしまったら、ロボットは混乱してしまいます。猫の頭は左を向いているのに、地図では体が右にあると示されている状態です。この不一致が、レッスンを台無しにしてしまいます。あなたがこれから読む論文は、まさにこの問題、つまり、画像を回転させたり、切り抜いたり、色を変えたりするときに、付随するあらゆる情報が完璧に足並みを揃えて動くようにする方法について扱っています。

---

AlbumentationsXとの出会い：混沌としたダンスの指揮者

ここで、この混沌としたデータのダンスにおける究極の指揮者となるべく設計された新しいツール、AlbumentationsXが登場します。学習用データを複雑なオーケストラだと考えてみてください。メインの楽器（画像）、楽譜（マスクまたは物体の輪郭）、特定の楽器のための音符（バウンディングボックス）、そしてダンサーの位置（キーポイント）があります。以前は、音楽を変えたいと思ったとき、ある人には楽譜を回転させるよう頼み、別の人には画像を回転させるよう頼んでいたかもしれません。もし彼らが互いに連絡を取り合っていなければ、結果は悲惨なものになります。

AlbumentationsXは、これらすべてをComposeオブジェクトという一つの巨大で魔法のような箱に入れることで、この問題を解決します。別々の人に異なることを頼む代わりに、オーケストラ全体を一人の指揮者に預けるのです。指揮者が「回転！」や「クロップ（切り抜き）！」と言えば、一度だけ正確な座標を選び出し、それを画像、マスク、ボックス、そしてキーポイントに対して同時に適用します。これにより、もし猫が写真から切り抜かれたなら、その輪郭もマップから全く同じ瞬間に切り抜かれることになります。もうデータの不一致は起こりません！

「ワンコール」の魔法

論文によると、AlbumentationsXは厳格なルール（ポリシー）と、たった一つのランダムシード（魔法の出発点）を保持しています。ツールにサンプルを処理するよう依頼すると、ツールは一度だけサイコロを振ります。「よし、この画像を反転させよう。そして、マスクとボックスも一緒に反転させよう」と決定します。画像を反転させた後、マスクを反転させるかどうかを決めるために再びサイコロを振ることはありません。この一度の意思決定の瞬間が、すべてが整合性を保つことを保証します。

このツールは非常に柔軟です。以下のものに対応できます：

• ステレオビジョン： 2つのカメラ（左と右）で写真を撮る場面を想像してください。AlbumentationsXはこれら2つの画像をペアとして扱い、左側のビューをクロップすれば、右側のビューも全く同じ箇所がクロップされるようにします。
• デプスマップ（深度マップ）： これらは、物体の距離を示す3Dマップのようなものです。ツールは、カラー写真の明るさを変えることはできても、デプスマップの幾何学的な形状をいじってはならないことを理解しています。形状の変化は一貫性を保ちつつ、デプスマップに対する色の変化はスキップします。
• ビデオクリップ： ビデオを持っている場合、カメラがランダムに飛び回ることは望ましくありません。AlbumentationsXはビデオ全体を一つのユニットとして扱うため、ビデオをクロップする場合、すべてのフレームが同じ場所でクロップされ、ジリジリとした乱れた動きではなく、滑らかで自然なズームを実現します。

独自のルールを作る

最も素晴らしい機能の一つは、独自のカスタムムーブ（動き）を作れることです。例えば、あなたのプロジェクトに特定のタイプのカメラの不具合や、奇妙なセンサーエラーをシミュレートする必要があるかもしれません。論文では、カスタムの「トランスフォーム（変形）」を書き、それをパイプラインの真ん中に直接投入する方法が示されています。これは同じ箱の中にあるため、組み込みの動きと同じルールと確率に従います。それは、振り付けの中に新しいステップを加えるようなものです。ルーチンに含まれている限り、全員が一緒にその動きを行います。

セーフティネット：魔法を再現する

もしロボットが変なことを学習してしまい、一体何が起きたのかを知りたいと思ったらどうすればよいでしょうか？論文では、巧妙なトリックであるReplayComposeを提案しています。特定の呼び出し中にどのランダムな選択が行われたかの記録を保存することができます。後でその記録を再び入力すれば、ツールは全く同じ変換を再現します。これは、ビデオゲームのレベルで「巻き戻し」を行うようなものですが、時間を戻すのではなく、間違いがどこで起きたのかを確認するために、全く同じ一連の出来事を再生するのです。

このツールができること（とできないこと）

著者は、AlbumentationsXが何であり、何ではないかを非常に明確に述べています。これは整列（アライメント）のためのツールであり、読心術師ではありません。猫の画像を上下逆さまに回転させることは喜んで行いますが、それがあなたの特定のタスクにとって良いアイデアかどうかまでは教えてくれません。もし道路標識を読むロボットを訓練しているなら、画像を上下逆さまにすることは標識を読めなくしてしまうかもしれませんが、ツールはそれを止めてはくれません。どの動きが特定の課題に対して理にかなっているかを判断するのは、依然として人間の専門家の役割です。

また、論文では、他のツール（TorchVisionやKorniaなど）も存在することを指摘していますが、AlbumentationsXは121種類もの異なる2Dトランスフォームの膨大なライブラリを持ち、これらの異なる種類のデータ（画像、マスク、ボックス、ビデオ）を完全に同期させるために特別に構築されている点で際立っています。これは最速であるとか、唯一の方法であると主張しているのではなく、データが不一致によって「破損」するのを防ぐ、非常に信頼性の高いパッケージ化されたソリューションを提供しているのです。

要約すれば、AlbumentationsXは一貫性の守護神です。コンピュータビジョンのモデルを教えるためにデータを操作するとき、画像だけを動かしてマップを置き去りにするという、レッスンを台無しにするミスを防いでくれます。それは、全員が自分の足に躓いて転んでいる混沌としたダンスフロアと、すべての動きが完璧に同期した、見事な振り付けのパフォーマンスとの違いなのです。