Doomed to Re-Annotate, Forever: The ImageNet Story

ロボットに世界の「見方」を教える様子を想像してみてください。それは、子供が動物園で動物を認識することを学ぶプロセスに似ています。これを行うには、写真のすべてに中身の正しい名前がラベル付けされた、巨大な絵本が必要です。コンピュータビジョンの世界では、この「絵本」はImageNetと呼ばれています。10年以上にわたり、これはゴールドスタンダード（標準）であり、ロボットの「目」がいかに鋭くなっているかを測る究極のテストとなってきました。テストは単純です。ロボットに写真を見せ、「この写真のメインのものは何ですか？」と尋ねます。ロボットが正しい単語を当てれば、1ポイント獲得できます。このスコアは「Top-1精度」と呼ばれ、あらゆる主要な人工知能のブレイクスルーのスコアボードとなってきました。

しかし、落とし穴があります。もし、あなたの絵本が、動物についてあまり詳しくない人々によって、時給制で急いで書かれたものだったとしたらどうでしょう？彼らは茂みに隠れている2番目の動物を見逃したり、おもちゃの犬を本物の犬と呼んだり、鏡の反射を実際の物体としてラベル付けしたりするかもしれません。時間が経つにつれて、こうした小さなミスが積み重なっていきます。もしテスト用の本がめちゃくちゃであれば、ロボットが本当に賢いのか、それとも単にめちゃくちゃな答えを推測して運良く当たっただけなのか、判断できなくなります。この論文は、そのめちゃくちゃな絵本を詳しく調査し、それが実際にどれほど混乱しているのか、そしてスコアボードを壊すことなく、どのようにクリーンアップできるかを探っています。

大いなるImageNetの大掃除：不正確なラベルとスマートなロボットの物語

ImageNet-1kというデータセットを、AIの世界全体が「目」を鍛えるために使ってきた、巨大な5万ページのフォトアルバムだと考えてください。長年、研究者たちはこのアルバムを聖典のように扱い、すべてのラベルが完璧であると想定してきました。しかし、この論文の著者であるチェコ技術大学プラハの研究チームは、虫眼鏡を持ってその全体を精査することに決めました。彼らはシンプルで恐ろしい問いを投げかけました。「もし、私たちのテスト用の本の答えが間違っていたらどうなるだろうか？」と。

彼らは単に数ページを覗き見ただけではありません。検証セット全体をゼロから再アノテーション（再ラベル付け）したのです。つまり、5万枚の画像をすべて改めて見直したことを意味します。ただし、今回はよりスマートで慎重なアプローチを用いました。彼らは、従来のラベル付けの方法――人間が写真に対してたった一つの言葉を選ばなければならない方法――は、混沌としたパーティーを、入り口の近くに立っている人物の名前だけで説明しようとするようなものだと気づきました。それでは、DJやケーキ、あるいはテーブルの上の猫を見逃してしまうかもしれません。

衝撃の事実：アルバムはめちゃくちゃだった
作業を終えたとき、彼らは元のラベルが完璧とは程遠いものであることを発見しました。

• 「誤答」率： 約**12%**の画像で、ラベル自体が完全に間違っていました。これは、猫の写真が犬としてラベル付けされているような状態です。
• 「アイテムの見落とし」率： なんと**33.3%**の画像には、実際には複数の重要なものが含まれていましたが、古いラベルは一つしか選んでいませんでした。もし写真に犬、ボール、フェンスがあったとしても、古いラベルは単に「犬」とだけ答え、残りの要素を無視していたのです。
• 「不一致」率： 驚くべきことに、**3.8%**の画像には、テスト対象であるはずの1,000のカテゴリの中に該当するものが含まれていませんでした。これらは空白の状態か、あるいはルールに適合しないものでした。

これを修正するために、チームはReImageNetを作成しました。人間に対して「唯一の勝者」を選ぶことを強いるのではなく、マルチラベルのアノテーションを許可しました。彼らはアノテーターが「よし、ここには犬とボールとフェンスがある」と言えるようにしたのです。また、トリッキーな状況に対処するための特別な「属性」も追加しました。

• 反射（Reflection）： 鏡の中に顔が見える場合、それは顔でしょうか？ はい、ですがそれは「反射」です。
• レプリカ（Rendition）： それは本物の銃ですか、それともおもちゃの銃ですか？ ラベルはその違いを知る必要があります。
• 群衆（Crowd）： 写真の中に50人の人がいる場合、全員をカウントすべきでしょうか？ 彼らは、アノテーターが50個の小さなボックスを描かなくて済むよう、グループのための特別なタグを作成しました。

「人間＋ロボット」のチーム
彼らの物語の中で最も興味深い部分の一つは、その「やり方」です。彼らは単にインターネット上の群衆に依頼する（クラウドソーシングと呼ばれる手法）のではなく、最善を尽くしました。クラウドソーシングは、ルールを短いマニュアルで説明するのが難しいため、混乱を招きやすいことが分かっています。

代わりに、彼らは「ドリームチーム」を結成しました。訓練を受けた専門家グループを雇い、彼らに「スーパーパワー」を与えました。それはAIアシスタントです。彼らは強力なAIモデル（GPT-4oなど）を使用して、まず写真を観察し、そこに何があるかを提案させました。その後、人間の専門家がそれらの提案をチェックしました。これはコラボレーションでした。AIは「速くて疲れを知らない偵察兵」であり、人間は「慎重な編集者」でした。論文によれば、この組み合わせが最も高品質なラベルを得るための最良の方法でした。AI単体では完璧ではなく、人間単体では遅すぎましたが、両者が協力することで、新たなレベルの正確性に到達したのです。

ロボットをテストした結果はどうなったか？
新しい、クリーンなラベルを手に入れた後、彼らは古いAIモデルを再びテストにかけました。結果は「おっと」と「わあ」が混ざり合ったものでした。

• 旧世代（教師あり学習モデル）： 乱れた古いラベルで学習していた従来のAIモデルは、あまり改善しませんでした。スコアの上昇はわずか**0.05%から1.2%**でした。これらは、すでに乱れた答えをうまく推測するように学習してしまっていたようです。
• 新世代（MLLM）： より高度で新しいモデル（マルチモーダル大規模言語モデル）は、劇的な跳躍を見せました。スコアは**5%から6%**増加しました。これは、これらのよりスマートなモデルが、実は古い、乱れたラベルによって「混乱させられていた」ことを示唆しています。ラベルが整理されたことで、彼らはようやく本来の実力を発揮できたのです。

「ズームイン」の驚き
チームはさらに巧妙なことも行いました。写真から特定のオブジェクト（例えば、犬だけのクロップ画像）を切り出し、ロボットにその小さな断片に対してテストを行わせました。その結果、古いスタイルのロボットは、背景がなくなると認識能力が著しく低下することが分かりました。精度は最大**33%**も低下しました。これは、それらのロボットが、実際に犬を認識しているのではなく、背景（例えば、犬は通常芝生の上にいるという知識）に依存していたことを意味します。新しい、よりスマートなモデルはこの点において非常に優れており、実際にオブジェクトを「見ている」ことを証明しました。

波及効果
論文は、この「乱れ」がImageNetだけに留まらないことも警告しています。多くの他のテストがImageNetを設計図として構築されているため、エラーはウイルスのように対象へと広がっています。著者たちの推定では、これらの派生テストは、オリジナルよりも1.7倍から5.8倍多く、エラーを含んでいます。これは、もし設計図に間違った寸法が書かれていた設計図を使って新しい家を建てたら、その新しい家も同様に歪んでしまうようなものです。

まとめ
著者たちは、完璧なテストを一度に作り上げることはできないと結論付けています。それは一度限りの仕事ではありません。継続的なプロセスなのです。常にチェックし、洗練させ続け、利用可能な最高のツールを使い続ける必要があります。彼らは、「ワンショット（一度きり）」のアノテーションの時代は終わったと主張しています。AIの未来を築くためには、注意深い人間と強力なAIのパートナーシップが必要であり、互いの仕事を絶えずチェックし合う必要があるのです。

要するに、この論文は、長い間、私たちは誤植だらけのテストでAIを採点してきたのだと教えてくれています。今、その誤植を修正したことで、あるAIは私たちが思っていたよりもずっと賢く、一方で別のAIは単に間違った答えを当てるのが得意だっただけであることが判明しました。そして、すべての人への教訓はこうです。「そのテストブックが古ければといって、盲信してはいけない。時には、書き直さなければならないこともあるのだ」と。