Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

あなたは、ロボットに見たこともない写真を説明する方法を教えようとしていると想像してください。あなたは、ロボットの「学校生活」の間に、写真とその正しい説明を一緒に見せてはいけません。それは、厳格なゼロショット学習の世界における「厳格なゼロショット学習プロトコルへの違反」となるからです。その代わりに、あなたはロボットに膨大なテキスト記述のライブラリと、言葉に基づいて写真がどのような見た目であるかを大まかに推測できる特別なメガネを与えます。ロボットの仕事は、新しい写真を見て、ライブラリの中から最も類似した記述を見つけ出し、それらを使って新しいキャプションを書くことです。

長い間、このプロセスはあるフラストレーションの溜まる壁に突き当たっていました。ロボットはいくつかの似た記述を見つけ、最良のものを選び、そして自身の内部にある「言語脳」に文章を完成させさせていました。問題は、一度ロボットが書き始めると、自分が言っていることが実際に写真と一致しているかどうかを確認するのをやめてしまうことでした。ロボットは流暢さや文法的な正しさに集中しすぎてしまい、視覚的な詳細を無視してしまうことがよくありました。それは、有名な山についての台本を暗記したツアーガイドが、ツアーが始まると、目の前の特定の山が実は火山であることに触れるのを忘れ、ただ一般的にいかに山が美しいかについて話し続けてしまうようなものでした。

この論文はそのまさにその問題に取り組んでいます。人工知能とコンピュータビジョンの分野で研究を行っている研究者たちは、ロボットを誠実な状態に保つための新しい方法を提案しています。彼らはこれを「アジュディケイテッド・キャプショニング（判定付きキャプション生成）」と呼んでいます。ロボットに物語全体を書かせて、あとはうまくいくのを祈るのではなく、彼らは複数の段階で仕事をチェックする厳格な「審判員」のチームを導入しました。彼らはロボットの脳を再学習させる（そのためには写真と答えを一緒に見る必要があります）のではなく、ロボットが最初のドラフトを作成した後に実行される、スマートで自己修正可能なレイヤーを追加します。

この新しいシステムがどのように機能するかを、シンプルな物語を使って説明します。

古い方法：一度きりのチェック
古いシステムでは、ロボットはスノーボーダーの写真を見て、ライブラリに「どの言葉がこれに近い？」と尋ねました。そして9つの似た記述を見つけました。トップ5を選び、それから言語脳が書き始めました。ロボットは、「スノーボーダーとスノーボーダーがポーズをとっている」と書きました。システムはそこで止まりました。「待てよ、この写真は本当に二人組の人間を示しているのか？」とは決して問いませんでした。単に、自身の言語脳が正しいと信じてしまったのです。これにより、CIDEr（キャプションがいかに優れているかを測定する方法）という標準的なテストにおいて108.0というスコアになりました。

新しい方法：多段階の法廷
著者たちは、ロボットにはもっと多くのチェックが必要であることに気づきました。彼らは、正解（グラウンドトゥルース）を一度も見ることなく協力して働く3人の新しい「審判員」を備えたパイプラインを構築しました。

1. より強力な司書（ステージ1）： まず、彼らはロボットのメガネをより鋭いものに交換しました。標準的なレンズの代わりに、初期の記述を見つけるために、巨大で強力なモデル（OpenCLIP ViT-bigG/14）を使用しました。これだけでロボットは賢くなり、スコアは111.6に上昇しました。
2. クロスエグザミナー（ステージ2）： 次に、二人目の審判員を追加しました。この審判員は単に言葉を見るだけでなく、写真とテキストの関係を真に研究するために、特別な「クロスアテンション」ツール（BLIP-ITM Verifier）を使用します。これは司書が見つけた上位9つの記述を取り込み、それらを再ランク付けして、最良の5つを選び出します。この審判員は司書とは異なり、司書が見逃すものを見つけ出します。もし司書が、ある写真について「一人の男」についてであると考えていても、この審判員はそれが実際には「二人の男」であることを悟るかもしれません。このステップは極めて重要です。なぜなら、二人の審判員はしばしば意見が食い違い、その意見の相違がシステムが真実を見つける助けとなるからです。
3. 最終仲裁者（ステージ4）： 最後に、ロボットは20個の可能な文章のリスト（ビーム）を生成します。通常であれば、単に最も流暢に聞こえるものを選びます。しかし今では、2つの新しい、自己学習型の小さなAIヘッド（TriFuseとMemAttendと命名）が介入します。これらのヘッドは、20個の文章それぞれに対して、以下の3つの質問を投げかけます。
   • 言語脳はこの文章を好むか？
   • より強力な司書は、これが写真と一致していると考えるか？
   • クロスエグザミナーは、これが写真と一致していると考えるか？

これら2つの新しいヘッドは、巧妙な方法で訓練されています。彼らは教師となる正解を必要としません。代わりに、彼らは上記の3人の審判員を見守ります。もし3人の審判員全員が特定の文章がベストであると同意した場合、新しいヘッドはその文章を選ぶように学習します。それは、正解を直接教えられるのではなく、専門家パネルが正解に同意する様子を見守ることで学ぶ学生のようなものです。

結果
これらのチェックを追加することで、システムは単に言葉遣いが良くなっただけでなく、より正確になりました。COCO Karpathyテストにおいて、新しいシステムはCIDErスコア117.6に達しました。これは、以前の最高スコアである108.0からの大幅な跳躍です。さらに印象的なことに、他のAIが生成した「偽の」画像を使用して自分自身を訓練した手法（スコア109.9）をも上回りました。しかも、ロボットはトレーニング中にペアになった画像を一つも見ていない状態でこれを達成しました。

論文では、Flickr30kやNoCapsといった異なる種類の写真についてもテストを行いました。システムはこれらについてもスコアを向上させ、それぞれ+8.1および+5.7ポイントの上昇を記録しました。これは、この「マルチジャッジ」アプローチが、ロボットが特別に訓練されていない画像に対しても有効であることを証明しています。

彼らが否定したもの
研究者たちは、これが魔法ではないことを示すために注意深く作業しました。彼らは、単に言語脳を強くするだけでは答えではなかったことを証明しました。改善は、画像とテキストの一致を「どこで」「どのように」チェックしたかによってもたらされたのです。また、単に二番目の審判員を追加するだけでは不十分であることも示しました。審判員は、異なる種類のモデル（一つはデュアルエンコーダー、もう一つはクロスアテンションマッチャー）であり、異なる種類のミスを捉えられる必要があるのです。彼らはさらに、「負の」アイデアについてもテストしました。つまり、ロボットに何を言うべきではないかを教えるために、最も悪い記述を使ってみることです。それは実際には状況を悪化させたため、最高の合致に焦点を当てることが正しい道であったことが証明されました。

確信度
論文の数値には非常に自信を持っています。彼らはテストを何度も実行し、結果は安定しており、コンピュータハードウェアの癖によるわずかなランダムな変動（約0.1ポイント）しかないことを確認しました。また、改善が、単に同じテストセットで訓練されたバージョンの審判員を使用したからではないことも示しました。異なる写真セットで訓練された審判員に交換しても、システムは依然として大幅に改善しました。

要約すると、この論文は、AIキャプション生成が停滞していた理由は、ロボットがバカになったからではなく、自分自身の言葉を信じすぎていたからであることを示唆しています。あらゆる段階で作業を検証するために、独立した自己教師あり学習の審判員チームを追加することで、システムは厳格なゼロショット学習のルールを破ることなく、世界をより正確に記述することを学んだのです。