Omni-Persona: Systematic Benchmarking and Improving Omnimodal Personalization
本論文は、テキスト、画像、およびオーディオの評価を統合する新たな校正精度（Calibrated Accuracy）指標を備えた、オムニモーダルなパーソナライゼーションのための初の包括的なベンチマークであるOmni-Personaを紹介し、現在のモデルのグラウンディング能力における決定的な欠落や、SFTおよびRLVRといった既存のポストトレーニング手法の限界を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたの目の前には、写真を見、声を聞き、テキストを同時に読み取ることができる、超スマートなデジタルアシスタントがいるとします。これが「オムニモーダル（全様態的）」AIの世界です。一つの脳が、目、耳、そして言葉を通じて、同時に世界を理解しようとする世界です。しかし、そこには厄介な問題があります。それは、このアシスタントを真に「パーソナル（個人的）」にすることです。あなたは、群衆の中から「あなたの顔」を認識し、「あなたの声」を他人の声から見分け、「あなたのお気に入りの物語」を記憶してほしいと考えています。しかし、現実の世界は混沌としています。時には、「あの人は誰？」と尋ねても、その人はそもそもそこにいないこともあります。真にスマートなアシスタントなら、単に推測するのではなく、「わかりません」と言うべきなのです。
長い間、研究者たちは主に画像とテキストを用いてアシスタントのテストを行ってきましたが、音声の部分は無視されてきました。また、答えが確実に存在する、完璧で清潔な部屋でのテストが中心でした。この論文は、「Omni-Persona」と呼ばれる新しい、より過酷なテストを紹介しています。これは、パーソナルAIに対する「ストレス・テスト」のようなものです。単に「正しい答えを得られたか？」（これは学生が教科書を暗記したかどうかを確認するようなものです）と問うのではなく、「いつ答えないべきかを理解できたか？」を問うのです。このテストは、AIが、尋ねられている人物がメモリバンクに全く存在しないような、現実世界のノイズを処理できるかどうかを検証します。
研究者たちは、現在のAIモデルがどれほど上手く対処できるかを検証するために、約750種類もの異なるシナリオを含む、巨大な遊び場を構築しました。彼らは「ペルソナ・モダリティ・グラフ（Persona Modality Graph）」と呼ばれるシステムを作成しました。これは、巨大な接続の網のようなものです。AIのメモリ内にいる各人物は、写真、音声クリップ、テキストによる経歴という3つの筋を持つ「ノード」として存在します。質問を受けると、AIはその網の中で正しい筋を見つけ出し、正しい糸を引き出さなければなりません。テストには、顔と顔のマッチング、声と声のマッチング、テキストの手がかりとテキストによる経歴のマッチング、そして最も難しい、テキストの手がかりを使って声や写真に基づいて人物を見つけるという、4つの主要なチャレンジが含まれています。決定的なことに、これらの質問の約半分は、尋ねられている人物がメモリの中に全く存在しない「ひっかけ問題」です。目標は、AIが作り話をするのではなく、「判断できません」と自信を持って言えるかどうかを見ることです。
チームは、大手テック企業のモデルやオープンソースのモデルを含む、いくつかの有名なAIモデルをこの試練にかけました。そこで、いくつかの驚くべき事実が判明しました。第一に、AIモデルは音声よりも顔を認識することに長けています。それは、鋭い目を持っている一方で、耳がぼんやりしているようなものです。顔は容易に見つけられますが、声が唯一の手がかりである場合、しばしば混乱してしまいます。第二に、単にAIを大きくすること（「脳の力」やパラメータを増やすこと）が、必ずしもパーソナルな能力を高めるわけではないということです。実際、最大規模のモデルの中には、いつ沈黙を守るべきかを知るのが最も苦手なものもあり、答えがない場合に「ハルシネーション（幻覚）」を起こして作り話をしてしまうことがよくありました。
チームは、モデルを改善するための2つの異なる学習方法もテストしました。第一の方法は「SFT（教師あり微調整）」であり、これはAIに正解が書かれた大量のフラッシュカードを与えるようなものです。研究者は1,000枚、そして10,000枚のカードを与えてみましたが、AIがこのトリッキーな「欠落した人物」の問題に対処する能力は、あまり向上しませんでした。単に多くの例を暗記させるだけでは、AIに不確実性を扱う方法を教えることはできないようです。
第二の方法は「RLVR（検証可能な報酬を伴う強化学習）」であり、これはビデオゲームのようなものです。AIは回答を試み、正解すればポイントを獲得し、間違えればポイントを失います。研究者は、この方法が、人物が「存在する場合」に正しい答えを見つける能力を大幅に向上させることを発見しました。しかし、これには副作用がありました。AIがゲームに熱中しすぎてしまったのです。AIは、答えを知らないときでも、ポイントを得るために推測を始めてしまいました。これにより、「較正された正確性（calibrated accuracy）」、つまり「正解であること、かつ、いつ止まるべきかを知っていること」というスコアが悪化しました。この論文は、このゲームのような学習法はAIに探し物を見つけさせるのには役立つものの、「わからないときは『わかりません』と言う」ことを教えるための、より優れたルールブックが必要であると示唆しています。
結局のところ、著者たちは、私たちは完璧なパーソナルAIに至るまで、まだ長い道のりがあると考えています。現在のモデルは、目の前にあるものを認識することには長けていますが、情報が欠落しているという現実の混沌とした状況には苦戦しています。彼らは、謙虚であるべき時に自信過剰になってしまいます。この論文は魔法のような解決策を提示しているわけではありませんが、AIがどこで失敗しているのかを示す非常に明確な地図を提供しており、次のステップは単にモデルを大きくすることではなく、「自分が何を知らないかを知る」という技術を教えることであることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。