FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

あなたは、高額な受験料を払って入る試験会場に座っていると想像してみてください。しかし、単にページ上の文字を読んでいるのではありません。そのテストは、難解な教科書、複雑な図解、書き殴られた数式、そして6つの異なる言語で書かれたチャートが混ざり合った、混沌としたコラージュです。あなたの仕事は、この視覚的な混乱状態を見て、そこからトリッキーな質問に答えることです。これは「マルチモーダル推論（Multimodal Reasoning）」という分野の世界であり、コンピュータが、画像を「見る」ことと、その中のテキストを「読む」ことの両方ができる人間の学生のように振る舞おうとする試みです。長い間、大きな疑問は「コンピュータの脳は、合格するためにどれほど賢くなる必要があるのか？」でした。しかし、落とし穴があります。たとえ超知能なコンピュータが数学や科学を完璧に理解していたとしても、「喋りすぎたり」、「間違った言語を使ったり」、「採点マシンが読み取れないような汚い形式で答えを書いたり」すると、テストに落ちてしまう可能性があるのです。それは、天才的なエッセイを書いたものの、名前を書く欄を忘れてしまったために、ゼロ点を取ってしまう学生のようなものです。

この論文は、ドイツのチーム（FAU）が、まさにこの問題を解決するために「ImageCLEF 2026」というコンペティションに参加した物語を伝えています。彼らは単に賢い脳を作ったのではありません。「より厳格な教師」を作ったのです。彼らの主な発見は、コンピュータにどのように答えさせるかが、コンピュータ自体と同じくらい重要であるということでした。彼らは、選択式問題においては、コンピュータに答えを「書かせる」のではなく、代わりに審判のように選択肢を「スコア付け」させる方が良いことを見つけました。自由記述型の質問については、コンピュータに対して、最終的な結果を提出する前に、すべての「思考のプロセス」を削ぎ落とし、簡潔かつ清潔にすることを強制する必要があることを学びました。彼らは、OCR（光学文字認識）によるテキストの参照シートを与えたり、新しいことを教え込んだり（ファインチューニング）といった一般的なテクニックも試しましたが、驚いたことに、それらのテクニックは逆にコンピュータのパフォーマンスを低下させました。厳格なルールと回答のクリーニングに焦点を当てることで、彼らのシステムはリーダーボードのトップへと登り詰め、強力だが乱雑なAIを、信頼できる受験者に変えることができる「エンジニアリングの規律」が重要であることを証明しました。

挑戦：視覚的な試験

コンペティションには主に2種類の質問がありました。1つ目は、**視覚的選択式問題（Visual MCQ）**です。ブルガリア語で書かれた生物学の問題があり、データ表とAからEまでのラベルが付いた5つの選択肢がある場面を想像してください。コンピュータは正しい文字を選ばなければなりません。2つ目は、**視覚的自由記述型回答（Visual OpenQA）**です。ここでは選択肢はありません。コンピュータは図解（例えば経済チャート）を見て、質問と同じ言語で短く直接的な回答を書かなければなりません。

厄介な点は、これらの画像が「高密度」な情報に満ちていることです。これらは単なる猫の写真ではありません。数式、単位、そして極小のテキストが含まれた科学論文のページなのです。コンピュータがレイアウトに混乱したり、数字だけが必要な場面で長い説明を書いてしまったりすると、失点してしまいます。

戦略：「書くのではなく、スコアを付ける」テクニック

選択式問題において、チームは、コンピュータに「A because...（Aである理由は……）」といった文章を書かせることが危険であると気づきました。コンピュータは正しい文字を選んだとしても、余計なテキストを纏わせてしまい、採点システムを混乱させてしまう可能性があるからです。

代わりに、彼らはゲームのルールを変えました。コンピュータに、選択肢A、B、C、D、Eを見て、それぞれの選択肢が正解である可能性がどの程度あるか、単純に「スコア」を与えるよう求めたのです。これは、体操競技のルーチンについてパラグラフを記述するのではなく、スポーツの審判が「9.5」というスコアを与えるようなものです。コンピュータはテキストを生成する必要はなく、どの文字が最も高いスコアを持つかを計算するだけで済みました。これにより、回答は非常にクリーンになり、統合が容易になりました。もし3つの異なるコンピュータの脳でテストを実行した場合、それらすべてのスコアを取り、平均を出し、勝者を決めることができます。この「スコア融合（score fusion）」により、彼らは0.7108という非常に高い精度を実現し、全体で3位にランクインしました。

クリーニング部隊：おしゃべりなAIを飼いならす

自由記述型の質問では、問題は逆でした。コンピュータは喋りすぎでした。彼らは理由を説明したり、「答えは以下の通りです」と言ったり、あるいは<answer>のような凝ったXMLタグを使いたがりました。しかし、採点システムが求めているのは、生の回答だけでした。

チームは、これを厳格な編集者のように扱いました。彼らは、「思考を外に出すのをやめて、答えだけを提示してください」と指示する「簡潔なプロンプト（concise prompt）」を使用しました。その後、回答を「クリーニング部隊（一連のルール）」に通し、余分な言葉、推論の痕跡、またはフォーマットエラーを削除しました。また、複数の異なるコンピュータモデルからの回答を組み合わせました。もし一つのモデルが「50 kg」と言い、別のモデルが「50 kilograms」と言った場合、システムはそれらが同じものであると判断し、最適なものを選び出しました。この丁寧なクリーニングと結合により、彼らはCOMETと呼ばれる指標において0.6488というスコラーを記録し、自由記述型のカテゴリーで1位を獲得しました。

驚きの「やってはいけないこと」：効果がなかったもの

チームは、多くの人が助けになると考える2つのことを試しましたが、それらは実際にスコアを下げてしまいました。

1. 参照シート（OCR）： 彼らは、テキストを読み取るのを助けるために、OCR（ツール名）を使用して画像のテキスト書き起こしをコンピュータに提供することを試みました。しかし、これは裏目に出ました。書き起こしには誤字脱字や壊れた数式、あるいは単語の順序の間違いが含まれていることが多かったのです。それは、エラーだらけの参照シートを学生に与えるようなものであり、コンピュータを画像そのものよりも混乱させてしまいました。
2. 短期集中講義（ファインチューニング）： 彼らは、LoRAファインチューニングという手法を用いて、試験問題に特化してコンピュータに「教える」ことを試みました。これにより、コンピュータが専門家になると考えたのです。しかし、結果は逆で、コンピュータの性能を悪化させました。論文によれば、コンピュータはすでに画像を読み取るのに十分な知能を持っており、小さくて乱雑なデータセットで再学習させようとすることは、その自然な能力を損なうだけだったと示唆されています。

教訓

この論文からの大きな教訓は、新しい超知能な脳を発明することではありません。それは**「推論エンジニアリング（inference engineering）」**、つまり「コンピュータにどのように仕事をさせるか」という高度な言い換えです。著者たちは、強力なコンピュータモデルであっても、厳格なルール、クリーンな入力、そして優れたクリーニングプロセスが与えられれば、乱雑な状態を許容された少し賢いモデルよりも優れた性能を発揮できることを発見しました。

彼らは、AIをより大きくしたり、より激しく訓練したりする必要は必ずしもないことを示しました。時には、ただ「黙って、正しい文字を選び、クリーンな解答用紙を提出しろ」と伝えるだけでよいのです。これらの実用的な細部に焦点を当てることで、彼らは強力な視覚言語モデルを信頼できるコンペティションの勝者に変えました。これは、問題を解決するための最善の方法は、エンジンをアップグレードすることではなく、出力を管理することである場合があるということを証明しています。