💬 NLP

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

本論文は、ブラジルの主要な大学入試（2022年〜2025年）から抽出された395のオープンエンド型設問で構成される新しいベンチマークであるBLUEX v2を紹介し、21の最先端LLMを用いたポルトガル語の記述式タスクにおける性能を評価することで、顕著な性能格差を明らかにし、数学的推論と画像理解における課題を浮き彫りにしている。

原著者： João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットたちの知能をテストするために、「空は何色ですか？ A) 青、B) 赤」といった単純な多肢選択式の質問をしてきたと想像してください。彼らは正解の文字を選ぶことは非常に得意でした。しかし、この論文の著者たちは、BLUEX v2 という手法を通じて、文字を選ぶことは簡単すぎるということに気づきました。真の知能のテストとは、なぜ空が青いのかを詳しく説明するエッセイを書き、それを証明するための図解を描くことなのです。

この論文は、AIモデルの能力をテストするために特別に設計された、より高度な「最終試験」である、ポルトガル語での話し言葉や書き言葉の能力を測定する新しい手法を紹介しています。

以下は、簡単な比喩を用いた彼らの研究の解説です。

1. 問題点：「多肢選択式」の罠

以前、研究者たちはブラジルの大学入試を用いてAIをテストしていましたが、それは第1段階の試験のみでした。第1段階を「トリビアゲーム」だと考えてください。そこでは単に正しい答えを丸で囲むだけです。これはAIにとって、パターンを認識したり推測したりするのが容易です。

これらの試験の第2段階（BLUX v2が焦点を当てているもの）は、まるで「卒業論文の審査」のようです。学生は、長く詳細な回答を書き、複雑な数学の問題をステップ・バイ・ステップで解き、地図やグラフを解釈しなければなりません。従来のテストは、AIが実際に人間のように「考え、書く」ことができるかどうかを測定することはできず、単に「正しい答えを認識できるか」を測定しているに過ぎませんでした。

2. 解決策：AIのための新しい「最終試験」

チームは、2022年から2025年にかけてのブラジル屈指の大学（UNICAMPおよびUSP）から集めた、395問の実際の質問からなる大規模なデータセット、BLUEX v2 を作成しました。

質問の内容: これらは単なるテキストではありません。約**56%**には、正解するために理解しなければならない画像、チャート、または地図が含まれています。
形式: AIは、A、B、C、Dを選択するのではなく、自由形式の回答を書かなければなりません。
科目: 歴史や社会学から物理学や数学に至るまで、9つの異なる科目を網羅しています。

3. ロボットの採点方法：「AI教師」

数千ものテストに対して、人間が5ページの論文を素早く採点するのは困難です。そこで、研究者たちはAIが教師として振る舞うシステムを構築しました。

ルーブリック（評価基準）: まず、AIを使用して「公式の正解」を読み取り、それをチェックリスト（ルーブリック）に分解します。例えば、回答に「ATP」と「筋肉の収縮」に触れる必要がある場合、チェックリストにはその2つの項目が含まれます。
判定者: 別のAI（「判定者」）が、生徒であるロボットの回答を読み、リストの項目をチェックしていきます。「ATPに触れたか？はい。筋肉の収縮に触れたか？いいえ。」といった具合です。
スコア: ロボットは、チェックリストの項目をいくつ満たしたかに基づいて、0から10までのスコアを獲得します。
証明: 「AI教師」が幻覚（ハルシネーション）を起こしていないことを確認するため、彼らはAIによる採点を実際の教師による採点と比較しました。AIは人間の教師と**89.5%**の確率で一致しました。これは非常に高いスコアであり、自動採点が信頼できることを証明しています。

4. 結果：誰が合格し、誰が不合格だったのか？

彼らは21種類の異なるAIモデル（「ロボット」）をこの試験でテストしました。

分布: スコアは最低4.18から最高9.10までの幅がありました。これは、このテストが賢いロボットとそうでないロボットを判別するのに適していることを示しています。
勝者: 上位の成績を収めたのは、Gemini 3.1 ProやGPT-5のような巨大で高価なモデルでした。
敗者: 小規模なオープンソースモデルは苦戦し、最低スコアは約4.18でした。
ブラジルのスター: 興味深いことに、ブラジル製のモデル（Sabiá-4）は非常に優れたパフォーマンスを見せ、世界の巨人とほぼ同等の成績を収めました。これは、ローカルな学習が効果的であることを示しています。

5. 「難しい部分」：ロボットが躓く場所

最高のロボットであっても、特に以下の2つの事項については苦戦しました。

数学的推論: これが最も難しい科目でした。素晴らしい物語を書けるが割り算ができない人間と同じように、AIは美しいポルトガル語のエッセイを書ける一方で、数学のステップでミスをすることがよくありました。
画像理解: 質問にグラフや地図が含まれている場合、ロボットのスコアは平均して約0.5ポイント低下しました。これは、生徒に数学の問題を出しているのに、数字がクシャクシャになった紙の上に描かれているようなものです。AIは、問題を解くために細部を十分に明確に「見る」ことに苦労しました。

6. テストのコスト

研究者たちは、その費用の透明性も確保しました。質問を投げかけ、画像の記述を生成し、回答を採点するというこの実験全体を実行するのにかかった費用は約127ドルでした。この規模の研究としては驚くほど安価であり、多額の費用をかけることなく厳格にAIをテストできることを示しています。

まとめ

BLUEX v2 は、ポルトガル語におけるAIテストの新しい、より厳しい基準です。これは単純なトリビアを超え、AIに書かせ、推論させ、画像を見せることを強制します。その結果は、AIがポルトガル語での執筆や議論には非常に長けている一方で、複雑な数学や視覚データの解釈には依然として課題があることを示しています。このベンチマークは、研究者に対し、次の改善においてどこに焦点を当てるべきかという明確な地図を提供しています。

技術要約: BLUEX v2

問題提起

大規模言語モデル（LLM）は様々なタスクにおいて習熟を示しているが、ポルトガル語における評価、特にオープンエンドな記述的推論に関する評価は未だ発展途上である。既存のベンチマーク（オリジナルのBLUEXなど）は、ブラジルの大学入試第1段階の選択式問題に依存している。これらの形式は主に認識および選択能力をテストするものであり、第2段階の試験で求められる深い理解、多段階の推論、および複雑な論述能力を捉えるには至っていない。さらに、学術的な試験においては画像、グラフ、図解が普及しているにもかかわらず、現在の評価手法は厳格なマルチモーダル評価を欠いていることが多い。ポルトガル語を話すLLMに対し、多様な学術科目および認知能力にわたる自由形式の記述回答を評価するベンチマークが切実に求められている。

メソドロジー

データセット構築 (BLUEX v2)

著者らは、ブラジルの主要2大学（UNIC大学（Comvest）およびUSP（Fuvest））の第2段階入試から派生したベンチマークを構築した（対象期間：2022年〜2025年）。

範囲: データセットは395の記述式問題（エッセイ/作文を除く）を含み、これらは919の採点対象となるサブ問題へと展開される。
マルチモーダル性: 質問の55.7%には、回答に不可欠な関連画像（地図、グラフ、図解）が含まれている。
アノテーション・パイプライン: 構築には以下の5段階のパイプラインを用いた：
1. データ収集: ハイブリッド・パイプライン（pdfminer + OCR）を用いて、PDFから問題文と公式の模範解答を抽出。
2. データクリーニング: 4名のアノテーターによる人間によるレビューを行い、OCRのアーティファクトの修正、セグメンテーションの検証、および重複やエッセイの削除を実施。
3. キャプション生成および分類: 文脈を考慮した画像キャプションをGemini 3.1 Flash Lite Previewを用いて生成（問題文を組み込む）。科目の分類にはSabiá-4を使用。
4. ルーブリック生成: 各サブ問題に対し、公式の模範解答に基づき、Sabiá-4を用いて構造化された機械判読可能なルーブリック基準（バイナリでチェック可能な項目）を生成。
5. タクソノミー: 各問題に対し、6つの認知能力タグ（既有知識 [PRK]、テキスト理解 [TU]、画像理解 [IU]、数学的推論 [MR]、ブラジルに関する知識 [BK]、多言語 [ML]）を付与。

評価プロトコル

モデル: 21の最先端LLM（フロンティアAPIモデルおよびオープンウェイト・ファミリーを含む）を評価。
推論: 試験の逐次的な性質を模倣するため、問題、画像キャプション、およびコンテキストの足場（前のサブ問題と回答）を含むプロンプトを用いて、API経由でモデルにクエリを実行。
LLM-as-a-Judge (判定器としてのLLM): 生成されたルーブリック基準に基づき、LLM判定器（Sabiá-4）が回答を採点。判定器は各基準に対してバイナリの判定を出力し、最終スコアは満たされた基準の割合 ( $m/k$ ) を0–10の範囲にスケールしたものとして算出。
検証: LLM判定器プロトコルは、200件の基準レベルのアノテーションにおける2名の独立した人間によるレビューとの比較により検証された。LLMと人間の合致度（Cohen's $\kappa \approx 0.69$ ）は「実質的（substantial）」な範囲にあり、人間同士の合致度（ $\kappa \approx 0.82$ ）に匹敵した。

主な結果

全体的なパフォーマンス

識別能: ベンチマークは、4.92ポイント（0–10スケールで4.18から9.10の範囲）という顕著なパフォーマンスの差を示した。
トップパフォーマー: フロンティアモデルが上位を独占し、Gemini 3.1 Pro Previewが9.10、GPT-5.4が8.92、GPT-5-miniが8.90を記録した。
ブラジル製モデル: 国内開発モデルであるSabiá-4およびSabiazinho-4は、それぞれ8.60および8.57という競争力のあるスコアを達成した。
下位パフォーマー: 小規模なオープンウェイトモデル（例：LLaMA-3.2-11B Vision）は、大幅に低いスコア（4.18）となった。

能力および科目分析

最も困難な次元: 数学的推論（MR）と画像理解（IU）が最も困難な能力として浮上した。MRは最大のモデル間標準偏差（1.92）を示し、モデル間の主要な差別化要因となった。IUの平均は7.79であった。
科目の難易度: STEM科目（数学、物理、化学）は、人文科学（哲学、社会学、歴史）と比較して平均スコアが低かった。これは、記号的推論に対するLLMの困難さと、議論的な文章作成能力の差を反映している。
マルチモーダル・ペナルティ: 画像を含む質問は、全モデルにおいて、テキストのみの質問よりも平均して0.54ポイント難易度が高かった。これは、フロンティアモデルにおいてもマルチモーダルな統合に持続的な課題があることを示している。

重要性と貢献

本論文は、主に5つの貢献を主張している：

初のマルチモーダル・オープンエンド・ベンチマーク: BLUEX v2は、9つの科目、2つの大学、4年間のデータを含む、ブラジルの第2段階入試に由来する初のベンチマークである。
豊かなアノテーション: データセットには6つの認知能力タグと4段階の構築パイプラインが含まれており、詳細な診断分析と完全な再現性を可能にしている。
検証された評価プロトコル: 著者らは、生成されたルーブリックを用いたスケーラブルなLLM-as-a-judgeプロトコルを提案しており、これは人間による評価者との実質的な合致によって検証されており、アノテーションフリーの評価を容易にする。
包括的な評価: 21のモデルを評価し、異なるモデルファミリー間でも数学的推論と画像理解において一貫した失敗パターンが存在することを明らかにした。
マルチモーダルな課題の定量化: 本研究は、実際の学術的設定において画像を含む質問が有意に困難であることを示す、「マルチモーダル・ペナルティ」の実証的証拠を提供している。

著者らは、フロンティアモデルはポルトガル語の議論においては優れた性能を発揮するものの、記号的推論および視覚的解釈において大きなギャップが残っていると結論付けている。このベンチマークは、これらの特定の領域における改善を促進するためのツールとして機能し、ポルトガル語LLM評価の透明性を高めるものである。データセット、コード、および出力は公開されている。