MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese

以下は、「MATH-PT: A Math Reasoning Benchmark for European and Brazilian Portuguese（MATH-PT：ヨーロッパポルトガル語およびブラジルポルトガル語のための数学推論ベンチマーク）」という論文の詳細な技術的サマリーです。

1. 問題提起

現在の数学的推論における大規模言語モデル（LLM）の評価環境は、英語に極端に偏っています。既存のベンチマーク（MATH、MathVista、MathBench など）は、英語のみで構成されているか、英語のデータセットを翻訳したものに依存しています。これにより言語的バイアスが生じ、数学的推論能力が言語間で真に転移するものなのか、それともモデルが単に英語固有のパターンを利用しているだけなのかを判断することが困難になっています。さらに、既存のポルトガル語 NLP ベンチマークは、一般タスク、毒性、あるいは常識推論に焦点を当てており、ヨーロッパポルトガル語（pt-PT）およびブラジルポルトガル語（pt-BR）の両変種における数学的推論の評価には完全な空白が存在します。

2. 手法

データセット作成（MATH-PT）

著者らは、翻訳によるアーティファクトを避けるため、ネイティブのポルトガル語のコンテストおよび試験から収集された1,729 問の数学問題からなる新しいデータセットをキュレーションしました。

• ソース:
  • ヨーロッパポルトガル語（pt-PT）: *ポルトガル数学オリンピック（OPM）*から収集されました。データセットには、1997 年から 2025 年の学年を網羅する、コンテスト主催者から直接提供された LaTeX ソースファイルが含まれています。
  • ブラジルポルトガル語（pt-BR）: OBMEP（公立学校）、OMIF（連邦機関）、ELLM、および*ITA（空軍研究所）*を含む主要な国内コンテストから収集されました。これらの LaTeX ソースが利用できなかったため、著者らは gpt-5-mini を使用して PDF を解析し、質問をセグメント化し、LaTeX 数式表記を含む構造化された JSON 表現を再構築する自動抽出パイプラインを開発しました。
• 構造:
  • レベル: 5 年生から大学入学前（レベル 1〜5）を網羅しています。
  • 質問形式: **多肢選択（MC）と自由回答（OE）**の両方の質問形式が含まれています。
  • 視覚的要素: 重要なサブセット（316 問）には図形（幾何学、図表）が含まれています。pt-PT では、picture、PStricks、array を使用した元の LaTeX コードが保持されています。pt-BR では、テキスト/LaTeX で信頼性高く表現できない複雑な画像は破棄されましたが、単純な表は保持されました。
• 統計: データセットには 1,057 問の MC 質問と 672 問の OE 質問が含まれています。

評価プロトコル

• テスト対象モデル: 13 種類の最先端およびオープンソース LLM。これには、クローズドモデル（GPT-5、Gemini 2.5 Flash、Claude Haiku 4.5）とオープンウェイトモデル（Qwen3 シリーズ、Gemma3、LLaMa3、DeepSeek）が含まれます。
• プロンプト戦略:
  • ゼロショット設定: チェーン・オブ・ソートや数ショットの例は提供されませんでした。
  • 言語の特定性: プロンプトは、特定の方言（pt-PT 対 pt-BR）に合わせて調整されました。
  • 出力制約: モデルには、最終回答を \boxed{} コマンド内に出力するよう指示されました。MC の場合は、選択肢の文字（A〜E）のみが必要とされ、OE の場合は数値または代数の結果が求められました。
• スコアリング:
  • MC: 抽出された文字と正解との完全一致。
  • OE: LLM ジャッジ（Kimi K2 Thinking）を使用して、モデルの最終回答とゴールドソリューションを比較し、文字列の完全一致ではなく数学的同等性を確認しました。

3. 主な貢献

1. 初のネイティブポルトガル語ベンチマーク: ヨーロッパポルトガル語とブラジルポルトガル語の両方でネイティブにキュレーションされ、幅広い難易度レベルを網羅する、数学的推論のための最初のデータセットである MATH-PT の導入。
2. 包括的なベンチマーク評価: 13 種類の最先端モデルの評価を通じて、最先端モデルとオープンウェイトモデルがポルトガル語の数学タスクでどのように機能するかに関する初の比較分析の提供。
3. 実証的知見: 特定の失敗モードの特定、特に MC と OE の質問間の性能ギャップ、および視覚的要素（図形）が関与する際の性能の大幅な低下の特定。

4. 主要な結果

全体的な性能

• 最先端モデル対オープンモデル: 最先端モデル（GPT-5、Gemini 2.5 Flash、Claude Haiku 4.5、Qwen3-235B）は、中規模およびオープンウェイトモデルを大幅に上回りました。GPT-5は、ほぼすべての設定で最高精度を達成しました。
• オープンソースのスケーリング: Qwen3ファミリーは強力なスケーリング特性を示し、235B パラメータモデルはクローズドの独自モデルと同等の性能を発揮しました。一方、Llama-3.3-70B と Gemma-3-27B は、限られた数学的推論能力を示しました。

質問形式と難易度

• MC と OE のギャップ: すべてのモデルは、自由回答（OE）よりも多肢選択（MC）の質問で著しく高い性能を示しました。このギャップは、難易度が上がるにつれて拡大し（多くの場合 10〜20 パーセントポイント以上）、
  • 観察: 最先端モデル（GPT-5 など）は MC-OE のギャップが小さく維持されており、より安定した推論を示しているのに対し、中規模モデルは OE 性能で大幅な低下を遂げました。
• 難易度レベル: 精度は一般的に、学年レベルが上がるにつれて低下しました。GPT-5 と Qwen3-235B はレベル 5（大学入学前）でも堅牢さを保ちましたが、他のモデルは急激な低下を示しました。

視覚的要素（図形）の影響

• 性能低下: 図形（幾何学的図表、表）の存在は「難易度の急上昇」をもたらしました。
  • 図形を含む質問の性能は、最先端モデルであっても10〜20 ポイント低下しました。
  • 弱いベースラインモデルは最大56 ポイントの低下を被りました。
  • これは、コードを解析できるテキストのみのモデルであっても、マルチモーダル推論（LaTeX コードで表現された視覚データの解釈）が依然として重要なボトルネックであることを示唆しています。

方言の違い

• データセットは pt-PT と pt-BR の間で性能のばらつきを示しましたが、ばらつきの主な要因は方言そのものではなく、質問形式（MC 対 OE）と視覚的コンテンツでした。

5. 意義

• 言語的バイアスの是正: MATH-PT は、英語の習熟度が普遍的な数学的推論を意味するという仮定に挑戦します。モデルが数学を真に理解しているのか、それとも単に英語の構文のパターンマッチングを行っているのかを評価するための必要なツールを提供します。
• リソースの可用性: データセットとモデル出力を公開することで、著者らは再現可能な研究と、より優れたポルトガル語固有の数学モデルの開発を可能にします。
• 今後の方向性: 結果は、最先端モデルが強力である一方で、自由回答推論と視覚 - 数学の統合において改善の余地が大きいことを浮き彫りにしました。このベンチマークは、視覚的要素を含む複雑なネイティブ言語の数学的問題を処理できるモデルの開発を促進する触媒として機能します。