FATE: A Formal Benchmark Series for Frontier Algebra of Multiple Difficulty Levels
大規模言語モデルが数学オリンピックなどの競合問題では高い性能を示す一方で、現代の数学研究の深さや抽象度を反映する「FATE」という新たな代数学形式ベンチマークシリーズ(FATE-H および FATE-X)の導入により、最先端モデルが博士課程レベルの証明において極めて低い精度しか達成できず、自然言語での推論と形式化の間に大きなギャップが存在することが明らかになりました。