NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap
本論文は、英語と韓国語の7,500個のパズル・タスクからなる、プロシージャルに生成され難易度が調整されたベンチマークであるNOLLIを紹介しており、これは、韓国語の言語モデルが直接的な翻訳においては英語と同等の性能を示す一方で、多段階のサブシラブル（音節下位）実行における課題により、表記体系に依存するタスクにおいて大きな格差に直面していること、また、構造的なタスクの規模が経験的な難易度の信頼できる代理指標にはならないことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピュータが人間と同じように読み、書き、そして考えることを学び始めている世界を想像してみてください。長い間、科学者たちはこれらの「大規模言語モデル（LLM）」が、真に論理を理解しているのか、それとも単にパターンを暗記しているだけなのかを見極めるために、トリッキーなパズルを用いてテストを行ってきました。しかし、ここには落とし穴があります。ほとんどのテストは英語で書かれているという点です。同じモデルを韓国語などの他の言語でテストしようとすると、スコアが低下することがよくあります。これは、コンピュータが新しい言語に不慣れなだけなのか、それとも文字の構造や言葉の背後にある文化的なルールといった、より深い部分で苦戦しているのかという大きな疑問を投げかけます。これに答えるためには、ゲーム自体の難易度ではなく、言語だけが変わるような公平な土俵が必要です。
そこで登場するのが、AIがなぜ、そしてどこで韓国語に対して苦戦しているのかを正確に突き止めるために特別に設計された、新しい論理パズルのセット「NOLLI」です。NOLLIを、プロシージャルに生成される巨大な障害物コースだと考えてください。従来の決まりきった謎解きを使う代わりに、研究者たちは数千ものユニークなパズルを即座に生成できる仕組みを構築しました。そこから数独のグリッドから暗号まで、あらゆるパズルを作り出します。ここでの魔法のテクニックは「キャリブレーション（校正）」です。通常、パズルを「より難しく」するということは、グリッドを大きくしたり、単語を増やしたりすることを意味します。しかし、NOLLIのチームは、コンピュータにとって「大きいこと」が必ずしも「難しいこと」を意味しないことに気づきました。そこで彼らは、特定の「リファレンス」となるコンピュータが、適切な割合の正解を出せるように（易しい問題で75%、中級で50%、難しい問題で25%）、パズル生成器をラジオのダイヤルのように微調整しました。これにより、英語と韓国語を比較する際に、「リンゴとリンゴ」を比較しているのであって、「リンゴとオレンジ」を比較しているのではないことを保証しています。
チームは、誰もが話題にする超高性能な「フロンティア」モデルから、より小規模なオープンソースのモデルまで、15種類の異なるAIモデルをテストしました。彼らはパズルを3つのレベルに分類しました。第1レベルは「直接翻訳」で、全く同じパズルを英語と韓国語で記述したものです。第2レベルは「スクリプト適応」で、英語の文字の代わりに、韓国語のアルファベットの構成要素（「チャモ」と呼ばれるもの）を使用したものです。第3レベルは「韓国語特有」で、複雑な家族関係や伝統的な暦の計算など、韓国の文化に依存するパズルが含まれています。
結果は以下の通りですが、ここには少し意外な展開があります。まず、言語そのものが悪役ではありませんでした。パズルが直接翻訳であった場合、AIのパフォーマンスは英語と韓国語でほぼ同じでした。その差は極めて小さく、単に韓国語を読むことがモデルを躓かせているわけではないことを示唆していました。しかし、韓国語の表記体系を操作する必要があるパズルになると、問題が発生しました。「韓国語暗号」という、韓国語の文字の音節以下のパーツ（サブ・シラブル）を使ってメッセージを解読しなければならないゲームでは、一部のモデルが完全に崩壊し、英語でのパフォーマンスと比較して最大で68.7パーセントポイントも低下しました。興味深いことに、同じ文字を使用しながらも、それらを単純な記号として扱う別のパズルでは、パフォーマンスの低下は見られませんでした。このことは、問題が文字そのものにあるのではなく、それらを分解し、再び組み立てるために必要な、複雑で多段階の精神的体操にあることを示唆しています。
最後に、チームは韓国特有の文化的パズルを調査しました。彼らは奇妙なパターンを発見しました。タスクによって簡単になったり難しくなったりするモデルもありましたが、ある特定のタスク――例えば「母方の祖父の弟の妻」といった複雑な韓国の家族呼称を特定するタスク――は、どれほど賢いモデルであっても、あらゆるモデルにとって困難でした。最高峰のAIモデルであっても、この差を埋めることはできませんでした。研究の結論として、AIは翻訳においては優れた能力を発揮するようになりましたが、韓国語特有の構成要素に対して複雑で段階的な操作を行ったり、その特有の文化的ルールをナビゲートしたりすることについては、依然としてつまずいていることが明らかになりました。それは、コンピュータが韓国語を読めないのではなく、それを操作するために必要な「精神的なダンス」をまだ習得できていないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。