ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation
本論文は、アラビア語、アムハラ語、および日本語において、翻訳を介さない類推推論ベンチマークを作成する言語に依存しないパイプラインであるADAGEを紹介しており、英語に堪能なモデルがこれらの母国語における文化に根ざした推論において苦戦するという、顕著な性能差を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットに人間のジョークを理解させる方法を教えていると想像してみてください。最も良い方法は、英語で書かれた有名なジョークの本を取り出し、それをスペイン語、日本語、あるいはアラビア語に翻訳して、ロボットにその解説をさせることだと考えるかもしれません。しかし、ここに落とし穴があります。ジョークとは、それが生まれた特定の文化に深く依存しているものです。もし、あるアメリカの祝日に関するジョークを、その祝日が存在しない言語に翻訳してしまったら、そのジョ욱は魔法を失ってしまいます。ロボットは、意味を本当に理解したからではなく、単にそれが面白そうだからという理由で答えを推測してしまうかもしれません。これは、科学者が「マルチリンガル（多言語）」AIをテストする際に直面している問題です。彼らはしばしば、英語のテストを他の言語に翻訳してしまい、それによってAIがその言語において賢いかのような偽りの錯覚を作り出しています。
AIが人間のように思考できるかどうかを真にテストするためには、文化の奥底にある、言葉にされないルールを理解できるかどうかを見る必要があります。例えば、「卵が孵る前に雛を数えるな（Don't count your chickens before they hatch）」という言葉が、「何かが実際に起こるまで、あまり自信過剰になってはいけない」という意味であることを知っているといったことです。このような思考は、**類推的推理（analogical reasoning）**と呼ばれます。これは、古いアイデアを取り上げ、それを全く新しい状況に適用する能力のことです。もしAIが英語ではこれを行うことができても、同じ論理が異なる文化の中で提示された時に失敗するとしたら、それはAIが思考を学んだのではなく、単に英語のパターンを暗記したに過ぎないということになります。この論文は、シンプルだが恐ろしい問いを投げかけています。私たちのAIモデルは、本当に他の言語でも賢いのでしょうか？ それとも、単に翻訳が非常に得意なだけなのでしょうか？
研究者たちは、ADAGE（Analogical Difficulty-by-design Assessment for Grounded Evaluation：接地型評価のための設計による類推的難易度評価）と呼ばれる新しいツールを紹介しています。ADAGEを、フランスの料理本からレシピを翻訳するだけのシェフではなく、アラビア語、アムハラ語、日本語の地元の市場へ足を運び、最も新鮮で本物の地元の食材（ことわざ）を見つけ出し、AIがその味の違いを識別できるかどうかを試すための全く新しい料理を作るマスターシェフだと考えてください。
彼らがどのように実験を「調理」したのかを説明します：
- 材料： 彼らは、アラビア語、アマハラ語、日本語のネイティブスピーカーから、数千ものことわざ（「鷹を知らぬ者は、それを焼いてしまう」のような、短く知恵に満ちた言い回し）を集めました。
- レシピ： 単にAIにことわざの説明を求めるのではなく、彼らは巧妙なトリックを使いました。彼らはことわざをその「風味」やテーマ（「忍耐」や「用心」など）ごとにグループ化しました。そして、各ことわざに対して現代的な物語を書くようAIに命じました。
- 罠： テストを難しくするために、彼らは選択式の問題を作成しました。AIに物語を与え、4つの中から適切なことわざを選ばせました。そのうち1つは完璧な一致となるものです。残りの3つは「ディストラクター（紛らわしい選択肢）」です：
- ひとつは、同じテーマのグループから来たもの（正解に近いように聞こえるが、完全には合っていない「フェイクアウト」）。
- ひとつは、異なるテーマだが響きが似ているもの（「ニアミス」）。
- ひとつは、完全にランダムなもの（「簡単な」間違い）。
- 味見： 彼らはこれらのテストを、極小のものから巨大なものまで14種類の異なるAIモデルに投入し、それらがどのようにパフォーマンスを発揮するかを観察しました。
彼らが発見したこと
結果は、英語のテストで満点を取った生徒が、別の言語の数学のテストで落第したことを知った時のように、衝撃的なものでした。
- 「翻訳の罠」は実在する： AIモデルが英語のことわざでテストされたとき、彼らは非常によく、80%以上のスコアを記録しました。しかし、研究者がアラビア語、アマハラ語、日本語のネイティブ・ベンチマークでテストを行ったとき、スコアは急落しました。最高のモデルでも、12から52ポイントも低下しました。例えば、英語で83%正解したモデルが、アラビア語では70%しか正解できず、アマハラ語ではわずか41%しか正解できないといった具合です。
- 「低リソース」の現実： アマハラ語のテストが最も困難でした。最大級の最も賢いモデルでさえ、ランダムな推測（4択問題なので25%）を辛うじて上回る程度でした。AIモデルは言語そのものに行き詰まっているようで、深い意味を理解する以前に、言葉を理解することすらできていないようでした。
- サイズはすべてではない： 研究者たちは、より大きなモデル（より多くの「脳の力」を持つもの）の方が優れた結果を出すだろうと予想していました。確かに、大きなモデルはアラビア語と日本語において改善が見られましたが、その向上はわずかなものでした。アマハラ語においては、モデルを大きくしても全く効果がありませんでした。これは、AIが深い文化的基盤を持っていない場合、単にデータやサイズを増やすだけでは解決しないことを示唆しています。
- 「ディストラクター」のトリックは機能した： 巧妙な「ディストラクター」戦略は完璧に機能しました。AIモデルは、最も間違いを犯したのは「ニアミス」の回答（似ているが間違っているもの）であり、これは彼らが単にランダムに推測しているのではなく、実際に推理しようとしていることを証明していました。
大きな教訓
この論文は、現在のAIのテスト方法、つまり単に英語のテストを他の言語に翻訳するという方法は、私たちに嘘をついていると結論付けています。それは、AIが他の言語においても賢いかのような印象を与えています。AIモデルは英語の文化的推理には優れていますが、アラビア語、アマハラ語、日本語の豊かで複雑な文化にその論理を適用することには苦戦しています。
著者たちは、それぞれの文化に根ざした、現地のことわざや物語を用いたテストを構築しない限り、AIが真にマルチリンガルなのか、それとも単に非常に優れた翻訳者なのかを知ることはできないと提案しています。彼らは、新しい「キッチン」（ADAGEパイプライン）と「レシピ」（ベンチマーク）を公開しており、他の科学者が世界中のあらゆる言語で独自のテストを「調理」できるようにしています。これにより、将来のAIが、私たちがどこから来たとしても、真に私たちを理解できるようになることを確実にするのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。