SEA-NLI: Natural Language Inference as a Lens into Southeast Asian Cultural Understanding

想像してみてください。あなたは、英語圏のほぼすべての本を読み尽くした、非常にスマートで超高度なロボット（大規模言語モデル）のグループを抱えています。彼らは、アメリカやイギリスの文化に関するあらゆるテストで満点を取る、優秀な学生のような存在です。しかし、もしあなたが東南アジアの特定のローカルな習慣について、「なぜある種のドリアンが『ゴールデン・ピロー（黄金の枕）』と呼ばれるのか」とか、「屋台の店主がどのようにアイスティーを出すのか」といった質問をしたとしたら、一体何が起こるでしょうか？

この論文「SEA-NLI」は、これらのロボットが本当に東南アジアの文化を理解しているのか、それとも西洋の本から学んだパターンに基づいて推測しているだけなのかを見極めるために特別に設計された、新しい、ひっかけ問題のような試験です。

研究者たちが行ったことと、その結果を、簡単な比喩を用いて以下に解説します。

1. 問題点：「西洋の眼鏡」効果

現在のAIモデルを、西洋文化だけを鮮明に見せる眼鏡をかけている状態だと考えてみてください。彼らは「猫は動物である」という理解には長けていますが、「ゴールデン・ピローは果物である」という事実に直面すると混乱するかもしれません。

• 従来のテスト： 以前のテストは、イギリスのクイズをタイ語やベトナム語に翻訳したようなものでした。それは、ロンドンのメニューをタイ語に翻訳して、バンコクで「フィッシュ・アンド・チップス」がどんな味がするかをAIに問うようなものです。この翻訳プロセスでは、現地の風味、スラング、そして深い文化的意味が失われてしまいます。
• 新しいテスト (SEA-NLI)： 研究者たちは、ゼロから新しいクイズを作成しました。これは、タイ、ベトナム、インドネシアなどの8カ国のネイティブスピーカーによって作成されています。彼らは単に英語を翻訳したのではなく、その地に住んでいる人間にしか理解できないような、現地のランドマーク、食べ物、法律、科学に関する問いを作成しました。

2. クイズの構築方法

彼らは単に人間に質問を書かせたのではありません。スマートなAIを使って下書きを行い、その後に「人間の品質管理」チームを投入しました。

• プロセス： シェフ（AI）がレシピに基づいて料理を作る様子を想像してください。次に、地元のフードクリティック（ネイティブスピーカー）のチームがそれを試食します。もし料理の味が「おかしい」あるいは現地の文化と一致しない場合、シェフはレシピを書き直さなければなりません。
• 「ハード」レベル： 彼らは2つのバージョンのクイズを作成しました。
  • 「ノーマル」バージョン： 言葉を知っていれば答えがある程度明白な質問です。
  • 「ハード」バージョン： 特定のキーワードが隠されている質問です。例えば、「私はラクサを食べた」と言う代わりに、その前提として、名前を出さずにスパイスの効いた酸っぱいスープの詳細を記述します。AIは、単に「ラクサ」という言葉を答えと一致させるのではなく、そのスープが何であるかを「知って」いなければ正解できません。

3. 結果：ロボットたちのつまずき

研究者たちは、17種類の異なるAIモデル（オープンソースのものと、GPT-5やGeminiのような大規模な商用モデルの両方）を、この新しいクイズでテストしました。

• スコアの低下： 数学の勉強ばかりしてきた生徒が歴史のテストを受ける時のように、AIのスコアは「ノーマル」セットから「ハード」セットに移ると大幅に低下しました。
• 弱点： モデルは、深いローカル知識を必要とするカテゴリー、特に言語（方言）や、その地域特有の科学技術において非常に成績が悪かったです。「ランドマーク」や「食べ物」についてはもう少しうまく扱えることもありましたが、依然として苦戦していました。
• 「翻訳」の罠： AIが英語で質問を受けたときは、正解することがよくありました。しかし、同じ質問が現地語（タイ語やベトナム語など）で行われると、しばしば失敗しました。これは、AIが真に現地の文化を「話して」いるのではなく、単に英語を上手く話しているだけであることを証明しています。

4. なぜ失敗したのか？（診断）

研究者たちは、なぜロボットが答えを間違えたのかを調査しました。

• 知識の欠如であって、論理の欠陥ではない： ロボットは論理が下手だから間違えたのではありません。単に、その事実を知らなかったのです。彼らは「ゴールデン・ピロー」がベッドの枕ではなくドリアンのことである、という事実を知りませんでした。
• 「ヒント」テスト： プロンプトの中で研究者が「ヒント」（例：「あなたはタイのローカルエキスパートであることを忘れないでください」）を与えると、スコアは上昇しました。これは、学生にカンニングペーパーを渡すようなもので、彼らは忘れていた事実を突然思い出したのです。
• 「もっと深く考える」ことは役に立たなかった： 彼らは、AIに「ステップ・バイ・ステップで考える」（Chain-of-Thoughtと呼ばれる手法）よう試みましたが、これはあまり効果がありませんでした。答えを知らない学生に「もっと深く考えろ」と言っても、情報が脳内にない以上、結局答えは分からないのと同じです。

5. 主な教訓

この論文は、AIを東南アジアで真に役立つものにするためには、単に英語を教えたり、思考力を高めたりするだけでは不十分であると結論付けています。私たちは、現地の文化を教えなければなりません。

• 比喩： 魚に、より優れた翼を与える（より優れた推論能力を与える）ことで空を飛べるようにはなりません。異なる海での泳ぎ方を教える必要があります（文化的適応）。
• 解決策： 最良の結果をもたらしたのは、その地域に特化して適応されたモデル（ロンドンで育ったロボットではなく、シンガポールで育ったロボットのようなもの）であり、また、AIに対して自身のローカルなアイデンティティを思い出させるようなプロンプトを与えることでした。

要約すると： 現在のAIモデルは、地図は読めるが現地の習慣は知らない観光客のようなものです。この新しいテスト「SEA-NLI」は、私たちが彼らに現地の文化を教えない限り、東南アジアの人々と交流する際に、今後も恥ずかしい間違いを繰り返していくことを示しています。