Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks

人間の精神に対する「ユニバーサル・トランスレーター（普遍的な翻訳機）」を構築することを想像してみてください。それは単なる言葉の翻訳ではなく、文章を機能させている深く目に見えないルールを対象とするものです。これは、単に家を描くだけでなく、ロボットに対してレンガを一つずつ積み上げる方法を教える実際のコードを書き、屋根が崩落しないように設計する建築家のような仕事です。これを行うために、言語学者は「ツリーバンク（treebank）」と呼ばれる特別な地図を使用します。もし文章が一つの建物であるなら、ツリーバンクはその建物がどのように構成されているかを示す設計図であり、どの単語が他のどの単語とどのように結びついているか、つまり「誰が誰に対して何をしたのか」を正確に捉えるものです。しかし、ここからが難しいところです。川のように流れる言語と、カエルのように跳ねる言語のように、全く異なる二つの言語に対してこれらの設計図を作ろうとする場合、表面的な詳細は異なっていても、核となる構造は同じに保つ「マスタープラン」が必要になります。これが「パラレル文法（parallel grammar）」の課題です。文章の「服」がどれほど違って見えても、その「魂」が言語間で同一であることを保証しなければならないのです。

ここで、新たな新星が登場します。「大規模言語モデル（LLM）」です。これらはインターネット上のほぼすべてのテキストを読み込んだ、非常にスマートなAIチャットボットです。彼らは文章の次の単語を予測することには長けていますが、文法の深い建築的ルールを本当に「理解」しているのでしょうか？ 彼らは人間の建築家がこれらの設計図をより速く作るための助けとなるのでしょうか、それとも、天井にドアがあるような家を誤って作ってしまうような、ただの「気の利いた推測屋」に過ぎないのでしょうか？ 本論文は、まさにその問いを投げかけています。研究では、二つの非常に異なる言語、すなわち（語尾の変化がほとんどない南中国の言語である）「広東語」と、（多くの語尾変化を持ち、語順も異なるケルト語派の言語である）「アイルランド語」を用いています。研究者たちは、AIがこれら二つの言語間を翻訳し、正しい文法的な設計図を描き、専門家の有能な助手として機能できるかどうかを確認しようとしました。

実験：文法の見習いとしてのAI

研究者たちは、特定のAIモデル（OpenAIのgpt-oss-120b）を用いたテスト走行を用意しました。これら50個の文章は、単純な記述から、関係節やトリッキーな動詞構造を含む複雑な文章までを網羅した、文法の「運転免許試験」のようなものです。彼らはAIに主に二つの仕事を課しました。

1. 翻訳： 広東語からアイルランド語へ、あるいはその逆へと文章を変換すること。
2. 設計図を描く： 表面的な語順を無視して、単語間の深い関係を示す形式的な文法マップ（「f-structure」と呼ばれる）を作成すること。

彼らはこれをさまざまな方法で試みました。英語で指示を出す、対象となる言語で指示を出す、あるいは翻訳と設計図作成を同時に行うよう指示する、といった具合です。

結果：輝きと混乱が入り混じる混合便

結果は、まるで「才能はあるが混乱している見習い」を見ているかのようでした。AIは時として大局を把握できることを示しましたが、細部においてはしばしば躓きました。

翻訳の困難
翻訳に関しては、AIはひどく苦戦しました。それは、語彙は知っているものの、方言を混ぜこぜにしてしまう学生のようでした。

• 「標準中国語」への混同： 広東語で話すよう求められた際、AIはしばしば標準中国語（マンダリン）に滑り落ちました。例えば、「すごい」という意味で、正しい広答語の「hóu lèk」ではなく、「hǎo bàng」という言葉を使用してしまいました。これは、スコットランド訛りで話してほしいと頼んだのに、誤ってアメリカの俗語を使ってしまうようなものです。
• 「捏造された」言葉： アイルランド語への翻訳において、AIは単に間違いを犯すだけでなく、言葉を捏造しました。「トラクター（tarracóir）」という言葉が、時には「ターポリン（防水布）」、「強盗」、「ウサギ」、さらには「泥棒」に変わっていました。AIは実際の意味を知っているのではなく、その言葉がどう「聞こえるか」や文脈に基づいて推測していたようです。
• 成功率： 数字は厳しいものでした。アイルランド語から広東語への翻訳において、意味が正確で自然な響きを持つものは、わずか**22%から24%でした。広東語からアイルランド語への場合はさらに低く、的を射た翻訳はわずか6%から8%**でした。興味深いことに、指示の言語（プロンプト）を変更しても、効果は全くありませんでした。英語で尋ねても、対象言語で尋ねても、AIのパフォーマンスは同様に低いままでした。

設計図の作成
文法の設計図（f-structure）を描くことに関しては、AIは少しだけ改善しましたが、依然として道のりは長い状態でした。

• 英語は容易： 英語の文章については、AIは約**46%**の割合で正解（「優秀」または「良好」と判定）を出しました。
• 広東語は普通： 広東語については、正しい構造分析を約**34%**の割合で実現しました。
• アイルランド語は困難： アイルランド語の場合、成功率はわずか**20%**にまで低下しました。研究者は、これはアイルランド語がより複雑な語尾変化を持ち、異なる語順（動詞-主語-目的語）を持つため、AIがあまり馴染みがないことが原因だと考えています。
• 「共有」設計図の挑戦： 最も困難だったのは、広東語とアイルランド語の間の「共有された」深い構造を見つけ出す作業でした。ここでは、広東語からアイルランド語への試みの44%、アイルランド語から広東語への試みの**38%**が「悪い」と判定されました。AIは、表面的な違いを無視しながら共通のルールを抽象化することに苦戦しました。

AIが間違えたこと（および正しかったこと）

AIは完全に無用というわけではありませんでした。細部は乱雑であっても、約**70%**のケースで基本的な「誰が何をしたか」という関係性を捉えることができました。また、時には文章の見方について興味深い代替案を提示することもあり、それが人間の言語学者にとってのアイデアの火種となることもありました。

しかし、そのエラーは示唆に富んでいました。

• ステレオタイプ： AIは「農民」や「運転手」は常に男性であると想定し、広東語もアイルランド語も文法的に性別を指定する必要がないにもかかわらず、それらに男性のジェンダータグを割り当てました。AIは言語のルールではなく、自身の「世界知識」に依存していたのです。
• 概念の混同： AIはしばしば異なる種類の文構造を混同しました。例えば、関係節（「私が買った車」など）を直接目的語のように扱っており、理論的な違いを完全には把握していないことを示していました。
• ハルシネーション（幻覚）： AIは言葉や意味を捏造しました。例えば、「川で入浴した（bathed in the river）」を「川で溺死した（drowned himself in the river）」と訳すなど、物語を完全に変えてしまいました。

結論

本論文は、これらのAIモデルは強力なツールではあるものの、複雑な文法を構築するための人間の専門家に取って代わる準備はできていないと結論付けています。AIは「下書き」や「アイデアのヒント」を提供することはできますが、細部を正確にこなすと信頼することはできません。AIは、たくさんの本を読んではいるものの、堅牢な家を建てるための技術をまだ十分に実践していない、非常に速く、非常に自信満々な学生のようなものです。

研究者たちは、人間の専門知識がいまだに不可欠であることを強調しています。AIのアウトプットは、その言語を真に理解している人間による慎重なチェックと検証が必要です。本研究は、AIモデルがこれらの「リソースの乏しい」言語に関する、より具体的で高品質なデータで訓練されない限り、真剣な文法工学のパートナーというよりは、むしろ一つの「好奇心の対象」にとどまるであろうことを示唆しています。完全に自動化された文法ビルダーという夢はまだ先の話ですが、この実験は、現在のテクノロジーが具体的にどこで自分の靴の紐に躓いているのかを明らかにすることに貢献しました。