How Useful are LLMs for Grammar Engineering? Cantonese ParGram Resources and Controlled Experimental Evaluation with English Baselines

技術要約：広東語ParGramリソースと英語ベースラインを用いた制御実験的評価

問題提起
文法エンジニアリング（言語分析およびNLPアプリケーションのための形式文法の設計と計算論的実装）は、言語学的形式性と計算論的実装の両方における深い専門知識を必要とする、依然として労働集約的なプロセスである。大規模言語モデル（LLM）は言語構造の生成において潜在能力を示しているが、既存の記号的パイプライン（特にXerox Linguistic Environment（XLE）に実装されたLexical-Functional Grammar）内で、言語学的に適切で、形式的に正確かつ計算論的に利用可能な文法を作成する上での有用性は明らかになっていない。先行研究は、翻訳性能や機能構造の限定的な評価に焦点を当てており、生成された文法の形式的な妥当性やパースレベルの品質を評価していない。本論文は、現在のLLMが、広東語のようなリソースの乏しい言語に対して、機械処理可能なXLE文法を生成する上でどのように機能するか、また、相互作用する形式的制約の調整をどのように扱うかという理解における空白を埋めるものである。

手法
本研究では、2つのOpenAIモデル、すなわちオープンウェイトの gpt-oss-120b とプロプライエタリな最先端モデルである GPT-5.4 を評価するために、制御された実験パラダイムを採用している。評価には、新たに開発された 広東語ParGramリソース をゴールドスタンダードとして使用し、比較のために対応する英語のParGramベースラインを使用する。

実験は以下の2つの次元で変化させる：

1. 情報のソース： モデルに対して、生の文章をプロンプトとして与えるか、あるいはゴールドスタンダードのツリーバンクから導出されたターゲットとなる機能構造（f-structures）を与えるか。
2. 生成の範囲：
   • 実験1（単一構成）： 単一の文または構成に対するXLE文法を生成する。
   • 実験2（複数構成）： 様々な複雑さ（初級、中級、上級）を持つ一連の文を同時にパースできる、汎用的な文法を生成する。

評価指標：

• ルールごとの正確性 (AR)： 生成された文法のうち、LFGの形式およびXLEの表記に従っているルールの割合。
• 品質評価 (QR)： 生成された文法がターゲットの文をパースした際の、構造的妥当性と言語学的妥当性を評価する4段階の順序尺度（Excellent, Good, Fair, Bad）。

主な貢献

1. 新しいリソース： 本論文は、手作業によるXLE文法と、ParGramテストスイートの最初の50文をカバーする自動生成ツリーバンクを含む、新しい広東語ParGramリソースを提示する。これらのリソースは、制御構文、目的語前置（マーカー zoeng を使用）、受身構文（bei を使用）などの複雑な現象を捉えており、将来の評価のためのゴールドスタンダードとして機能する。
2. 制御された評価フレームワーク： 文法エンジニアリングにおける変数（モデルタイプ、プロンプトソース、構成の範囲）を分離するための厳格で制御された実験セットアップを確立し、エンドツーエンドの効率性指標を超えて、ルールレベルの形式的正確性とパースレベルの構造的品質に焦点を当てている。
3. エラー特性化： LLMが生成した文法における、特に句構造ルール、語彙エントリー、テンプレート、および機能的制約の調整に関する具体的な失敗モードを特定する詳細なエラー分析を提供する。

結果

• モデルの性能： GPT-5.4 は、ARとQRの両方の実験において、両方の実験で gpt-oss-120b を一貫して上回った。実験1において、GPT-5.4はf-structureが提供された場合にAR 90%、QR 2.88（Good/Excellentの範囲）を達成したが、gpt-oss-120bはAR 75%、QR 2.02であった。
• プロンプトソースの影響： プロンプトにターゲットとなるf-structureを含めることは、文章のみを提供する場合と比較して、性能を大幅に向上させた。これは両方のモデルで成立し、英語のベースライン条件でも観察されたため、この利点は言語特有のものではないことが示唆される。
• 複雑さと汎化： 実験2（複数構成の設定）では性能が低下した。GPT-5.4はマルチf-structure条件下でQR 2.50を維持したが、gpt-oss-120bは著しく苦戦し、マルチセンテンス条件下での出力の90%が「Bad」と判定された。
• エラーパターン： 両モデルとも、局所的に妥当な句構造ルールや語彙エントリーを生成することは可能であったが、相互作用する形式的制約を調整することには頻繁に失敗した。一般的なエラーには、不完全または誤った下位範疇化フレーム、欠落した機能注釈、および必要な構造共有方程式（例：制御および受身構文におけるもの）の実装失敗が含まれる。モデルは、要求される分析には無関係な形式的に正しいルールを生成したり、語彙ルールを介した交代（例：目的語前置）を捉え損ねたりすることが多かった。

意義と主張
本論文は、現在のLLMは特定の能力を備えているものの、知識駆動型の文法エンジニアリングに適用される際には明確な限界に直面することを主張している：

• 支援的役割であり、代替ではない： LLMは、予備的なf-structureや候補となる文法コンポーネントの生成など、文法開発の中間段階をサポートする可能性がある。しかし、LLMはまだ人間の言語学的専門知識に取って代わることはできない。
• Human-in-the-Loopのワークフロー： これらの知見は、LLMが初期分析（例：文章からのf-structureの生成）を行い、それを人間の専門家が検証・洗練するという実行可能なワークフローを示唆している。これらの修正された構造は、より堅牢な文法を生成するためのプロンプトとして利用できる。
• 調整における限界： 主な限界は、広範なカバー範囲を持つ複数構成の文法に求められる、複数の文法コンポーネント（ルール、テンプレート、制約）間の複雑な相互作用を効果的に調整できないことにある。
• 限定的な範囲： 著者は、これらの実験は成熟した広範なカバー範囲を持つ文法（例：英語やドイツ語のParGram）の全複雑性を再現するものではなく、変数を分離し能力を特徴付けるためのものであることを明示している。本研究は、LLMが現在、大幅な人間の介入なしにリソースの乏しい言語に対して生産可能な文法を自律的に開発できると主張するものではない。

結論として、本研究はLLMを自律的なエージェントではなく、専門の文法エンジニアを支援するための潜在的なツールとして位置づけており、分析、検証、および形式的制約の洗練において人間の専門知識が中心であり続けることを強調している。