技術的サマリー：トランスフォーマーの文法

問題定義

Gulordava ら (2018) による、言語モデル (LMs) がトークン予測のみで訓練されているにもかかわらず、非自明な構文知識を獲得するという観察以来、この知識の性質と範囲を特徴づけるための研究が急速に増加している。しかし、この分野には、トランスフォーマーベースの言語モデル (TLMs) における構文知識に関する一般的で定量的な全体像が欠けていた。既存の文献は、主に叙述的なレビュー (例：Limisiewicz and Mareček, 2020; Linzen and Baroni, 2021; Kulmizev and Nivre, 2022) で構成されており、これらは価値あるものであるが、解釈に依存しており、急速に拡大する近年の研究の規模全体にわたる知見の地図化に必要な、透明性のある定量的な統合が不足している。さらに、この分野は方法論的な多様性と、英語および特定のモデルアーキテクチャ (特に BERT) への過度な集中によって特徴づけられており、現在の結論の堅牢性と一般化可能性を制限している。

方法論

著者らは、計算言語学 (CL) や自然言語処理 (NLP) において一般的に適用されていない PRISMA ガイドライン (Page ら, 2021) に従って体系的なレビューを実施した。プロセスは以下の通りである：

1. データ収集 (2025 年夏): 候補を特定するために二重戦略アプローチが採用された。Google Scholar における「構文構造/知識」と「LLMs/LMs/transformer」を組み合わせたキーワード検索と、6 つの先行レビューを活用した雪玉サンプリング戦略である。これにより、636 件の初期論文が得られた。
2. 適合性評価: 論文は、トランスフォーマーアーキテクチャに焦点を当てたもの (RNN、LSTM、エンコーダー - デコーダー型機械翻訳モデルを除外)、構文知識を実証的に評価したもの、査読付き誌またはプレプリントで発表されたもののみを含めるようにフィルタリングされた。これにより、最終的に337 件の論文からなるコーパスが得られた。
3. アノテーション: 著者らは 5 つのカテゴリーにわたる 33 のアノテーション変数を定義した。
   • メタデータ: 出版詳細、エントリー/エグジットの理由。
   • モデル関連: モデル名、タイプ (双方向対因果)、ファインチューニングの有無、言語カバレッジ。
   • 実験デザイン: 構文現象 (ボトムアップアプローチにより 11 のラベルに分類)、テストされた言語、材料。
   • 解釈可能性技術: Millière (2024) に従って、行動的、プロービング、または機械的 (mechanistic) に分類され、さらに因果性 (観察的対介入的)、訓練段階、局所性について追加アノテーションが行われた。
   • 知見: 構文能力とモデル比較の散文要約。
   • 注記: 28 のカテゴリーは手動でアノテーションされ、5 つは手動のゴールドスタンダードに対して検証された AI 支援ワークフローを用いて半自動でアノテーションされた。

主要な貢献

1. 定量的統合: 本論文は、言語、現象、方法にわたる3,074 個の個別データポイントを集約した、TLMs における構文知識に関する最初の体系的かつ定量的なレビューを提供する。
2. オープンリソース: 著者らは、拡張可能に設計された、レビューされた研究と関連分析コードの公開可能なアノテーション付きデータベースを提供する。
3. 現象の分類体系: この研究は、言語学界と NLP 界の両方が認識できる 11 の構文現象ラベルのボトムアップ型類型論を確立し、研究間の比較を容易にする。
4. 方法論的監査: このレビューは、解釈可能性手法 (行動的、プロービング、機械的) の分布を批判的に評価し、因果的アプローチではなく観察的アプローチへの分野の過度な依存を浮き彫りにする。

主要な結果

1. 分野の風景とバイアス

• 時間的傾向: このトピックへの関心は BERT (2019 年) 以降に急増し、2022 年にピークに達した。初期の研究は双方向モデルに焦点を当てていたが、近年は因果モデルが支配的である。
• モデルバイアス: 文献はBERT とそのバリエーションに強く集中しており、これらはすべてのデータポイントの 58% を占める。最も研究された 4 つのモデルで 62% を占める。
• 言語バイアス: 英語が圧倒的に支配的である (論文の 69% が英語のみ、91% が英語を含む)。非英語言語に関する研究は希少であり、多言語研究は過小評価されている (20%)。
• 現象バイアス: 研究は、現在の NLP ツールで容易に捉えられる形式的構文現象 (例：一致、語順、階層構造、品詞) に強く焦点を当てている。構文 - 意味論インターフェース (例：束縛、共指、否定、省略) および類型論的側面に関する現象は、著しく少ない注目しか得ていない。

2. 行動的パフォーマンス

• BLiMP ベンチマーク: 英語の BLiMP ベンチマークにおいて、TLMs は驚くほどよく機能し、最良のモデルは 11 のカテゴリーのうち 7 つで人間の性能に匹敵するかそれを超えている。ただし、パフォーマンスはモデル間で大きく異なり、現象固有の強みではなく、全体的なモデルの能力によって主に駆動されている。
• 形式的対インターフェース: TLMs は、形式的構文関係 (一致の中央値 >85%) において、構文 - 意味論インターフェースの現象 (束縛、項構造、NPIs の中央値 <75%) よりも一貫して良好にパフォーマンスを発揮する。
• 言語横断的要因: 113 の言語にわたる 1,557 の非ベンチマークデータポイントの回帰分析により、因果モデルは双方向モデルより約 10% 優れていることが示され、パフォーマンスはデジタル言語サポートと正の相関を示す (サポートレベルあたり 5% の向上)。リソースが限られた言語ではパフォーマンスが低下する。

3. 内部メカニズム (プロービングおよび機械的研究)

• プロービング: プロービング研究の 85% は、モデル表現から構文情報の回復に成功したと報告している。中間層が構文知識の所在として最も頻繁に特定されており、分散表現の視点を支持している。
• 機械的研究: 機械的研究の 79% は、構文知識の存在を支持する明確な証拠を発見している。しかし、これらの研究は圧倒的に観察的 (81%) であり、内部表現と行動の間の因果関係を確立するための介入的手法を採用しているのは 19% に過ぎない。
• 方法論的ギャップ: プロービングの成功 (高い回復率) と行動的パフォーマンス (現象間で変動) の間には乖離があり、成功したプロービングが必ずしも予測のための表現の実用的な使用を意味するわけではないことを示唆している。

意義と主張

本論文は、現在の文献がTLMs が非自明な量の構文知識を符号化しているという見解、特に形式的構文関係に関して、堅牢に支持していると主張する。しかし、著者らは、分野の結論が現在、以下の点によって制限されていることを強調している：

1. 因果的証拠の欠如: 観察的手法の支配が、構文表現が計算的にどのように使用されるかという深い理解を妨げている。
2. 限られた一般化可能性: 英語と BERT 型モデルへの過度な焦点が、言語とアーキテクチャのより広範な風景への知見の適用可能性を制限している。
3. 断片化された現象: モデルがこれらの分野でより弱いパフォーマンスを示しているにもかかわらず、構文 - 意味論インターフェースは未探索のままである。

著者らは、TLMs が驚くべき構文能力を有している一方で、この知識の獲得、使用、普遍性を理解するには、方法論の調和の強化、より明示的な理論的コミットメント、そして英語や純粋な観察的研究を超えたより広範な実証的風景が必要であると結論づけている。彼らはこのレビューを将来の研究の基盤として位置づけ、コミュニティに対してオープンデータベースへの貢献と提案されたアノテーション基準の採用を呼びかけている。