Light or Full Verb? A Minimal-Pair Dataset for Probing Phraseological Competence in Language Models

技術要約：軽動詞か、フル動詞か？言語モデルにおける慣用表現能力を調査するための最小対データセット

問題提起
頻出する英語の動詞（例：make, have, take）は、二重の語彙的・機能的ステータスを示す。これらは、フル動詞としての述語として機能する場合（例：make a cake）と、意味の重みが名詞句に置かれる軽動詞構成（LVC）において、軽動詞（支持動詞）として機能する場合（例：make a decision）がある。既存の計算言語学の研究では、LVCの特定や抽出（与えられた動詞と名詞のペアがLVCを構成するかどうかの判定）が広範に扱われてきたが、言語モデル（LM）がこれら二つの用途の間の区別を内部的に表現しているかどうかを理解するには至っていない。現在のモデルは、分布的な関連性や名詞のカテゴリの手がかりを通じてLVCを認識している可能性はあるが、支持動詞としての用法とフル動詞としての用法の間の、具体的な語彙的・機能的な対比を符号化しているとは限らない。既存の最小対ベンチマーク（例：BLiMP, SyntaxGym）は通常、文法的である文と非文的な文を対比させるが、LVCの能力を調査するには、同じ表層的な動詞を用いながらも、語彙的・機能的なステータスが異なる、二つの文法的かつ自然な文を対比させる必要がある。

方法論
著者らは、最小文シリーズを用いてこの区別を調査するために設計された、大規模で制御されたデータセットを導入する。

• データセットの構築: データセットは、LVCとして現れることが知られている高頻度の英語動詞5つ（make, take, give, have, receive）を対象としている。各動詞について、著者らは20〜40個のLVC候補を精査し（述語的な名詞基や標準的な共起関係などの基準に照らして検証済み）、それらを具体的な目的語の名詞を用いたフル動詞の対照語と組み合わせた。
• 実験設計: 本データセットは、同一のコンテキストを異なる目的語と組み合わせることで、半分がLVCの読みとなり、残りの半分がフル動詞の読みとなる文シリーズを生成する。これらは能動態および受動態の両方の構成で構築されている（例：they made a decision と they made a cake; a decision was made と a cake was made）。
• プロービング実験: 著者らは Gemma 3 270m モデルを用い、二つの補完的なアプローチで評価を行った。
  1. サプライザル（驚き度）に基づくプロービング: 重要な領域におけるトークンレベルのサプライザル（負の対数確率）を算出する。能動文では、クリティカルな領域は目的語の名詞であり、受動文では、名詞基に続く動詞である。これは、モデルがコンテキストに応じて期待される構成タイプに対して、より高い確率を割り当てているかどうかをテストするものである。
  2. 対照的埋め込み分析: 目的語の名詞句の隠れ状態を抽出し、トークンの埋め込みを平均化した上で、次元削減（PCA）とクラスタリング（KMeans）を適用し、モデルの内部表現が、一致した構文フレームおよび動詞のコンテキストの下で、LVCの目的語とフル動詞の目的語を分離しているかどうかを判定する。

主な貢献

• 最小対データセット: 構文フレームとコンテキストを一定に保ちながら、軽動詞とフル動詞の語彙的・機能的な対比を孤立させた、再利用可能で拡張可能な英語の最小変化文シリーズのデータセットを公開する。
• 方法論的枠組み: 文法的な可否の対比から、動詞の語彙的・機能的なステータスを明確に標的とした「文法的／文法的」な対比への転換。
• オープンリソース: 追加のコンテキスト、追加の動詞、および他言語への拡張をサポートするために、データセット、生成コード、および資料を公開する。

結果

• サプライザルの知見: モデルはLVCの区別に感応していることが示された。能動構成において、LVCにおける名詞基（例：make a decision の decision）は、一般にフル動詞の対照語よりもサプライザルが低く、これはモデルが慣用的な軽動詞の組み合わせに対してより高い確率を割り当てていることを示している。受動構成においては、述語的な名詞基は、それに関連する軽動詞の予測可能性を高めるが、特定の動詞間での変動が見られる（例：make は最も強い効果を示す）。
• 埋め込みの知見: 目的語レベルの隠れ状態のクラスタリング分析により、モデルの内部表現がLVCの目的語とフル動詞の目的語を分離していることが明らかになった。この分離は、後半のレイヤーや、レイヤー間の表現の変化（$\Delta_l$）を分析した際に特に顕著であり、モデルが構成タイプに基づいて目的語の表現を異なって更新していることを示唆している。

意義と主張
本論文は、言語モデルが最小限のコンテキストにおいても軽動詞とフル動詞の用法を区別しており、目的語のタイプによって分離可能なパターンを示すと主張している。これらの知見は、モデルがLVCにおける動詞から名詞への、および名詞から動詞への期待の両方を捉えており、それがトークンレベルの確率と、コンテキスト化された目的語の幾何学的表現の両方に反映されていることを示唆している。著者らは、本研究を、単純な識別タスクを超えて、モデルが基礎となる語彙的・機能的な対比を表現しているかどうかを評価するための、制御されたプロービング手法として位置づけている。この枠組みは、追加の動詞、より広いコンテキスト、およびクロスリンガルな応用を含む将来の拡張をサポートするように設計されているが、現在の研究は英語と特定の動詞のセットに限定されている。