Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models

技術的サマリー：LLM はルクセンブルク語の借用語を知っているか？低リソース多言語モデルにおける語彙的新語創出の探求

問題定義
大規模言語モデル（LLM）は、ルクセンブルク語のような小規模接触言語における執筆支援のために、ますます展開されています。しかし、これらのモデルが語彙的借用や新語創出（新しい言葉の生成）に関するコミュニティの規範を尊重しているかどうかは依然として不明です。ルクセンブルク語はドイツ語、フランス語、英語と密接な接触地帯に存在し、現代の語彙の成長は、内生的な造語ではなく、形態論的および正書法的に適応された借用語に大きく依存しています。大規模な多言語コーパスで訓練された現在の LLM は、正当に統合された借用語、コードスイッチング、そして native な語彙を区別できず、適応された形態を誤りと見なしたり、 donor 言語（借用元の言語）へ戻して正常化したりする可能性があります。本研究では、市販の多言語 LLM がフランス語、ドイツ語、英語からの借用語とルクセンブルク語固有の単語を正しく識別できるか、また語彙的新規性を検出できるかを調査します。

手法
著者は、プロフェッショナルに編集されたルクセンブルク語のニュース（RTL、1999–2025 年）の大規模コーパス「LuxBorrow」から導出されたトークンレベルのベンチマーク「LexNeo-Bench」を導入しました。このベンチマークは、ターゲットトークンが NATIVE（固有）、FR_LOAN（フランス語借用）、DE_LOAN（ドイツ語借用）、または EN_LOAN（英語借用）としてラベル付けされた 3,050 のインスタンスで構成されています。なお、EN_LOAN はプロンプト内の診断的ディストラクターとして使用されますが、頻度が低いため評価セットからは除外されます。

本研究では、34 の設定において、凍結されたプロンプトのみの設定で、3 つの指示チューニング済み多言語 LLM（Gemma 3 12B、Gemma 3 27B、Llama 3.3 70B）を評価しました。評価は以下の 2 つのタスクに焦点を当てています：

1. 借用分類: 4 択分類タスク（NATIVE、FR_LOAN、DE_LOAN、EN_LOAN）。
2. 新語創出検出: トークンが語彙的新規性（借用）を表すか、固有の項目を表すかを判定する 2 値タスク。

パラメトリック知識の限界に対処するため、著者は形態論的パターン、Lëtzebuerger Online Dictionnaire（LOD）からの借用語辞典、および類義語ペアを統合した**言語知識グラフ（LKG）**を構築しました。また、以下のいくつかのプロンプト戦略を比較しました：

• ゼロショット: 文脈なしの標準的な指示。
• フューショット: 5 つの手動キュレーション例を含む指示。
• KG_flat: 各プロンプトに付加された 19 の生産的形態論的パターンのグローバルリスト。
• KG_graph: LKG から取得したインスタンス固有のサブグラフ。これにはトークン固有の語源、借用元メタデータ、アナログ、対照的パターンが含まれます。

主要な貢献

1. LexNeo-Bench: 時系列的なニュースコーパスから導出され、抽出および評価のための公開スクリプトを備えた、ルクセンブルク語における借用分類のための初のトークンレベルベンチマーク。
2. 新語創出代理タスク: LLM の新語創出への意識を探るための 2 値語彙的新規性タスクの導入。このタスクは強力なモデルであっても依然として困難であることを明らかにしました。
3. 語彙認識型プロンプト: 構造化されたコミュニティキュレーションの語彙資源（知識グラフを介して）を注入することが、低リソース接触環境における LLM のパフォーマンスを大幅に向上させることを実証。これは、語彙資源を LLM ワークフローに統合するための具体的な道筋を提供します。

結果

• ベースラインパフォーマンス: 外部文脈なしでは、LLM は借用分類において偶然の水準をわずかに上回るのみ（精度 24.5% – 34.7%）であり、ルクセンブルク語における適応された借用語の区別にはパラメトリック知識のみでは不十分であることを示しています。
• 知識グラフの影響: KG_graphプロンプト戦略はパフォーマンスを劇的に向上させ、精度を**71.3% – 81.0%**まで引き上げました。この改善は、グローバルなパターンリストの存在（KG_flat は非 KG ベースラインと同様の性能を示した）ではなく、インスタンス固有の検索に起因しています。
• モデル規模とバイアス: 予想に反し、最小モデル（Gemma 3 12B）が KG_graph 条件下で最高精度（81.0%）を達成し、27B および 70B モデルを上回りました。大規模モデルはドイツ語借用（DE_LOAN）を過剰に予測するバイアスを示し、グラフ証拠が不完全な場合、固有の単語を識別するのに苦労しました。これは、文脈証拠と矛盾する donor 言語に対するより強い内部事前確率を示唆しています。
• 借用元バイアス: モデルはドイツ語起源に対して体系的なバイアスを示し、フランス語借用をドイツ語として誤分類する割合は、その逆の 4.6 倍でした。また、ゼロショット設定では固有のトークンに対して頻繁にEN_LOANを予測しましたが、このバイアスは KG_graph プロンプトによって抑制されました。
• 新語創出検出: 借用分類とは異なり、新語創出検出タスクは KG_graph プロンプトの恩恵を受けませんでした。実際、パフォーマンスは低下しました。フューショットプロンプトがこのタスクにおいて最も効果的な戦略のままとなりました。著者は、LKG が「新語」を定義するために必要な時系列的信号（最近性、初出）ではなく、構造的起源情報（借用元、形態論）を符号化していることをその理由として挙げています。
• 2 値対多クラス: 固有の単語をあらゆる借用語から区別する方が（12B で 85.5% の精度）、特定の借用元言語を区別するよりも容易でした。これは、密接な接触地帯においてフランス語借用とドイツ語借用を分離することが主な困難であることを示しています。

意義と主張
本論文は、低リソース接触言語においては、堅牢な借用判断のために語彙認識型プロンプトが不可欠であると主張しています。本研究は、構造化された言語的文脈が希薄な事前訓練データを部分的に補完し、インスタンス固有の証拠が提供された場合、より小さなモデルがより大きなモデルを上回ることを可能にすることを示しています。ただし、著者は控えめに、構造的な文脈は単語がどこから来たかを特定するのを助けますが、単語がいつ言語に入ったかという時系列的な問いには解決できず、明示的な時間的信号がない限り新語創出検出における有用性は限定的であると指摘しています。

この研究は、借用を語彙的新規性の一種として扱い、多言語 LLM がそのような形態をどのように分析するかを評価する枠組みを提供することで、ENEOLI COST アクションに貢献しています。著者は、これらの資源が「正しい」言語使用のための規範的な基準ではなく、接触現象を研究し、モデルをストレステストするための記述的ツールであると強調しています。限界としては、単一のニュースソースへの依存（非公式なレジスターの過小評価）と自動注釈パイプラインの使用が含まれます。今後の研究として、ベンチマークを他のジャンルに拡張し、明示的な時系列的信号を統合することが提案されています。