CodeNER: 名前付きエンティティ認識のためのコードプロンプティング技術に関する技術的概要

本論文「CodeNER: Code Prompting for Named Entity Recognition」は、大規模言語モデル（LLM）を用いた名前付きエンティティ認識（NER）タスクにおいて、従来のテキストベースのプロンプティングの限界を克服し、コード構造を活用した新しいアプローチを提案する研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

従来の課題

名前付きエンティティ認識（NER）は、通常、BIO（Begin, Inside, Outside）スキーマを用いた逐次ラベリングタスクとして扱われます。従来の教師ありモデルは、CRF（Conditional Random Field）などの機構を通じて入力文の文脈とトークン間の依存関係を明示的に学習することで高い性能を達成してきました。

一方、最近のゼロショット（Zero-shot）やフューショット（Few-shot）設定における LLM（例：ChatGPT）の適用では、以下の根本的なミスマッチが存在します。

• 入力/出力スキーマの不一致: LLM は「テキスト入力 → テキスト出力」の構造を前提としていますが、NER タスクは「テキスト入力 → スパン（連続するトークン列）の特定とラベリング」を要求します。
• 逐次性の欠如: テキストベースのプロンプトでは、LLM が BIO タグの逐次性（各トークンが B-、I-、O- のいずれかであるという連続的な制約）を正確に理解・維持することが難しく、エンティティ境界の特定ミスや重複ラベリング、トークンの分割ミスが発生しやすいです。
• 文脈依存の限界: 既存のテキストベースのアプローチは、入力文の文脈情報に依存しすぎており、BIO スキーマの構造的な制約を明示的に指導できていません。

2. 提案手法：CodeNER

著者らは、LLM のプログラミング言語の構文理解能力を活用し、プロンプトを「自然言語」ではなく「構造化されたコード（Python）」として記述するCodeNERを提案しました。

核心的な仕組み

1. コードベースのプロンプト構造:

   • 入力文（トークン化されたリスト）と、エンティティラベルの定義（辞書形式）を Python 変数として定義します。
   • NER を実行する関数 find_ner_tags を記述し、その中で for ループを用いてトークンごとの逐次処理を指示します。
   • このループ構造により、LLM に対して「各トークンを順番に処理し、BIO スキーマに従ってラベルを割り当てる」という明確なアルゴリズム的指示を与えます。

2. BIO スキーマの明示的統合:

   • コード内のコメントや変数定義を通じて、B（開始）、I（内部）、O（外部）のラベル付けルールを構造的に埋め込みます。
   • これにより、LLM は単に文脈から推測するのではなく、コードの制御フローに従ってエンティティの境界を厳密に特定できるようになります。

3. Chain-of-Thought (CoT) との組み合わせ:

   • 提案手法に「Let's think step by step」という CoT 指示を追加することで、さらに推論能力を向上させることを検証しました。

3. 主要な貢献

• LLM と NER タスクのギャップの解消: テキストベースのプロンプトが抱える「テキスト出力」と「スパン出力」のミスマッチを、コードの構造化された逐次処理（ループ構造）によって解決しました。
• ゼロショット設定での性能向上: 教師データなし（ゼロショット）の状況において、BIO スキーマの逐次性を明示的に指導することで、エンティティ境界の特定精度を大幅に向上させました。
• 多言語・多モデルでの検証: 英語、アラビア語、フィンランド語、デンマーク語、ドイツ語の 5 言語、10 種類のベンチマークデータセット、および GPT-4（クローズドモデル）と Llama-3/Phi-3（オープンモデル）の両方において有効性を証明しました。
• コード言語の汎用性: Python だけでなく、C++ などの他のプログラミング言語でも同様の効果が得られることを示し、コード構造そのものが重要であることを実証しました。

4. 実験結果

定量的評価

• 全体的な性能: 10 個のベンチマークデータセット全体で、CodeNER はテキストベースの「Vanilla」プロンプトと比較して、GPT-4 で平均 F1 スコアが2.41 ポイント、GPT-4 Turbo で3.07 ポイント向上しました。
• 特定データセットでの劇的改善:
  • FIN (フィンランド語): GPT-4 において、Vanilla の 22.83 から CodeNER の 41.13 へと18.3 ポイントの大幅な改善が見られました。
  • MIT Restaurant: 9.48 ポイントの改善。
• オープンモデルにおける効果:
  • Llama-3-8B や Phi-3-mini においても、既存のコードベースプロンプト（GoLLIE, GNER）やテキストベースプロンプトを凌駕する性能を示しました。特に Phi-3 においては、コード指示の解釈能力が向上すればさらに性能が伸びる可能性が示唆されました。
• ラベルごとの分析:
  • 一般的に「MISC（その他）」や「LOC（場所）」などのラベルにおいて、境界特定が正確になり、性能が向上しました。
  • ただし、非常に長いスパン（文全体など）をラベル化する必要がある場合（例：MIT-Movie の "Plot" ラベル）は、テキストベースの方が適しているケースも存在しました。

定性的分析（ケーススタディ）

• 長文トークンの処理: Web アドレスなど長い文字列を単一のトークンとして正しく認識できる（Vanilla は単語ごとに分割してしまう傾向があった）。
• 重複ラベリングの防止: 同じ単語が文中に複数回出現する場合でも、CodeNER は各出現位置を正しく個別にラベリングできるが、Vanilla は一度しかラベリングしない、あるいは重複してラベリングするミスが発生した。
• 特殊文字の扱い: 句読点や特殊記号が単語に付随する場合でも、トークンレベルで正確に処理できた。

5. 意義と限界

意義

• 構造化された指示の重要性: NER のような構造化されたタスクにおいて、自然言語の曖昧さを排し、プログラミング言語の厳密な構文（ループ、変数、制御フロー）を用いて指示を与えることが、LLM の推論能力を最大限に引き出す鍵であることを示しました。
• リソース効率: 追加の微調整（Fine-tuning）や大量の教師データなしで、LLM のゼロショット能力を NER 分野で実用的なレベルまで引き上げることができます。

限界と今後の課題

• 関数詞の扱い: 文全体や長いスパンをラベル化する必要がある場合（接続詞や前置詞を含む）、トークンレベルの厳密な処理を重視する CodeNER は、文脈全体を捉えるテキストベースのアプローチよりも性能が劣る場合があります（例：MIT-Movie データセット）。
• モデルのコード理解能力: 提案手法の性能は、LLM 自体のプログラミング言語理解能力に依存します。コードの理解が不十分なモデルでは、さらなる微調整が必要となる可能性があります。
• 今後の展望: 関数詞や構文構造を特定する補助タスクを組み合わせた事前学習など、より汎用的なアプローチへの展開が期待されます。

結論

CodeNER は、LLM を NER タスクに適用する際の問題を、自然言語プロンプトからコードプロンプトへの転換によって解決する画期的な手法です。BIO スキーマの逐次性をコード構造として明示することで、エンティティ境界の特定精度を飛躍的に向上させ、多言語・多モデル環境でその有効性を証明しました。これは、LLM を構造化情報抽出タスクに応用する際の新しいパラダイムを示唆する重要な研究です。