Exploring and Testing Skill-Based Behavioral Profile Annotation: Human Operability and LLM Feasibility under Schema-Guided Execution

1. 研究の背景と問題提起

行動プロファイル（Behavioral Profile: BP）注釈は、コーパス言語学における語彙意味分析の重要な手法ですが、自動化が極めて困難です。その理由は、単一の対訳行（concordance line）に対して、語彙的、統語的、意味的、共起的、語用論的など複数の言語次元を同時にコード化する必要があるためです。

従来の LLM（大規模言語モデル）を用いた注釈研究は、多くの場合「タスク全体」としての評価に留まっており、BP 注釈のような多面的なタスクにおいて、モデルがどの部分で成功し、どの部分で失敗しているのかを解明できていません。
本研究は、BP 注釈を単一のタスクではなく、**「注釈スキルの束（bundle of annotation skills）」**として再定義し、スキーマ（定義書）に誘導された実行条件下において、どのスキルが人間によって、またどのスキルが LLM によって実行可能かを検証することを目的としました。

2. 研究方法

本研究は、以下の構成要素と手法を用いて実施されました。

• データセット: 中国語の 6 種類の基本色（黒、白、赤、黄、青、緑）から派生した 30 個の比喩的色語（例：「黒車」＝無許可タクシー、「白領」＝ホワイトカラーなど）に関する 3,134 行の対訳行。
• スキーマとスキル定義: 14 種類の BP 特徴（語類、構文機能、意味役割、共起パターンなど）を定義。これらを単なる「特徴」ではなく、それぞれが独自のラベル集、決定ルール、例文を持つ**「実行可能なスキル単位」**として扱いました。
• スキルファイル駆動型パイプライン:
  • 外部定義されたスキーマファイル（決定ルール、例、ラベル集）を Prompt テンプレートに注入。
  • 構造化された JSON 出力を強制するランナー設定。
  • これにより、アドホックなプロンプトエンジニアリングではなく、外部構造化された、監査可能で再現性の高いワークフローを構築。
• 人間による評価プロトコル（2 段階）:
  1. 第 1 ラウンド: 2 人の注釈者が独立して 300 件の検証サンプルを注釈（スキーマのみ提供）。
  2. 第 2 ラウンド: 第 1 ラウンドで不一致があったセルのみを再注釈。
  • これにより、「直接的に実行可能」、「集中的な再注釈で回復可能」、**「構造的に未定義（不安定）」**の 3 つのスキル分類を可能にしました。
• モデル評価:
  • GPT-5.4（閉源モデル）と、Qwen2.5-7B, GLM-4-9B, Yi-1.5-9B（3 つのオープンソースモデル）を同一のスキル駆動パイプラインで評価。
  • 評価レベル：スキルレベル、インスタンスレベル、語彙項目レベルの 3 段階。

3. 主要な結果

3.1 人間のスキル実行可能性の分類

14 のスキルは、人間による実行可能性において明確な階層化を示しました。

• 直接的に実行可能（5 種）: 第 1 ラウンドで十分な合意（Kappa ≥ 0.50）が得られ、再注釈なしで安定。
• 回復可能（4 種）: 第 1 ラウンドでは不安定だが、第 2 ラウンド（集中再注釈）で安定化。これは「認知的負荷」による失敗であり、スキーマ自体の問題ではない。
• 構造的に未定義（5 種）: 再注釈しても合意が得られず、スキーマのみでは実行不可能。

3.2 GPT-5.4 のパフォーマンスと「共有分類、独立実行」

• 選択的な実現可能性: GPT-5.4 は、人間が「回復可能」または「直接的に実行可能」と判断したスキルのサブセットにおいて、高い信頼性（全体精度 0.678、Kappa 0.665）を示しました。しかし、すべてのスキルで成功したわけではなく、**「タスク全体の自動化」ではなく「特定のスキルの自動化」**が可能であることが示されました。
• 共有分類、独立実行（Shared Taxonomy, Independent Execution）:
  • スキルレベル: 人間と GPT の難易度プロファイルは強く相関（r = 0.881）。つまり、人間にとって難しいスキルは GPT にとっても難しい。
  • インスタンス/語彙レベル: 相関はほぼゼロ（r = 0.016, -0.142）。同じ難易度のスキルであっても、人間と GPT が失敗する具体的な事例や単語は一致しません。
  • 解釈: 両者は同じ「難易度の地図（分類体系）」を持っていますが、その地図上でエラーを発生させる位置は独立しています。

3.3 GPT の役割：人間の代替ではなく「第 3 のスキルボイス」

• 人間同士の合意（Kappa ≈ 0.78）には達しませんが、GPT はオープンソースモデル群よりも遥かに高く、かつ特定の人間注釈者への単純な代理（プロキシ）としても機能しません。
• GPT は、人間とは異なるエラー分布を持つ**「独立した第 3 の注釈ボイス」**として位置づけられます。これは、注釈の多様性を高め、ゴールドデータの構築や紛争解決に有用であることを示唆します。

3.4 オープンソースモデルの失敗要因

• 3 つのオープンソースモデルは、言語能力の欠如というよりは、「スキーマからスキルへの実行（マッピング）」の失敗に集中していました。
• 特に、定義されたラベル集とモデルの出力形式が一致しない場合（オフ・スキーマ出力）や、制約付きデコーディングの失敗が多く見られました。

4. 主要な貢献

1. タスク自動化からスキル実現可能性へのパラダイムシフト:
   BP 注釈のような多層的タスクは、全体として「自動化可能か」ではなく、個々のスキル単位で「実行可能か」を評価する必要があることを示しました。
2. スキルベースのワークフローの提案:
   • 第 1 段階：人間によるパイロット注釈でスキルの実行可能性（直接実行可能、回復可能、未定義）を診断。
   • 第 2 段階：実行可能なスキルのみを LLM に委任。
   • 第 3 段階：LLM を「第 3 のボイス」として統合し、人間と LLM の三角測量（トライアングル）でゴールドデータを構築。
3. 「共有分類、独立実行」の発見:
   人間と LLM が同じ難易度の構造を共有しつつも、具体的なエラー分布は独立しているという現象を定量的に実証しました。これは、LLM を単なる「人間の模倣」としてではなく、補完的な情報源として扱う根拠となります。

5. 意義と結論

本研究は、コーパス注釈の自動化において、**「スキーマ設計」「人間の実行可能性」「モデルの実行」**の 3 つを統合的に捉える必要性を説いています。

• 理論的意義: 注釈の難易度はタスク定義（スキーマ）自体の性質であり、モデルの能力だけで決まるものではないことを示しました。
• 実践的意義: 万能な自動化は存在せず、スキーマに誘導された条件下で、実行可能なスキル subset に対してのみ LLM を効果的に導入する「スキルベースの半自動注釈ワークフロー」が現実的な解決策です。
• 将来的展望: 本研究で得られた知見は、中国語の色語に限らず、他の言語領域や注釈タスクにおける LLM 支援の設計指針として一般化できると考えられます。

結論として、LLM は注釈者を完全に代替するものではなく、**「実行可能なスキルのサブセットにおいて、人間とは独立したエラーパターンを持つ有用な第 3 の注釈者」**として機能し得ることが示されました。