Challenges in annotations by humans and LLMs: A case study of evaluative language

技術要約：人間とLLMによるアノテーションにおける課題：評価的言語に関するケーススタディ

問題提起
本論文は、デジタル・ヒューマニティーズおよび計算社会科学において、アノテーション・タスクが複雑化している現状に対処するものである。特に、評価的言語（evaluative language）の特定と分類に焦点を当てている。大規模言語モデル（LLM）は、教師なしの自然言語処理（NLP）タスクにおいて有望な成果を示しているが、高度に主観的で複雑な理論的枠組みにおいて、人間のパフォーマンスに匹敵、あるいはそれを上回る能力があるかどうかは未検証である。本研究では、評価的言語の機能的モデルであるアプレイザル理論（Appraisal theory; Martin & White, 2005）の、特にその「態度（Attitude）」サブシステム（感情、判断、享受）に焦点を当てる。著者らは、これらのカテゴリーのアノテーションは時間がかかる上、検者間一致度（IAA）が低くなりやすく、文脈依存性や暗黙的な意味、さらには微妙なカテゴリー間の区別の難しさに起因する複雑さを伴うことを強調している。核心となる研究課題は、LLMがこのような複雑なタスクにおいて人間のアノテーターと同じ課題に直面するのかどうか、そしてLLMがそのようなアノテーションの困難を解決するための効果的なツールとして機能し得るのかどうかを判断することである。

手法
本研究は、11のドメイン（科学、政治、医学など）にわたる190の英語TEDトークのトランスクリプト（EmotionalizTED コーパス）を用いた混合メソッドによるケーススタディを採用している。手法は以下の3つのフェーズに分かれている。

1. 人間によるアノテーション:

   • アノテーター: トレーニング中の言語学専攻の学生24名（非ネイティブの英語話者、主にドイツ人）およびシニア研究者1名（ゴールドスタンダードとして使用）。
   • タスク: 文レベルの評価的内容の分類。アノテーターはまず、文が評価的であるか否か（二値分類）を判定し、次にその内容を態度カテゴリー（感情、判断、享受、曖昧、または不確実）に分類した。マルチラベル付けも許可された。
   • 評価: 検者間一致度（IAA）は、二値の評価性の判定にはCohen's Kappaを用い、マルチクラスのサブ分類にはKrippendorff's alphaを用いて測定した。また、不一致の要因を特定するために定性的エラー分析を行った。

2. 自動アノテーション（LLM）:

   • プロンプト・エンジニアリング: qwen3-30b-a3b-instruct-25075 モデルを用い、コンテキスト、ペルソナ、制約、および思考の連鎖（Chain-of-Thought; CoT）の有無に変化を持たせた、3つの異なるプロンプト・バリエーションを設計し比較した。これには、フューショット（few-shot）およびゼロショット（zero-shot）のアプローチが含まれる。
   • モデルの選択とチューニング: 最も優れた性能を示したプロンプトを3つの異なるLLMに適用した。最も効果的なモデルに対しては、性能を最適化するためにQLoRAを用いたファインチューニングを行った。
   • プロセス: LLMは、(1) 評価性の二値分類、および (2) 評価的な文に対する態度カテゴリーのマルチクラス分類、という2段階のプロセスに従った。

3. 比較分析:

   • ファインチューニングされたLLMの性能を、ゴールドスタンダード（シニア研究者）および学生アノテーターと比較した。
   • 本研究では、人間が（低い一致度を引き起こした）特定の言語現象（例：暗黙的な意味、対象の特定）に対して、LLMも同様に苦戦するのかどうかを具体的に調査した。

主な結果

• 人間のパフォーマンス: トレーニング中の言語学学生間の検者間一致度は変動が大きく、しばしば低かった。二値の「評価的か非評価的か」という決定における一致度は、エンターテインメントや政治などのドメインでは中程度（Kappa $\ge$ 0.51）であったが、歴史や心理学などのドメインでは著しく低下した。特定の態度サブクラス（感情、判断、享受）に関する一致度はさらに低く、Krippendorff's alphaは頻繁に0.50を下回り、時には負の値となった。
• 人間のエラーの要因: 定性的分析により、人間の不一致は以下の点に起因することが明らかになった：
  • 明示的な意味と暗黙的な意味の区別の困難さ。
  • 「評価の対象（target of evaluation）」に関する混乱（例：ある感情が話し手自身に属するものか、言及された第三者に属するものか）。
  • 入れ子状の評価的意味を含む、長く複雑な文への対応。
  • 英語の習熟度およびドメイン固有の知識の差異。
• LLMのパフォーマンス: ファインチューニングされたLLMは、ゴールドスタンダードに対してF1スコア0.77を達成した。
  • 比較: LLMは学生アノテーターを上回り、特筆すべき点として、学生よりもシニア研究者（ゴールドスタンダード）との高い一致度を示した。
  • 課題の整合性: 本研究では、LLMが人間と同じ特定の課題（訓練を受けた未経験の人間集団が直面したもの）に対して必ずしも同じように苦戦するわけではなく、むしろ複雑な分類タスクをより一貫して遂行する能力を示していることが判明した。

主な貢献

1. アノテーション・スキーム: 本論文は、話し言葉によるポピュラーサイエンスの談話における文レベルの分析に適応させた、アプレイザル理論の態度カテゴリーのための具体的なアノテーション・スキームを提示している。
2. 実証的比較: 複雑で主観的な言語タスクにおける、人間（訓練生および専門家）とLLMの直接的な実証的比較を提供している。
3. プロンプトの最適化: 実践的なアノテーションにおけるLLMの性能に対する、プロンプト設計（CoTやフューショット戦略を含む）の影響を実証している。

意義と主張
著者らは、LLMが複雑なアノテーション・タスクの解決を効果的に支援でき、専門家の基準に対する一貫性と一致度の面で、訓練中の言語学者のパフォーマンスを凌駕する可能性があると主張している。本論文は、もしLLMがプロンプト作成やファインチューニングを通じてアプレイザルのような複雑な言語理論を正常にアノテーションできるのであれば、デジタル・ヒューマニティーズ研究に新たな道が開かれることを示唆している。具体的には、LLMが適切に誘導されているのであれば、大規模な部分の音声データを分類するために、広範な手動アノテーション済みコーパスが必ずしも厳密に必要ではない可能性があることを示唆している。本研究は、LLMが学際的な分野におけるアノテーション・プロセスをスケールアップするための実行可能な戦略を提供すると結論付けているが、モデルの性能についてはタスクごとの検証が必要であることも認めている。