Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

技術的サマリー：認知の歪みの一貫した検出に向けた取り組み

問題定義
うつ病や不安障害などの精神衛生上の状態に関連する偏った思考パターンである認知の歪み（CDs）の自動検出は、主観性という根本的な課題に直面しています。既存のデータセットは、人間の専門家間の低い相互アノテーター合意（IAA）に悩まされることが多く、ノイズの多い信頼性の低い「ゴールドスタンダード」ラベルをもたらしています。このような一貫性のないデータで訓練されたモデルは一般化に苦しみ、しばしば低い性能指標（例：加重 F1 スコアが 0.2～0.4 の間）をもたらします。さらに、サイズ、ラベル分布、またはアノテーションの質が異なるデータセットで訓練されたモデルを、F1 スコアなどの従来の指標を用いて比較することは問題です。なぜなら、絶対的な性能値は異質なベンチマーク間で直接比較できないからです。

手法
著者は、一貫したラベルを生成するための LLM ベースのアノテーションフレームワークと、モデルの性能を公平に比較するためのデータセット非依存の評価指標という、二つのアプローチを提案します。

1. LLM ベースのアノテーションフレームワーク:

   • 仮説: 単一の LLM 予測に依存するのではなく、著者は同じテキストに対する LLM の複数の独立した実行が、安定したラベリングパターンを明らかにすると仮定しています。実行間でラベルが一貫して現れることは、内部信頼性のシグナルとして扱われ、人間の合意がない場合の真の正解（グラウンドトゥルース）の代理となります。
   • 手順: 本研究では、公開されている「セラピスト Q&A」データセット（2,530 のユーザー - 応答ペア）を利用します。著者は、ランダム性を制御するために 2 つの温度設定（0.5 と 0.7）で API を通じて GPT-4 および GPT-4o モデルを採用します。
   • プロンプト: 2 種類のプロンプトタイプを使用します。CD の割り当てを無制限にするマルチラベルプロンプト（MLP）と、モデルに最も支配的な CD（およびオプションの 2 番目の CD）を選択するよう制限するランク付きラベルプロンプト（RLP）です。
   • 一貫性フィルタリング: 各入力に対して、設定ごとに 5 回の独立した実行で処理されます。5 回中少なくとも 4 回出現するラベルが最終的なアノテーションとして選択されます。この閾値を満たさないデータポイントは曖昧なものとしてマークされ、堅牢性を確保するために除外されます。

2. データセット非依存の評価:

   • 課題: 標準的な指標（例：F1 スコア）は、異なるラベル分布やサイズを持つデータセットで訓練されたモデルを公平に比較できません。
   • 解決策: 著者は、コヘンのカッパ（$\kappa_{F1}$）に基づいた正規化された効果量指標を導入します。
   • 計算:
     • ランダムベースライン（$F1_{random}$） は、データセットのクラス分布に基づいて理論的に計算され、学習なしに単にクラスの不均衡を反映するモデルの期待される性能を表します。
     • モデル性能（$F1_{calculated}$） は、訓練されたモデルの加重 F1 スコアです。
     • 指標は以下のように計算されます：$\kappa_{F1} = \frac{F1_{calculated} - F1_{random}}{1 - F1_{random}}$。
   • これにより、偶然に対する性能が正規化され、データセット間および研究間での公平な比較が可能になります。

主要な貢献

• 反復による信頼性の高いアノテーション: 本論文は、複数の独立した LLM 実行が内部的に一貫したアノテーションを生成できることを実証しています（GPT-4 を温度 0.5 で使用した場合、フレイスのカッパは 0.78）。これは、対象データセットにおける人間のアノテーションの一貫性を上回っています。
• 改善されたダウンストリーム性能: この LLM 生成の一貫性フィルタリングされたラベルで訓練されたモデルは、元の人間ラベル付きの「ゴールデン」データで訓練されたモデルと比較して、一貫して高い性能（生の F1 および正規化された$\kappa_{F1}$の両方）を達成します。
• 評価フレームワーク: $\kappa_{F1}$指標の導入は、ベンチマークが不安定または非標準化である NLP 評価におけるギャップに対処し、特性の異なるデータセット間で予測モデルを評価・比較するための原理的な方法を提供します。

結果

• アノテーションの一貫性: 温度 0.5 の GPT-4 は、最も高い実行間合意（フレイスのカッパ = 0.78）を達成し、GPT-4o やより高い温度設定よりも有意に高かった。最適な条件下では、90% 以上のデータポイントが、5 回の実行すべてで少なくとも 1 つのラベルが繰り返されていました。
• ダウンストリームタスクの性能: MentalRoBERTa を使用した二値、多クラス、およびマルチラベル分類タスクにおいて、LLM 生成ラベル（RLP と MLP の両方）で訓練されたモデルは、元の人間ラベル付きデータセットで訓練されたモデルを一貫して上回りました。例えば、マルチラベルタスクにおいて GPT-4-0.7 を使用した場合、LLM 訓練モデルはランダムベースラインに対して 33.1% の改善を示したのに対し、人間ラベル付きモデルは 16.1% にとどまりました。
• 人間の検証: 不一致を示すサンプルの一部について 3 人の心理学専門家による検証研究を行ったところ、結論は不明瞭でした。専門家は LLM ラベルを人間ラベルよりも強く支持する傾向はなく、専門家間の合意は低かった（フレイスのカッパ = 0.20）。これは、LLM 手法の失敗というよりも、タスクおよびデータセット自体に内在する曖昧さを示唆しています。

意義と主張
本論文は、グラウンドトゥルースが達成不可能で人間の合意が低い主観的な NLP タスクにおいて、信頼性（内部的一貫性）が妥当性にとって不可欠な前提条件であると主張しています。アノテーションを単発の予測ではなく、反復的なクエリのプロセスとして扱うことで、LLM は内部的一貫性がありノイズの少ない訓練データを生成でき、それがダウンストリームモデルの一般化を改善します。

さらに、著者は提案された$\kappa_{F1}$指標が、単一の、おそらく欠陥のあるベンチマークに依存することなく、異質なデータセット間でモデルを比較するためのスケーラブルな解決策を、より広範な NLP コミュニティに提供すると論じています。本研究は、使用された特定データセットには限界があること（例：ユーザー入力は明示的な歪んだ思考ではなく、出来事を記述することが多い）を認めつつも、LLM の一貫性と効果量ベースの評価を活用する手法が、精神衛生 NLP および他の主観的領域における研究の進展のための堅牢な基盤を提供すると結論付けています。