When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

技術要約：評価スケールが及ばないとき：トルコ語の教師による記述に含まれるADHDシグナルのLLMを用いた発見

問題提起
小児の注意欠如・多動症（ADHD）の診断は、通常、臨床医の判断、標準化された評価スケール（Conners' Teacher Rating Scale–Revised Short Form、CTRS-R:Sなど）、および保護者や教師からの報告の組み合わせに依存している。CTRS-R:Sのような構造化されたツールは、特定の行動症状を効果的に定量化できる一方で、教師による自由記述形式の定性的記述に含まれる補完的なシグナルを見落とす可能性がある。これらの記述には、学校での成績、性格、対人関係、および家庭環境に関する文脈的な観察が含まれているが、これらは体系的に分析されることがほとんどない。本研究が取り組む中心的な問題は、特に構造化されたアセスメントがADHD児と非ADHD児を明確に区別できないケースにおいて、教師の記述が、構造化された評価スケールでは見落とされる行動シグナルをどの程度エンコードしているかという点である。

方法論
本研究では、児童青年精神科クリニックから収集された、匿名化された199件のトルコ語教師評価フォーム（ADHD 166件、コントロール群 33件）のデータセットを利用している。手法には、以下の2段階の比較分析が含まれる。

1. 二重分類パイプライン:

   • 構造化パイプライン: CTRS-R:Sの28項目の行動項目に、デモグラフィック変数（年齢、学年、性別）を加えたロジスティック回帰分類器を学習させた。特徴量はzスコア正規化を用いて標準化された。
   • 記述パイプライン: 教師による自由記述のテキストに対して、別途ロジスティック回帰分類器を学習させた。テキストは前処理（小文字化、ストップワード除去）が行われ、単語（unigram）およびバイグラム（bigram）の特徴量を用いたTF-IDF（単語頻度・逆文書頻度）によって表現された。
   • 両モデルは、条件の比較可能性を確保するため、層化5分割交差検証を用いて評価された。

2. エラーに焦点を当てた分析:

   • 本研究では、「構造化された偽陰性（false negatives）」、すなわち構造化モデルでは誤分類されたものの、記述モデルでは正しく識別された（あるいは特徴的なパターンを示した）ADHD症例を特別に分析した。
   • このサブセット内における重症度スコアと記述の識別能力を評価するために、統計的比較（マン・ホイットニーのU検定）が行われた。

3. LLMを用いたテーマ発見:

   • 記述に含まれる行動パターンを解釈するために、著者らはローカルのオープンウェイト大規模言語モデル（Llama 3.3 70B Instruct）を用いて、行動テーマを抽出した。
   • 構造化されたプロンプトを使用し、LLMは「学校でのパフォーマンス」「性格／メンタルヘルス」「社会的関係」「家庭環境」の4つの領域にわたる、観察可能な強みまたは困難を記述する簡潔なテーマ（2〜6語）を抽出した。
   • 抽出されたテーマは、ドメインエキスパートによって10個の高次行動カテゴリ（例：注意の困難、行動面の強み、家族のサポートなど）に手動でマッピングされ、構造化された偽陰性グループとコントロール群との間の体系的な比較が可能となった。

主な結果

• 補完的なシグナル: 両モデルとも高い識別能（PR-AUC > 0.98）を達成したが、記述ベースの分類器は、構造化分類器（0.856）と比較して、ADHD症例に対して有意に高い再現率（0.958）を示した。
• エラーの重複の最小性: 構造化モデルは24件のADHD症例を見逃したが、記述モデルの見逃しはわずか7件であった。決定的なことに、両モデル間で重複した偽陰性はわずか1件であり、これは、2つのモダリティが主に異なる行動情報を捉えていることを示している。
  এটি。
• 定量的乖離: 構造化された偽陰性のサブセットにおいて、記述ベースの分類器はROC-AUC 0.84を達成し、構造化された重症度スコア（ROC-AUC 0.69）を大幅に上回った。構造化スコアと記述による予測確率との相関は無視できる程度であった（$r = 0.07$）。
• 定性的パターン: LLMを用いたテーマ分析により、構造化された偽陰性のADHD症例の記述には、コントロール群の記述と比較して、「困難に関連する」テーマ（特に注意および行動の困難）が有意に多く、「強みに関連する」テーマが少ないことが明らかになった。逆に、コントロール群の記述では、学業および社会情緒的な強み、ならびに家族のサポートに関するテーマの頻度が高かった。

主な貢献

1. 共同分析: 構造化されたCTRS-R:Sのスコアと、教師による記述的な説明が、部分的に異なるADHD症例のセットを特定していることを示す比較分析。
2. 補完性の証拠: 記述テキストが、特に構造化されたスコアがコントロール群と重複する境界線上のケースにおいて、標準化されたスケールでは捉えきれない行動シグナルを捉えているという実証的証明。
3. 解釈可能性のフレームワーク: 生のテキストから解釈可能な行動カテゴリへと橋渡しをする、LLMを活用したテーマ抽出およびカテゴリ化のパイプラインの導入。
4. データセットの公開: 研究が進んでいない言語および領域におけるNLP研究のリソースとなる、199件の匿名化されたトルコ語教師評価フォームのデータセットの公開。

意義と主張
本論文は、教師の記述に対する自然言語処理（NLP）の適用が、従来のスクリーニングツールでは明示的に捉えられない臨床的に関連のある行動パターンを明らかにできると主張している。本研究は、構造化された評価を置き換えることを提案するのではなく、構造化された評価と記述分析を組み合わせることが、学生の行動に関するより包括的な視点を提供することを示唆している。著者らは、教師の記述が、特に標準化されたスケールが曖昧な結果を示す場合に、ADHDに関連する困難を特定するための補完的なエビデンスを提供することを強調している。本研究は、LLMが、スタンドアロンの診断分類器として機能するのではなく、既存の診断ワークフローの有用性を高めるための解釈ツールとして機能する可能性を示している。

限界
著者らは、小規模かつ不均衡なデータセット（166対33）に関する限界を認めており、そのため複雑なニューラルアーキテクチャよりも単純な線形モデルの使用が必要であったとしている。また、教師の記述には固有の主観性があること、およびデータのソースが単一であるため、他の教育的または文化的背景への汎用性に欠ける可能性があることも指摘している。最後に、LLMによって抽出されたテーマを高次のカテゴリにマッピングするプロセスには、エキスパートによる設計上の決定が介在しており、一定の主観性が導入されている。