論文サマリー：ケースノート付加/tabular 予測における LLM のアルゴリズム的公平性の監査

1. 問題設定 (Problem)

大規模言語モデル（LLM）は、高リスクな社会サービス分野（例：ホームレス支援、住宅配置）での予測タスクへの応用が検討され始めています。しかし、これらの分野における LLM のアルゴリズム的公平性（Algorithmic Fairness）については未解明な点が多く、懸念されています。

• 背景: 従来の表形式データ（Tabular Data）に基づく予測モデルは、グループ間のサイズ差、ベースラインの偏り、ノイズ率の違いなどにより、保護属性（人種、性別など）間で誤差に偏りが生じることが知られています。
• 課題: LLM を利用して、構造化されていない「ケースノート（支援員による対話記録）」を予測タスクに組み込む際、テキストデータが新たなバイアスを導入する恐れがあるか、あるいは既存の表形式データモデルのバイアスを緩和できるかが不明確です。
• 目的: 非営利団体との連携を通じて収集された実際の住宅配置予測タスクにおいて、LLM ベースの分類モデルの予測精度と、人種・性別サブグループ間の公平性を実証的に監査すること。

2. 手法 (Methodology)

データセット

• 対象: ホームレス支援を行う非営利団体が 2019〜2021 年に支援した 471 名のクライアントデータ。
• 目的変数 (Y): 2021 年までに達成した最高レベルの住宅配置（0:路上、1:一時的施設、2:シェルター/移行住宅、3:恒久的支援住宅）の 4 値分類。
• 特徴量: 基本属性（性別、人種、年齢など）、支援活動履歴、およびケースノートから抽出されたバイナリ指標（住宅申請の有無、サービス拒否など）。
• データ前処理: ケースノートは匿名化され、個人を特定できる情報は除去（レッドアクション）されています。

実験設定

• モデル: Llama 3 の 17B パラメータ版と 70B パラメータ版。
• ベースライン: 表形式データのみで学習した Random Forest（ランダムフォレスト）。
• LLM 設定:
  1. ゼロショット (Zero-shot): 事前学習済みモデルをそのまま使用。
  2. ファインチューニング (Fine-tuned): 住宅配置ラベルを用いてモデルを微調整。
  3. プロンプト拡張:
     • ケースノート要約: クライアントのケースノートを LLM が要約し、プロンプトに追加。
     • 特徴量重要度: Random Forest で重要度が高い特徴量（2019 年以前の最高住宅配置レベル）をプロンプトに明示的に指示。
• 評価指標:
  • 精度：Accuracy, F1 Score, RMSE。
  • 公平性（多クラス対応）:
    • 統計的公平性 (Statistical Parity, SP): 各グループの予測分布の偏り。
    • 機会均等 (Equality of Opportunity, EoO): 各クラスにおける真陽性率（TPR）のグループ間差。

3. 主要な貢献 (Key Contributions)

1. 実社会データに基づく LLM 監査: 実際の社会サービスケースノートを用いた住宅配置予測タスクにおいて、17B/70B の LLM と Random Forest を比較し、ゼロショットおよびファインチューニング設定での性能と公平性を評価した。
2. ファインチューニングと公平性のトレードオフの解明: 全体精度が向上しても、不均衡な学習データによりサブグループ間の不公平（特に少数派）が増幅される現象を明らかにした。
3. プロンプト拡張戦略の比較:
   • ケースノート要約の追加が、ゼロショットモデルの精度向上と、ファインチューニングモデルにおける公平性の改善に寄与することを示した。
   • 歴史的バイアスが潜む可能性のある「最重要特徴」を明示的に強調する戦略が、ゼロショットモデルでは精度を上げるが公平性を損なう可能性があり、ファインチューニングモデルでは既存のバランスを崩すリスクがあることを示した。

4. 結果 (Results)

精度と公平性のトレードオフ

• ファインチューニングの影響: 70B モデルをファインチューニングすると、精度は 70.2% と最高水準に達しましたが、EoO（機会均等）の指標が悪化し、特に女性（データ内で男性の約 1/4 しかいない）などの少数派グループに対する不公平が増幅されました。
• ゼロショットモデル: 事前学習済みモデル単体では精度は低かったものの、ファインチューニングに比べて公平性の偏りは小さかった傾向にあります。

ケースノート要約の効果

• ゼロショットモデル: ケースノート要約を追加することで、精度が 7.6%〜13.9% 向上しました。これは、事前学習モデルが文脈を補完するのに要約が役立ったためです。
• ファインチューニングモデル: 要約を追加しても精度はほぼ変化しませんでした（ノイズとして機能した可能性）。しかし、公平性は大幅に改善されました（EoO 平均値が 0.071 から 0.021 へ低下）。要約に含まれる文脈情報が、モデルの予測をグループ間で均質化する効果があったと考えられます。
• モデルサイズの比較: ゼロショットでは 17B モデルの方が 70B よりも要約のノイズに強く、公平性も良好でしたが、ファインチューニング後は 70B モデルが要約を効果的に活用し、高い精度と公平性を両立しました。

特徴量重要度の影響

• ゼロショット: 最も重要な特徴量（過去の最高住宅レベル）をプロンプトに明示すると精度は向上しましたが、EoO 指標が悪化しました。この特徴量は人種や性別と相関があるため、歴史的バイアスを強化した可能性があります。
• ファインチューニング: すでに学習済みの重み付けをプロンプトで強制的に上書きすると、精度は向上せず、公平性が悪化する（特に要約と組み合わせた場合）傾向が見られました。

ベースライン（Random Forest）との比較

• Random Forest は 61.2% の精度を達成しましたが、SP（統計的公平性）および EoO の両方で最も大きな偏りを示しました。
• 要約を付加したファインチューニング 70B LLM は、Random Forest よりも高い精度（70.2%）を維持しつつ、公平性ギャップを大幅に縮小しました。これは、LLM が構造化されていない文脈情報を解釈し、表形式データだけでは埋められないバイアスを緩和できる可能性を示しています。

5. 意義と結論 (Significance & Conclusion)

• テキストバイアスに関する見解: 本研究で使用されたケースノートは短く、過度に編集（レッドアクション）されているため、テキスト自体が表形式データ分類のバイアス以上の新たなバイアスを導入していないと結論づけられました。ただし、より長文で叙述的なケースノートを用いる他の文脈では異なる結果になる可能性があります。
• 実用的な示唆:
  • 高リスク分野での LLM 導入: 歴史的な不平等が存在する分野（住宅配置など）では、LLM の使用に際して厳格な公平性監査が不可欠です。
  • 要約の活用: 実装コストが低く、ケースノート要約を LLM に付加することは、精度を維持・向上させつつ、不公平性を軽減する有効な手段となり得ます。
  • 特徴量の扱い: 歴史的バイアスが疑われる特徴量をプロンプトで強調することは、ゼロショットモデルでは有効な場合もありますが、ファインチューニング済みモデルや公平性の観点からはリスクがあります。
• 総括: LLM を社会サービスに応用する際、単なる精度向上だけでなく、ファインチューニングによるバイアスの増幅や、文脈情報の適切な活用方法について慎重な検討が必要です。ケースノート要約の活用は、低コストで公平性を改善する有望なアプローチです。