技術要約：自動的な個人文書の書き換えにおけるLLMのハルシネーション削減のためのグラウンデッド最適化

1. 問題定義

履歴書最適化（ATS：採用管理システム向け）への大規模言語モデル（LLM）の適用は、一般的なテキスト生成とは異なる、特有のハルシネーションのリスクを伴う。ユーザーが対話的に出力を検証できるチャットボットとは異なり、履歴書の最適化は、人間による最小限のレビューでバッチ処理として実行されることが多い。著者らは、候補者の失格や解雇といった具体的な結果を招く可能性のある、4つの明確な失敗モードを特定している：

1. 時間的捏造 (H1): 候補者が主張する雇用期間中に存在しなかった技術の注入（例：2018年の職務においてLangChainを引用するなど）。
2. クロスドメイン汚染 (H2): ジョブディスクリプションのキーワードに合わせるために、元の役割には存在しないテクノロジーエコシステムの用語を導入すること（例：AWSのみの役割にAzureサービスを追加するなど）。
3. 構造的変異 (H3): 「最適化」の名の下に、箇条書きの結合、削除、または圧縮を密かに行い、真の成果を消失させること。
4. 内容の捏造 (H4): 会社名の捏造、指標の膨張、あるいは不当な資格の追加。

この領域におけるグラウンドトゥルース（正解）は、候補者自身のキャリア履歴であり、LLMはこれを歪めることなく強化しなければならない。

2. 手法：グラウンデッド最適化フレームワーク

著者らは、LangGraph上でマルチエージェント・システムとして実装された、5層の防御層（ディフェンス・イン・デプス）からなる**グラウンデッド最適化（Grounded Optimization）**を提案している。本システムは、専門化されたエージェント（Summary, Skills, Experience, Projects, Education）を通じて履歴書を処理し、Experienceエージェントは全防御スタックを受け取る。各層は特定の順序で動作する：レイヤー4（プロンプト注入）→ LLM呼び出し → レイヤー1–3（出力検証）→ レイヤー5（エバリュエーター・ゲート）。

レイヤー1：時間的コンテキスト検証

この層は、履歴書ごとのタイムラインを構築することで、時代錯誤な技術注入を防ぐ。技術のリリース時期に関する精選されたマッピング（例：LangChain → 2022年）をエージェントのプロンプトに埋め込む。LLMは、特定の役割で言及されている技術が、その役割の期間中に存在していたことを検証するよう指示される。

レイヤー2：クロスドメイン汚染検知

クロスドメインの混入に対処するため、著者らは完全に決定論的でLLMを使用しないメカニズムを採用している。彼らはAWS、GCP、Azure、およびオンプレミス・スタックにわたる257のクラウドサービスのタクソノミー（分類体系）を構築した。検知には、2段階のワード境界正規表現マッチング・システムを使用する：

• ティア1: 単一の明示的なキーワード一致に基づき、プロバイダーを属性付ける。
• ティア2: 曖昧さを解消するために、$\ge$2つのサービス名の一致を必要とする（例：「lambda」をAWS LambdaとPythonのキーワードとして区別するなど）。
  システムは、最適化前と最適化後の役割におけるクラウド・シグネチャを比較する。新しいプロバイダーが検出された場合、出力は元に戻され、再試行のための警告が注入される。

レイヤー3：構造的不変性強制

この層は、最適化前後のセマンティック・ユニット（意味単位）をカウントすることで、構造的変異に対処する。経験のエントリ数（$|E'| \ge |E|$）および各エントリの箇条書きの数（$|b'_i| \ge |b_i| - 1$）が許容範囲内に維持されていることを検証する。大幅なコンテンツの損失が発生した場合、明示的な構造ターゲットを指定して再試行を行う。

レイヤー4：プロンプトレベルのコンテンツ・グラウンディング

これは第一線の防御であり、エージェントのプロンプトに明示的な不変ルールを直接組み込む。制約事項には以下が含まれる：

• 箇条書きの正確な数を維持すること。
• 教育の詳細の追加または変更を禁止すること。
• 新しい会社やプレースホルダーの作成を防止すること。
• 指標がその時代に対して現実的であることを保証すること。

レイヤー5：エバリュエーター・エージェントQAゲート

独立したLLMインスタンスが、敵対的な品質管理エージェントとして機能する。このエージェントは、元の履歴書、書き換えられたバージョン、およびターゲットとなるジョブディスクリプションを受け取る。エージェントは、バイナリの承認決定とフィードバックを返す。エバリュエーターが出力を拒否した場合、そのフィードバックは次の書き換え試行に注入される。エバリュエーターが失敗（タイムアウトまたは不正な出力）した場合、ハルシネーションのサイレントな受理を防ぐために、デフォルトで拒否へと設定される。

フォールバック・メカニズム

検証が3回の再試行サイクル後に失敗した場合、システムは決定論的なフォールバック・マージ・メカニズムを採用し、最良のLLM出力と保存された元のコンテンツを組み合わせることで、元のデータが失われないようにする。

3. 主な貢献

1. ハルシネーションの分類学: 個人文書の最適化に特有の4つのハルシネーション・モード（時間的、クロスドメイン、構造的、内容）の分類。
2. 5層フレームワーク: 決定論的な検証、プロンプト・エンジニアリング、および敵対的なチェックを組み合わせた、機能的なマルチエージェント・システム。
3. 決定論的汚染検知器: 2つ目のLLMによるハルシネーションの発生面を避けるよう設計された、257のクラウドサービスをカバーする正規表現ベースのツール。
4. アブレーションおよび感度分析: 16の実験条件（3つのLLM、4つの温度、6つのレイヤー構成、680回のLLM呼び出し）にわたる評価により、各層の寄与を明らかにした。

4. 実験結果

フレームワークは、14の業界と42の役割にわたる25の合成履歴書を用いて評価された。

• ベースライン性能: 防御のないベースラインでは、履歴書あたり2.48–5.36の検出されたハルシネーションが発生し、クロスドメイン汚染（H2）が支配的な失敗モード（79–89%の事例）であった。
• アブレーション研究 (GPT-4.1-nano, t=0):
  • プロンプトレベルのグラウンディング (L4) 単独: この特定の構成において、検出されたハルシネーションは0.00であった。
  • フルフレームワーク: 0.12の割合を達成した（H4における誤検知の可能性が高いものを除外すると0.04）。
  • 研究では、L4単独の性能は、より弱いモデルや高い温度には汎用化されないことが指摘された。
• マルチモデルの汎用性:
  • 能力の低いモデル（GPT-4o-mini, Llama-3.1-8B）は、ベースラインのハルシネーションが2〜4倍多くなった。
  • フルフレームワークは、テストされたすべてのモデルにおいて、検出されたハルシネーション率を**95.2% – 99.3%**減少させた。
• 温度感度:
  • 温度が0.0から1.0に上昇するにつれ、フルフレームワーク下での残留ハルシネーション率は0.12から0.24に増加した。
  • この増加はほぼすべて**時間的（H1）**な残留によるものであり、プロンプトの遵守能力が確率論的な性質に伴って弱まることを示唆している。これは、プロンプト・グラウンディングを補完するものとして、決定論的なレイヤー（L1–L3）が必要であることを示している。

5. 意義と限界

意義:
本論文は、プロンプト・エンジニアリングは理想的な条件下（強力なモデル、低い温度）では効果的であるが、堅牢なプロダクション・システムには不十分であることを主張している。決定論的なレイヤー（L1–L3）は、プロンプトの遵守が最も弱くなる箇所（高温度、弱いモデル）において極めて重要な価値を提供する。本研究は、個人文書最適化における特定の失敗モードを特徴付け、外部の知識ベースのみに頼ることなく、体系的かつ層状のアプローチを提供している。

限界:
著者らは以下の制約を明記している：

• H2検知器と防御の結合: H2検知器とレイヤー2の防御は同じ基礎となる関数を共有している。したがって、レイヤー2が有効な構成におけるH2のカウントは、構造的に機械的にゼロとなり、独立した経験的測定値として解釈することはできない。
• データセット: 評価は25の合成履歴書と257のサービスのタクソノミーに基づいており、現実世界の分布やロングテールなプラットフォーム（例：Salesforce, SAP）を見逃している可能性がある。
• 検知器の範囲: 検知器はタスク固有であり、SelfCheckGPTやFActScoreのような一般的なハルシネーション・ベンチマークと比較してはいない。
• 規模: 本フレームワークはハルシネーションの「存在」を検知するものであり、捏造の「規模」を必ずしも検知するものではない。

著者らは、今後の研究として、クロスドメイン汚染に対する独立したNLI（自然言語推論）ベースのエバリュエーター、および実際の履歴書を用いた人間によるアノテーションを優先すべきであると結論づけている。