DS@GT ARC at eRisk 2026: Hybrid Multi-Agent LLM System with Structured Algorithmic Guidance for Conversational Depression Screening

親しみやすく、おしゃべりなロボットが隣に座って、決して「あなたはうつ状態ですか？」といった恐ろしく直接的な質問をすることなく、その人が落ち込んでいるかどうかを優しく見極めてくれる世界を想像してみてください。これは対話型うつ病スクリーニングの夢です。科学者たちは、**ベック抑うつ質問票（BDI-II）のようなツールが、悲しみやその他の症状を測定するのに優れていることを古くから知っていますが、通常、それらには訓練を受けた人間の医師が質問を行う必要があります。それはコストがかかり、規模を拡大することも困難です。そこで登場するのが大規模言語モデル（LLM）**です。これらは、人間のように会話ができる超スマートなコンピュータプログラムです。研究者たちが投げかけている大きな問いは、「人間を介さずに、チャットを通じてうつの兆候を見抜くことができるほど賢いロボット・インタビュアーを作れるのか？」という点です。課題はトリッキーです。なぜなら、これらのロボットは単に答えを「知っている」わけではなく、会話に基づいて推測しなければならず、学習中に正解を教えられることもないからです。

本論文において、ジョージア工科大学のチーム（DS@GT）は、eRisk 2026というコンペティションのために、このパズルを解こうと試みています。彼らは、さまざまなレベルのうつ状態をシミュレートしているコンピュータ上のキャラクター（「ペルソナ」と呼ばれます）に対してインタビューを行うシステムを構築しました。目標は、自然な会話を維持しながら、スコアを取得し、上位4つの症状をリストアップすることでした。チームは、まずシンプルなアイデアから始めました。それは、一つの非常に高価で強力なAIにすべての仕事をさせるというものです。しかし、それはコストがかかり、時として一貫性に欠けました。そこで彼らは、システムをAIの「チーム」へと進化させました。チャットを担当する者、採点を行う者、そして物事を軌道に乗せるためのマネージャーです。彼らの最大の発見は何だったでしょうか？ それは、高価な「スター選手」であるインタビュアーを、より安価なオープンソースモデル（Gemma 27B）に置き換え、タスクを遂行させるための巧妙な数学的トリックを用いたことでした。驚くべきことに、この安価なチームは、高価なものとほぼ同等のパフォーマンスを発揮しました。これは、優れた「プレイブック（作戦指示書）」さえあれば、必ずしも最も強力で高価な「脳」を必要としないことを証明しています。

おしゃべりなロボットチームの物語

ジョージア工科大学のチーム、通称DS@GTは、20種類のコンピュータ・キャラクターにインタビューするシステムを構築するというコンテストに参加しました。各キャラクターは、特定のレベルのうつ状態を持つ人物をシミュレートした「ペルソナ」です。ルールは厳格でした。システムは自然な会話のように振る舞わなければならず、「あなたは悲しいですか？」といった直接的な質問は決してせず、代わりにチャットの内容を聞き取ることで答えを導き出さなければなりません。最後に、システムは（0から63までの）合計スコアを予測し、最大4つの主要な症状を挙げる必要がありました。

チームは、車のエンジンを段階的にアップグレードしていくような、3つの異なるアプローチを試みました。

1. 単一エンジンのプロトタイプ
最初に、彼らは「モノリシック（一体型）」なシステムを試しました。想像してみてください、一つの単一のロボットが、質問をし、答えを聞き、感情の度合いを採点するというすべてを一度に行う様子を。これは機能しましたが、少し不安定でした。時としてロボットは混乱し、同じ人物に対して日によって異なるスコアを出したり、重要な感情について聞き終える前に時間がなくなったりしました。それはまるで、一息にテストを受け、エッセイを書き、さらにそのエッセイを採点しようとしている学生のようです。一度に扱うには荷が重すぎます。

2. マルチエージェント・チーム（ベースライン）
混乱を解決するために、彼らは仕事を分割しました。彼らはマルチエージェント・システムを構築しました。これは、専門家による小さなチームのようなものです。

• インタビュアー： 自然にチャットを行い、適切なフォローアップ質問をするためだけのロボット。
• スコアラー： チャット全体を監視し、あらゆる可能な症状に対するスコアと信頼度を常に更新する別のロボット。
• オーケストレーター： 「おい、まだ睡眠についての質問をしていないぞ、次にそれを聞け！」とインタビュアーに指示を出し、会話を終了するタイミングを決定するマネージャー・ロボット。

このチーム・アプローチは、はるかに信頼性が高いものでした。しかし、デメリットもありました。それはコストです。インタビュアーとして高価なハイエンドAI（GPT-5-nano）を使用しており、平均を取るために会話を何度も実行する必要があったため、コストが急速に膨れ上がりました。

3. ハイブリッド構成（大きな実験）
チームは大胆な問いを立てました。「もし、より良い指示を与えれば、高価なインタビュアーを安価なオープンソースモデル（Gemma 27B）に置き換えることはできるだろうか？」

彼らは、有料のインタビュアーをオープンソースのGemma 27Bに入れ替えました。しかし、彼らはこのモデルが少し「弱い」ことを理解していました。指示への従順さや、感情への深掘りにおいて劣る可能性があるのです。これを修正するために、彼らは単に期待するだけでなく、弱いモデルを導くための3つの「アルゴリズム的な安全網」を構築しました。

• ダイアログ・ツリー（対話ツリー）： ロボットがその場で質問を捏造するのではなく、あらかじめ書かれたマップ（ツリー）を与えました。これは、悲しみに関する特定の質問から始まり、回答に基づいて分岐する経路を辿ります。これにより、ロボットが脱線することを防ぎました。
• 信頼性加重集計（Reliability-Weighted Aggregation）： 弱いモデルは間違いを犯す可能性があるため、彼らは会話を10回ではなく20回実行しました。そして、単に真ん中の答えを選ぶのではなく、「Weaver」フレームワークに着想を得たスマートな数学的手法を用いて、回答に重み付けを行いました。もし多くの実行結果がある症状について一致していれば、その回答にはより高い重みが与えられます。これは、20人の学生に質問をし、一人一人の答えをそのまま選ぶのではなく、大多数が同意する答えを信頼するようなものです。
• クラスター補完（Cluster Imputation）： 時として、ロボットが時間が足りずに症状を完全に見逃してしまうことがあります。システムにはバックアッププランがありました。もし症状を見逃しても、関連する症状の強い兆候（例えば、「エネルギーの喪失」を聞き逃したが、「疲労」や「睡眠トラブル」が見られる場合）があれば、それらの手がかりに基づいて欠落しているスコアを推測します。これにより、ロボットが質問を忘れたという理由だけで最終スコアが低くなりすぎるのを防ぎました。

結果：安価でありながら、同等に優れている

チームは、すべてのペルソナに対してシステムを実行し、3つの異なるバージョンの結果を提出しました。

• Run 1 は、高価な有料チーム（ベースライン）を使用しました。
• Run 2 と Run 3 は、オープンソースのインタビュアーを用いた、より安価なハイブリッド・チームを使用しました。

結果は驚くべきものでした。安価なGemma 27Bモデルを使用したハイブリッド・システムは、主要なスコアリング指標（ADODL）において、実際には高価な有料システムよりも優れたパフォーマンスを示しました。

• Run 3 (ハイブリッド) は 0.9063 を記録し、全チームの全ランの中で3位に入りました。
• Run 1 (有料ベースライン) は 0.8841 でした。

さらに印象的なことに、ハイブリッド・システムはペルソナ1人あたり約2ドルしかかからなかったのに対し、有料システムは約8ドルかかっていました。これは、より良い結果を得ながら、75%のコスト削減を実現したことになります！

著者らは、適切な「アルゴリズム的な監督（マップ、数学、およびバックアッププラン）」を与えれば、より弱いオープンソースモデルが、より強力な有料モデルに対抗できることを、この結果は示唆していると述べています。しかし、彼らは小さな欠点についても指摘しています。ハイブリッド・システムは身体的な症状（疲れや睡眠の問題など）を特定することには非常に長けていましたが、より深い感情的なもの（罪悪感や悲しみなど）を見逃すことがありました。これにより、全体のうつ病スコアは正確であったものの、特定の症状の特定については、わずかに低いスコアとなりました。

これが意味すること

本論文は、優れたメンタルヘルス・スクリーニング・ツールを構築するために、必ずしも最も高価なAIを必要とするわけではない、と結論付けています。スマートなチーム構造を用い、AIに明確なマップを与えることで、安価なオープンソースモデルが素晴らしい仕事を行うことができます。これは、資金が限られている場所や、プライバシーへの懸念が非常に大きい場所（オープンソースモデルはデータをビッグテック企業に送信することなくローカルコンピュータで実行できるため）において、非常に大きな意味を持ちます。

チームは、コンペティションのルールが毎週変わっていたため、完全に同一の条件で行う「ヘッド・トゥ・ヘッド」のテストはできなかったと認めています。しかし、彼らが提示した証拠は、適切なガイダンスがあれば、より小さなAIがその実力を大きく超える成果を出せることを強く示唆しています。