Exploring the use of generative AI advice for the academic advancement of faculty
本論文は、SingHealth Duke-NUSアカデミック・メディカル・センターの2,800人を超える臨床教員を対象に、学術的なキャリアガイダンスを効率化し、昇進およびテニュア（終身在職権）プロセスの透明性を高めるために設計されたAI駆動型ツール「AskADD」の開発とユーザーテストについて報告するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
あなたは、大規模な大学病院に勤務する医師だと想像してください。あなたは、昇進やテニュア（終身雇用権）をどのように獲得すればよいかを知りたいと考えています。問題は、その「ルールブック」が、病院の内部サイトの奥深くに隠された30もの異なる文書に散らばっており、一つの読みやすい本としてまとまっていないことです。正しいルールを見つけ出すことは、巨大で乱雑な干し草の山の中から特定の針を探し出すようなもので、非常に時間がかかります。
これを解決するために、研究者たちは**「AskADD」と呼ばれるデジタルな「スマート・アシスタント」**を構築しました。これは、30の文書すべてを読み込み、あなたの質問に即座に、かつ24時間365日体制で答えることができる、超高速で極めて博識な司書のようなものだと考えてください。
以下に、彼らがどのようにこのツールをテストし、何を発見したのかを分かりやすく説明します。
2段階のテスト走行
チームは単にツールをリリースしたのではなく、自動車メーカーが新モデルをテストするように、2つのラウンドでテストを行いました。
「アルファ」テスト（プロトタイプ）
- 彼らは、標準的な既製品のツール（基本的なレゴセットのようなもの）を使用して最初のバージョンを構築しました。
- 35人の教職員に試用してもらいました。
- 結果： 司書は役に立ちましたが、少し不器用でした。アシスタントが意図を完全には「理解」できなかったため、ユーザーは同じ質問を2回繰り返したり、言い換えたりする必要がありました。多少の時間は節約できましたが、完璧ではありませんでした。ユーザーの感想は「まあまあ」といった程度で、まだ周囲の人に勧めたいとまでは感じていませんでした。
「ベータ」テスト（洗練されたバージョン）
- チームは寄せられた不満に耳を傾けました。彼らは、チャットボットの背後にある「脳」にあたる部分を、より高度なバージョンである「カスタムAI」へとアップグレードしました。また、元の文書へのリンクが切れてしまうという技術的な不具合も修正しました。
- 同じ35人に、もう一度試用してもらいました。
- 結果： アップグレードは驚くべき効果をもたらしました。
- スピード： 回答がより速くなりました。
- 明快さ： ユーザーが質問を言い換える必要がなくなりました。
- 信頼性： ユーザーは、アシスタントがより「共感的」（より人間らしく、親切に感じられる）であると感じました。
- 推奨度： ツールを同僚に勧めたいと考える人の数が2倍以上に増加しました。
人々が実際に気に入った点は？
研究者によると、教職員がこのツールを好んだ理由は主に3つあります。
- 時間の節約： 30の文書という「干し草の山」を掘り返す代わりに、数秒で直接的な回答を得ることができました。
- 「マップ」機能： 第2ラウンドでは、アシスタントが元のルールブックへのダイレクトリンクを表示するようになりました。これは非常に重要で、ユーザーが自分で情報を検証できるため、信頼構築につながりました。
- 「人間味」のあるタッチ： アップグレードされたバージョンは、ロボットというよりも、親切なガイドのように感じられ、会話を楽しむことができました。
まだ足りないものは？
このツールは成功しましたが、ユーザーには将来への要望もありました。
- パーソナライゼーション： 彼らは、アシスタントが自分自身の履歴書を読み込み、「昇進するためにあなたに足りないものはこれです」と言ってくれることを望んでいました。現在のツールは、プライバシー保護の規則により（まだ個人の従業員データを見ることができないため）、一般的なアドバイスしか提供できません。
- より多くのトピック： 昇進のルールだけでなく、一般的なキャリア開発や人事に関する質問にも対応してほしいという要望がありました。
結論
論文は、この「Ask-ADD」ツールが成功した実験であることを結論付けています。これは、医師が膨大なファイルの中を探し回ることなく、複雑なキャリアのルールをナビゲートするための、安全でAIを活用したガイドを構築できることを証明しました。
しかし、研究者は、このツールは特定の都市（彼らの病院）のために作られた**「専用のGPS」**のようなものであると警告しています。独自の地図とルールに基づいて構築されているため、そこでは非常にうまく機能します。他の病院が、全く同じものをコピー＆ペーストして使うことはできないかもしれません。なぜなら、それぞれの「都市の地図（ポリシー）」や「道路（ITシステム）」が異なるからです。
要約すると： 彼らは、時間を節約し、フラストレーションを軽減する、スマートな24時間体制のキャリアガイドを構築しました。まだ完璧ではありませんが、30個の異なるファイルを検索するという古い方法と比較すれば、大きな前進です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。