Empowering 9-1-1 Calltaking Training with Generative AI: Experiences and Lessons Learned

あなたは、911（緊急通報）のコールテイカーになるための訓練を受けていると想像してみてください。それは、パニックに陥ったり、怒ったり、混乱したりしている人々と話し続けながら、冷静さを保ち、正しい質問を投げかけ、命を救わなければならない、非常にプレッシャーの高い仕事です。現実の世界では、このためのトレーニングは悪夢です。経験豊富な指導者は不足しており、新人一人前にするには最大720時間ものマンツーマン指導が必要です。これは、実際に車に一度も触れることなく、ただ教室に座って3ヶ月間フルで運転の練習をするようなものです。さらに、多くのセンターでスタッフ不足が**25%**を超えているため、そこにいる数少ないエキスパートたちは、全員を教える余裕がありません。

これを解決するために、ヴァンダービルト大学の研究者たちは、メトロ・ナッシュビル緊急通信部門（MNDEC）と協力し、生成AIを活用した「デジタルコーチ」を構築しました。彼らは単にコンピュータープログラムを作って、あとはうまくいくのを待ったのではありません。190人の実際の訓練生と共に、1,120回のトレーニングセッションを通じて、半年間実際に使用しました。彼らは、何が実際に機能したのかを確認するために、10万件近いやり取りを分析しました。

彼らが学んだことを、4つの大きな教訓を通して、ここにお伝えします。

教訓1：ただ話すのではなく、小さなプロトタイプを作れ

神話： コーディングを始める前に、会議室に座って専門家にインタビューを行い、完璧な要件リストを作成できる。
現実： ここではそれは通用しません。研究者たちは、AIチームは本当の緊急通報がどのような感覚なのかを知らず、コールテイカーはAIに実際に何ができるのかを知らないということに気づきました。彼らは異なる言語を話していたのです。

解決策： 完璧なシステムを構築するのを待つ代わりに、わずか1ヶ月で「小さくて不格好な」バージョンを作りました。そして、エキスパートたちにそれを実際に触らせました。すると突然、エキスパートたちは「もっとリアルなシナリオが必要だ」と言うのをやめ、「おっと、この通報者をパニックになった非ネイティブの英語話者にできるか？ それこそが必要なんだ！」と言い始めました。
この「おもちゃ」を触ることで、エキスパートたちは、緊急事態の種類（火災か心臓発作かなど）よりも、通報者の「多様性」（年齢、言語、パニックの度合い）の方が重要であることに気づいたのです。エキスパートたちは、単に「ノー」と言うだけの監査役から、システムのデザインを共に行う「共同設計者」へと変わりました。研究者たちは、マニュアルを読むだけでは不十分であり、何か小さなものを作り、それを人々に壊させ、そして共に修正していく必要があることを学びました。

教訓2：AIにルールを「推測」させるな

神話： 極めて賢いAIに「訓練生がルールに従ったかどうかを確認して」と指示すれば、毎回正しく判断できる。
現実： AIが長く複雑な通報の書き起こしを読み、何百ものルールと照らし合わせようとすると、混乱し始めました。予備の実験では、純粋なAIモデル（Llama 3.2）は、会話が長く乱雑になると、精度が**78%から42%**まで低下しました。それは、学生に小説を読みながら同時に数学の問題を解かせるようなもので、学生は迷子になってしまうのです。

解決策： チームは「ハイブリッド」システムを構築しました。仕事における厳格で変えられないルール（例：「最初の3ターン以内に住所を尋ねる」）を、コンピューターが間違えることのない、厳格で数学的なチェックリストに変換しました。AIには、「通報者が怯えているように聞こえるか」や「背景のノイズが混沌としているか」といった「曖昧な」部分を担当させました。
これは、サッカーの試合における審判のようなものです。AIはアクションを捉えるカメラクルーであり、一方で「公式なルール」は審判の笛です。審判（数学）は、正確なラインに基づいて「ゴール！」か「ノーゴール！」を判定し、カメラ（AI）はそのドラマを描写します。この組み合わせにより、最終的なシステムは**94.3%から95.9%**の精度を実現しました。これは、AIが単独で推測する場合よりもはるかに優れた結果です。

教訓3：すべての「エラー」がバグではない

神話： もし訓練生が「コンピューターが間違えた！」と言ったら、コンピューターが壊れているに違いない。
現実： 高ストレスのトレーニング中、人々は自分が無能だと感じると、しばしば機械のせいにします。研究者たちは、訓練生が「システムエラー」を報告したケースの**28.24%**において、それは実際には彼ら自身のミスであったことを発見しました。
例えば、訓練生が住所を尋ね、「123 Main Street」と聞き、そのまま次に進んだとします。彼らは「住所を聞き取った。システムはポイントをくれるはずだ！」と考えます。しかし、ルールでは住所を「確認（スペルや交差する通りを確認すること）」しなければなりません。訓練生はシステムが不公平だと感じましたが、実際にはシステムは完璧に仕事をこなしていました。

解決策： チームは「三角測量的な」フィードバックループを作成しました。訓練生が不満を訴えたとき、開発者が何かを変更する前に、人間の専門家（品質保証担当者）が録音とログを確認しました。これにより、チームがシステムを「訓練生にとって楽なもの」にするために誤って修正してしまうことを防ぎました。もし修正していれば、トレーニングの質を台無しにしていたでしょう。これは、「エラー」とは時に「レッスン（教訓）」そのものであることをチームに教えました。

教訓4：フラストレーションは良いことである（説明さえあれば）

神話： 優れたトレーニングゲームは、人々が挫折しないように、簡単で楽しいものであるべきだ。
現実： トレーニングが簡単すぎると、訓練生は現実の混沌とした状況への準備ができません。しかし、難しすぎると、彼らは辞めてしまいます。研究者たちは、難易度の「スイートスポット」を見つけました。シナリオが難しくなると、訓練生のスコアは下がりましたが、同時にAIを非難する頻度も高まりました。
しかし、AIがどのようにフィードバックを与えるかがすべてを変えました。初期段階では、AIは単にミスを列挙していました。「ここで失敗しました、あそこで失敗しました」。これでは訓練生は辞めたくなってしまいます。
解決策： チームはフィードバックを「建設的」なものに変更しました。現在では、訓練生がミスをしたとき、AIは彼らが「正しくできたこと」も強調します。「住所の確認を逃しましたが、通報者を落ち着かせることは見事にできました」。これにより、難易度は高いまま（学習させるため）でありながら、苦戦が絶望ではなく、生産的なものと感じられるようになりました。この変更後、高難易度のセッションを完了する人の割合は**76%から89%**へと上昇しました。

結論

この論文は、政府の重要な業務にAIを導入することは、単に賢いアルゴリズムを持つことではないと示唆しています。それは、どのように構築し、どのように検証し、どのようにそれを使う人間を扱うかについての問題なのです。

• 完璧を待たないこと。小さく作り、共に学ぶこと。
• AIに厳格なルールを推測させないこと。数学を使ってダブルチェックすること。
• すべての不満をバグだと思わないこと。それが単なる人間のストレスによるものかどうかを確認すること。
• 簡単にしすぎないこと。人を挑戦させ、かつ、彼らがうまくできた部分を伝えること。

研究者たちは、これはあくまで特定の都市（ナッシュビル）と特定の種類のトレーニングに基づいていることを慎重に述べています。彼らはこれがすべてを解決すると主張しているわけではありませんが、もし他の都市がAIをトレーニングに使用したいのであれば、彼らが見つけた落とし穴を避けるために、こうした人間中心のステップに従うべきだと提案しています。これは、重大な局面における仕事において、テクノロジーは単なる道具であり、真の魔法は、人間と機械がいかにして互いに信頼を築いていくかにあるということを思い出させてくれます。