Empowering 9-1-1 Calltaking Training with Generative AI: Experiences and Lessons Learned
Cet article présente la conception, le déploiement et l'évaluation d'un système de formation alimenté par l'IA générative pour les récepteurs d'appels d'urgence en partenariat avec Metro Nashville, synthétisant quatre leçons clés issues des données d'utilisation en conditions réelles afin de guider la mise en œuvre de solutions basées sur l'IA dans des environnements du secteur public critiques pour la sécurité et confrontés à de graves défis de dotation en personnel et d'évolutivité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes en formation pour devenir un récepteur d'appels du 9-1-1. C'est un travail à enjeux élevés où vous devez rester calme, poser les bonnes questions et sauver des vies, tout en parlant à des personnes terrifiées, en colère ou confuses. Dans le monde réel, s'entraîner pour cela est un cauchemar. Il n'y a pas assez d'enseignants expérimentés, et il faut jusqu'à 720 heures d'instruction individuelle pour qu'une nouvelle recrue soit prête. C'est comme apprendre à quelqu'un à conduire pendant trois mois complets sans qu'il ne touche jamais une vraie voiture, juste assis dans une salle de classe. De plus, avec des pénuries de personnel dépassant les 25 % dans de nombreux centres, les rares experts qui sont là sont trop occupés pour enseigner à tout le monde.
Pour remédier à cela, des chercheurs de l'Université Vanderbilt se sont associés au département des communications d'urgence de Metro Nashville (MNDEC) pour construire un « coach numérique » alimenté par l'IA générative. Ils n'ont pas seulement construit un programme informatique en espérant que cela fonctionne ; ils ont passé six mois à l'utiliser réellement avec 190 stagiaires à travers 1 120 sessions de formation. Ils ont analysé près de 100 000 interactions pour voir ce qui fonctionnait réellement dans le monde complexe et désordonné.
Voici l'histoire de ce qu'ils ont appris, racontée à travers quatre grandes leçons.
Leçon 1 : Ne vous contentez pas de parler, construisez un minuscule prototype
Le Mythe : Vous pouvez vous asseoir dans une salle de réunion, interroger des experts et écrire une liste parfaite d'exigences avant de commencer à coder.
La Réalité : Cela ne fonctionne pas ici. Les chercheurs ont constaté que l'équipe d'IA ne savait pas à quoi ressemblait un véritable appel d'urgence, et que les récepteurs d'appels ne savaient pas ce que l'IA pouvait réellement faire. Ils parlaient des langues différentes.
La Solution : Au lieu d'attendre de construire un système parfait, ils ont construit une version « minuscule et maladroite » en seulement un mois. Ils ont laissé les experts jouer avec. Soudain, les experts ont cessé de dire : « Nous avons besoin de scénarios plus réalistes », pour dire : « Waouh, pouvez-vous faire en sorte que cet appelant ressemble à un locuteur non natif paniqué ? C'est ce dont nous avons besoin ! »
En jouant avec le jouet, les experts ont réalisé que la diversité de l'appelant (son âge, sa langue et son niveau de panique) importait plus que le simple type d'urgence (comme un incendie ou une crise cardiaque). Les experts sont passés du statut d'« auditeurs » qui disaient simplement « non » à celui de « co-architectes » qui aidaient à concevoir le système. Les chercheurs ont appris qu'on ne peut pas simplement lire un manuel ; il faut construire quelque chose de petit, laisser les gens le casser, puis le réparer ensemble.
Leçon 2 : Ne laissez pas l'IA « deviner » les règles
Le Mythe : Vous pouvez simplement dire à une IA super intelligente : « Vérifie si le stagiaire a suivi les règles », et elle aura raison à chaque fois.
La Réalité : Lorsque l'IA essayait de lire des transcriptions d'appels longues et compliquées et de vérifier par rapport à des centaines de règles, elle commençait à se confondre. Dans les expériences préliminaires, un modèle d'IA pur (Llama 3.2) voyait sa précision chuter de 78 % à 42 % lorsque la conversation devenait longue et désordonnée. C'était comme demander à un étudiant de résoudre un problème de mathématiques tout en lisant un roman en même temps ; il se perdait.
La Solution : L'équipe a construit un système « hybride ». Ils ont pris les règles strictes et immuables du métier (comme « demander l'adresse dans les 3 premiers tours ») et les ont transformées en une liste de contrôle mathématique rigide qu'un ordinateur ne peut pas rater. Ils ont laissé l'IA gérer les parties « floues », comme comprendre si un appelant semble effrayé ou si le bruit de fond est chaotique.
Pensez à un arbitre dans un match de football. L'IA est l'équipe de caméras qui capture l'action, mais les « règles formelles » sont le coup de sifflet de l'arbitre. L'arbitre (les mathématiques) dit « But ! » ou « Pas de but ! » en se basant sur des lignes exactes, tandis que la caméra (l'IA) décrit le drame. Ce mélange a rendu le système final précis à 94,3 % - 95,9 %, ce qui est bien meilleur que si l'IA se contentait de deviner seule.
Leçon 3 : Toute « erreur » n'est pas un bug
Le Mythe : Si un stagiaire dit : « L'ordinateur a fait une erreur ! », l'ordinateur est forcément cassé.
La Réalité : Dans une formation à haut stress, les gens blâment souvent la machine lorsqu'ils se sentent stupides. Les chercheurs ont découvert que 28,24 % du temps, les stagiaires signalaient des « erreurs système » qui étaient en réalité leurs propres erreurs.
Par exemple, un stagiaire pourrait demander une adresse, entendre « 123 rue Main », et passer à la suite. Il pense : « J'ai eu l'adresse, le système devrait me donner des points ! » Mais la règle stipule que vous devez vérifier l'adresse (vérifier l'orthographe ou les rues transversales). Le stagiaire trouvait le système injuste, mais le système faisait en réalité parfaitement son travail.
La Solution : L'équipe a créé une boucle de rétroaction « triangulée ». Lorsqu'un stagiaire se plaignait, un expert humain (un responsable de l'assurance qualité) examinait l'enregistrement et les journaux avant que les développeurs ne modifient quoi que ce soit. Cela a empêché l'équipe de « corriger » accidentellement le système pour le rendre plus facile pour les stagiaires, ce qui aurait ruiné la formation. Cela a appris à l'équipe que parfois, l'« erreur » est en fait la leçon.
Leçon 4 : La frustration est une bonne chose (si on l'explique)
Le Mythe : Un bon jeu de formation doit être facile et amusant pour que les gens ne soient pas frustrés.
La Réalité : Si la formation est trop facile, les stagiaires ne seront pas prêts pour le chaos réel d'une urgence. Mais si elle est trop difficile, ils abandonnent. Les chercheurs ont trouvé un « point d'équilibre » de difficulté. Lorsque les scénarios devenaient plus difficiles, les scores des stagiaires baissaient, mais ils commençaient aussi à blâmer l'IA plus souvent.
Cependant, la manière dont l'IA donnait ses commentaires changeait tout. Au début, l'IA se contentait de lister toutes les erreurs : « Vous avez échoué ici, vous avez échoué là. » Cela donnait envie aux stagiaires d'abandonner.
La Solution : L'équipe a changé le feedback pour qu'il soit « constructif ». Désormais, lorsqu'un stagiaire commettait une erreur, l'IA soulignait également ce qu'il avait bien fait. « Vous avez manqué la vérification de l'adresse, mais vous avez très bien réussi à calmer l'appelant. » Cela permettait de maintenir un niveau de difficulté élevé (pour qu'ils apprennent) tout en faisant en sorte que la lutte soit perçue comme productive plutôt que désespérée. Après ce changement, le nombre de personnes terminant les sessions de haute difficulté est passé de 76 % à 89 %.
L'essentiel
Cet article suggère que l'intégration de l'IA dans les fonctions gouvernementales sérieuses ne dépend pas seulement d'un algorithme intelligent. Il s'agit de la façon dont vous le construisez, de la façon dont vous le contrôlez et de la façon dont vous traitez les humains qui l'utilisent.
- Ne pas attendre la perfection ; construisez petit et apprenez ensemble.
- Ne pas laisser l'IA deviner les règles strictes ; utilisez les mathématiques pour la vérifier.
- Ne pas supposer que chaque plainte est un bug ; vérifiez s'il ne s'agit pas simplement du stress humain.
- Ne pas rendre les choses trop faciles ; défiez les gens, mais dites-leur ce qu'ils ont bien fait.
Les chercheurs précisent avec prudence que cela est basé sur une ville spécifique (Nashville) et un type de formation spécifique. Ils ne prétendent pas que cela résout tout, mais ils suggèrent que si d'autres villes veulent utiliser l'IA pour la formation, elles devraient suivre ces étapes centrées sur l'humain pour éviter les pièges qu'ils ont rencontrés. C'est un rappel que dans les métiers à enjeux élevés, la technologie n'est que l'outil ; la véritable magie réside dans la façon dont les humains et les machines apprennent à se faire confiance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.