Empowering 9-1-1 Calltaking Training with Generative AI: Experiences and Lessons Learned
Dit artikel presenteert het ontwerp, de implementatie en de evaluatie van een door Generatieve AI ondersteund trainingssysteem voor noodoproepbehandelaars in samenwerking met Metro Nashville, waarbij vier belangrijke lessen uit gegevens uit de praktijk worden gedestilleerd om de implementatie van AI-gestuurde oplossingen in veiligheidskritische publieke sectoren die te maken hebben met ernstige personeelstekorten en schaalbaarheidsuitdagingen te begeleiden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je wordt opgeleid tot een 9-1-1-oproepbehandelaar. Het is een baan met hoge inzet waarbij je kalm moet blijven, de juiste vragen moet stellen en levens moet redden, terwijl je praat met mensen die doodsbang, boos of verward zijn. In de echte wereld is trainen hiervoor een nachtmerrie. Er zijn niet genoeg ervaren docenten en het kost tot wel 720 uur één-op-één instructie om een nieuwe medewerker klaar te stomen. Dat is alsof je iemand drie volle maanden lang leert autorijden zonder dat ze ooit een echte auto hebben aangeraakt, alleen maar zittend in een klaslokaal. Bovendien, met personeelstekorten die in veel centra de 25% overschrijden, zijn de weinige experts die er wel zijn te druk om iedereen te onderwijzen.
Om dit op te lossen, sloegen onderzoekers van Vanderbilt University de handen ineen met de Metro Nashville Department of Emergency Communications (MNDEC) om een "digitale coach" te bouwen, aangedreven door Generatieve AI. Ze hebben niet alleen een computerprogramma gebouwd en gehoopt op het beste; ze hebben het zes maanden lang daadwerkelijk gebruikt met 190 echte cursisten verspreid over 1.120 trainingssessies. Ze analyseerden bijna 100.000 interacties om te zien wat er in de chaotische, echte wereld daadwerkelijk werkte.
Hier is het verhaal van wat ze leerden, verteld via vier grote lessen.
Les 1: Praat niet alleen, maar bouw een klein prototype
De Mythe: Je kunt in een vergaderruimte gaan zitten, experts interviewen en een perfecte lijst met eisen opschrijven voordat je begint met coderen.
De Realiteit: Dat werkt hier niet. De onderzoekers ontdekten dat het AI-team niet wist hoe een echte noodoproep voelde, en de oproepbehandelaars wisten niet wat AI daadwerkelijk kon doen. Ze spraken verschillende talen.
De Oplossing: In plaats van te wachten op het bouwen van een perfect systeem, bouwden ze in slechts één maand een "kleine, rommelige" versie. Ze lieten de experts ermee spelen. Plotseling stopten de experts met zeggen: "We hebben realistischere scenario's nodig," en begonnen ze te zeggen: "Wacht, kun je deze beller laten klinken als een paniekerige niet-moedertaalspreker? Dat is wat we nodig hebben!"
Door met het speelgoed te spelen, beseften de experts dat de diversiteit van de beller (hun leeftijd, taal en paniekgehalte) belangrijker was dan alleen het type noodsituatie (zoals een brand of een hartaanval). De experts veranderden van "auditors" die alleen "nee" zeiden naar "co-architecten" die hielpen het systeem te ontwerpen. De onderzoekers leerden dat je niet alleen een handleiding kunt lezen; je moet iets kleins bouwen, mensen het laten kapotmaken, en het daarna samen repareren.
Les 2: Laat de AI de regels niet "raden"
De Mythe: Je kunt gewoon een superintelligente AI vertellen: "Controleer of de cursist de regels heeft gevolgd," en het zal elke keer het goed doen.
De Realiteit: Wanneer de AI probeerde lange, ingewikkelde gespreksverslagen te lezen en te controleren tegen honderden regels, raakte het in de war. In voorlopige experimenten daalde de nauwkeurigheid van een puur AI-model (Llama 3.2) van 78% naar 42% wanneer het gesprek lang en rommelig werd. Het was alsof je een student vroeg een wiskundig probleem op te lossen terwijl diegene tegelijkertijd een roman aan het lezen was; ze raakten simpelweg de draad kwijt.
De Oplossing: Het team bouwde een "hybride" systeem. Ze namen de strikte, onveranderlijke regels van het werk (zoals "vraag naar het adres in de eerste 3 beurten") en veranderden deze in een rigide, wiskundige checklist waar een computer geen fouten mee kan maken. Ze lieten de AI de "vage" delen afhandelen, zoals begrijpen of een beller bang klinkt of dat het achtergrondgeluid chaotisch is.
Denk aan een scheidsrechter in een voetbalwedstrijd. De AI is de cameracrew die de actie vastlegt, maar de "formele regels" zijn de fluit van de scheidsrechter. De scheidsrechter (de wiskunde) zegt: "Doelpunt!" of "Geen doelpunt!", gebaseerd op exacte lijnen, terwijl de camera (de AI) het drama beschrijft. Deze mix maakte het uiteindelijke systeem 94,3% tot 95,9% nauwkeurig, wat veel beter is dan wanneer de AI alleen zou gokken.
Les 3: Niet elke "fout" is een bug
De Mythe: Als een cursist zegt: "De computer heeft een fout gemaakt!", dan moet de computer kapot zijn.
De Realiteit: In situaties met hoge stress geven mensen vaak de machine de schuld wanneer ze zich onbekwaam voelen. De onderzoekers ontdekten dat in 28,24% van de gevallen cursisten "systeemfouten" rapporteerden die eigenlijk gewoon hun eigen fouten waren.
Bijvoorbeeld: een cursist vraagt om een adres, hoort "123 Main Street", en gaat dan verder. De cursist denkt: "Ik heb het adres gekregen, het systeem zou me punten moeten geven!" Maar de regel schrijft voor dat je het adres moet verifiëren (het controleren van de spelling of kruispunten). De cursist vond dat het systeem onrechtvaardig was, maar het systeem deed eigenlijk perfect zijn werk.
De Oplossing: Het team creëerde een "getrianguleerde" feedbackloop. Wanneer een cursist klaagde, keek een menselijke expert (een kwaliteitscontroleur) naar de opname en de logs voordat de ontwikkelaars iets aanpasten. Dit voorkomde dat het team per ongeluk het systeem zou "repareren" om het makkelijker te maken voor cursisten, wat de training zou hebben verpest. Het leerde het team dat de "fout" soms juist de les is.
Les 4: Frustratie is goed (als je het uitlegt)
De Mythe: Een goed trainingsspel moet makkelijk en leuk zijn, zodat mensen niet gefrustreerd raken.
De Realiteit: Als de training te makkelijk is, zullen de cursisten niet klaar zijn voor de echte chaos van een noodsituatie. Maar als het te moeilijk is, stoppen ze ermee. De onderzoekers vonden een "sweet spot" van moeilijkheidsgraad. Wanneer de scenario's moeilijker werden, daalden de scores van de cursisten, maar ze begonnen ook vaker de AI de schuld te geven.
De manier waarop de AI feedback gaf, veranderde echter alles. In het beginje somde de AI gewoon alle fouten op: "Je faalde hier, je faalde daar." Dit zorgde ervoor dat cursisten wilden opgeven.
De Oplossing: Het team veranderde de feedback naar een "constructieve" vorm. Nu, wanneer een cursist een fout maakte, benadrukte de AI ook wat ze wél goed deden. "Je miste de adresverificatie, maar je deed het geweldig in het kalmeren van de beller." Dit hield de moeilijkheidsgraad hoog (zodat ze leerden), maar zorgde ervoor dat de strijd productief voelde in plaats van hopeloos. Na deze verandering steeg het aantal mensen dat de sessies met een hoge moeilijkheidsgraad afmaakte van 76% naar 89%.
De Kernboodschap
Dit artikel suggereert dat het implementeren van AI in serieuze overheidsfuncties niet alleen gaat over het hebben van een slim algoritme. Het gaat over hoe je het bouwt, hoe je het controleert en hoe je de mensen behandelt die het gebruiken.
- Wacht niet op perfectie; bouw klein en leer samen.
- Laat de AI niet de strikte regels raden; gebruik wiskunde om het te controleren.
- Ga er niet vanuit dat elke klacht een bug is; controleer of het gewoon menselijke stress is.
- Maak het niet te makkelijk; daag mensen uit, maar vertel hen ook wat ze goed deden.
De onderzoekers benadrukken dat dit gebaseerd is op één specifieke stad (Nashville) en één specifiek type training. Ze beweren niet dat dit alles oplost, maar ze suggereren wel dat als andere steden AI voor training willen gebruiken, ze deze mensgerichte stappen moeten volgen om de valkuilen te vermijden die zij zijn tegengekomen. Het is een herinnering dat in banen met een hoge inzet de technologie slechts het instrument is; de echte magie zit in hoe mensen en machines het vertrouwen in elkaar opbouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.