Empowering 9-1-1 Calltaking Training with Generative AI: Experiences and Lessons Learned
Diese Arbeit präsentiert das Design, die Implementierung und die Evaluierung eines durch generative KI unterstützten Trainingssystems für Notrufannahmer in Zusammenarbeit mit Metro Nashville und destilliert vier zentrale Lehren aus realen Nutzungsdaten, um die Implementierung von KI-gestützten Lösungen in sicherheitskritischen Sektoren der öffentlichen Verwaltung zu leiten, die mit schwerwiegenden Personalmangel- und Skalierbarkeitsproblemen konfrontiert sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie werden zur 9-1-1-Notrufannahme ausgebildet. Es ist ein Job mit extrem hohem Einsatz, bei dem Sie ruhig bleiben, die richtigen Fragen stellen und Leben retten müssen, während Sie mit Menschen sprechen, die verängstigt, wütend oder verwirrt sind. In der realen Welt ist das Training dafür ein Albtraum. Es gibt nicht genug erfahrene Lehrer, und es dauert bis zu 720 Stunden eins-zu-eins-Anleitung, um einen Neueingestellten einsatzbereit zu machen. Das ist so, als würde man jemandem das Autofahren beibringen, indem man drei volle Monate lang nur im Klassenzimmer sitzt, ohne jemals ein echtes Auto berührt zu haben. Zudem führen Personalengpässe von über 25 % in vielen Zentren dazu, dass die wenigen Experten, die noch da sind, zu beschäftigt sind, um alle zu unterrichten.
Um dies zu lösen, arbeiteten Forscher der Vanderbilt University mit dem Metro Nashville Department of Emergency Communications (MNDEC) zusammen, um einen „digitalen Coach“ zu entwickeln, der durch Generative KI unterstützt wird. Sie haben nicht einfach nur ein Computerprogramm gebaut und gehofft, dass es funktioniert; sie haben es sechs Monate lang mit 190 echten Auszubildenden in 1.120 Trainingssitzungen getestet. Sie analysierten fast 100.000 Interaktionen, um zu sehen, was in der chaotischen Realität tatsächlich funktioniert.
Hier ist die Geschichte dessen, was sie gelernt haben, erzählt durch vier große Lektionen.
Lektion 1: Reden Sie nicht nur, bauen Sie einen winzigen Prototypen
Der Mythos: Man kann in einem Besprechungsraum sitzen, Experten interviewen und eine perfekte Liste von Anforderungen schreiben, bevor man mit dem Programmieren beginnt.
Die Realität: Das funktioniert hier nicht. Die Forscher fanden heraus, dass das KI-Team nicht wusste, wie sich ein echter Notruf anfühlt, und die Notrufannahmer nicht wussten, was KI tatsächlich leisten kann. Sie sprachen unterschiedliche Sprachen.
Die Lösung: Anstatt darauf zu warten, ein perfektes System zu bauen, entwickelten sie innerhalb eines Monats eine „winzige, klobige“ Version. Sie ließen die Experten damit spielen. Plötzlich sagten die Experten nicht mehr: „Wir brauchen realistischere Szenarien“, sondern: „Wow, können Sie den Anrufer wie einen panischen Nicht-Muttersprachler klingen lassen? Das ist es, was wir brauchen!“
Durch das Spielen mit dem „Spielzeug“ erkannten die Experten, dass die Diversität des Anrufers (sein Alter, seine Sprache und sein Panikpegel) wichtiger war als die Art des Notfalls (wie ein Feuer oder ein Herzinfarkt). Die Experten wandelten sich von „Auditoren“, die nur „Nein“ sagten, zu „Mitgestaltern“, die halfen, das System zu entwerfen. Die Forscher lernten, dass man nicht einfach ein Handbuch lesen kann; man muss etwas Kleines bauen, es die Leute kaputtmachen lassen und es dann gemeinsam reparieren.
Lektion 2: Lassen Sie die KI nicht die Regeln „raten“
Der Mythos: Man kann einer superintelligenten KI einfach sagen: „Prüfe, ob der Auszubildende die Regeln befolgt hat“, und sie wird es jedes Mal richtig machen.
Die Realität: Als die KI versuchte, lange, komplizierte Gesprächsprotokolle zu lesen und diese gegen hunderte Regeln zu prüfen, begann sie sich zu verwirren. In vorläufigen Experimenten sank die Genauigkeit eines reinen KI-Modells (Llama 3.2) von 78 % auf 42 %, wenn das Gespräch lang und chaotisch wurde. Es war, als würde man einen Schüler bitten, eine Matheaufgabe zu lösen, während er gleichzeitig einen Roman liest; er verliert einfach den Faden.
Die Lösung: Das Team baute ein „hybrides“ System. Sie nahmen die strengen, unveränderlichen Regeln des Jobs (wie „Fragen Sie in den ersten drei Schritten nach der Adresse“) und wandelten sie in eine starre, mathematische Checkliste um, die ein Computer nicht falsch machen kann. Sie überließen der KI die „diffusen“ Teile, wie etwa zu verstehen, ob ein Anrufer Angst hat oder ob die Hintergrundgeräusche chaotisch sind.
Denken Sie an einen Schiedsrichter bei einem Fußballspiel. Die KI ist die Kameracrew, die das Geschehen einfängt, aber die „formalen Regeln“ sind die Pfeife des Schiedsrichters. Der Schiedsrichter (die Mathematik) sagt „Tor!“ oder „Kein Tor!“ basierend auf exakten Linien, während die Kamera (die KI) das Drama beschreibt. Diese Mischung machte das endgültige System 94,3 % bis 95,9 % genau, was viel besser ist als die bloße Vermutung der KI.
Lektion 3: Nicht jeder „Fehler“ ist ein Bug
Der Mythos: Wenn ein Auszubildender sagt: „Der Computer hat einen Fehler gemacht!“, muss der Computer defekt sein.
Die Realität: In hochstressigen Trainings geben Menschen oft der Maschine die Schuld, wenn sie sich selbst unfähig fühlen. Die Forscher fanden heraus, dass in 28,24 % der Fälle Auszubildende „Systemfehler“ meldeten, die eigentlich nur ihr eigener Fehler waren.
Ein Auszubildender könnte zum Beispiel nach einer Adresse fragen, „123 Main Street“ hören und dann weitermachen. Er denkt: „Ich habe die Adresse bekommen, das System sollte mir Punkte geben!“ Aber die Regel besagt, dass man die Adresse verifizieren muss (die Schreibweise oder die Kreuzung überprüfen). Der Auszubildende empfand das System als unfair, aber das System machte eigentlich seinen Job perfekt.
Die Lösung: Das Team schuf eine „triangulierte“ Feedbackschleife. Wenn ein Auszubildender sich beschwerte, sah sich ein menschlicher Experte (ein Qualitätsbeauftragter) die Aufnahme und die Protokolle an, bevor die Entwickler irgendetwas änderten. Dies verhinderte, dass das Team versehentlich das System „reparierte“, um es für die Auszubildenden einfacher zu machen, was das Training ruiniert hätte. Es lehrte das Team, dass der „Fehler“ manchmal die eigentliche Lektion ist.
Lektion 4: Frustration ist gut (wenn man sie erklärt)
Der Mythos: Ein gutes Trainingsspiel sollte einfach und unterhaltsam sein, damit die Leute nicht frustriert werden.
Die Realität: Wenn das Training zu einfach ist, werden die Auszubildenden nicht bereit für das echte Chaos eines Notfalls sein. Aber wenn es zu schwer ist, geben sie auf. Die Forscher fanden einen „Sweet Spot“ der Schwierigkeit. Wenn die Szenarien schwieriger wurden, sanken die Punktzahlen der Auszubildenden, aber sie begannen auch häufiger, der KI die Schuld zu geben.
Die Art und Weise, wie die KI jedoch Feedback gab, änderte alles. Anfangs listete die KI einfach alle Fehler auf: „Sie sind hier gescheitert, Sie sind dort gescheitert.“ Das führte dazu, dass die Auszubildenden aufgeben wollten.
Die Lösung: Das Team änderte das Feedback hin zu einer „konstruktiven“ Form. Jetzt, wenn ein Auszubildender einen Fehler machte, hob die KI auch hervor, was er gut gemacht hatte. „Sie haben die Adressprüfung vergessen, aber Sie haben einen großartigen Job dabei gemacht, den Anrufer zu beruhigen.“ Dies hielt den Schwierigkeitsgrad hoch (damit sie lernten), aber machte den Kampf produktiv statt hofflos. Nach dieser Änderung stieg die Zahl der Personen, die hochkomplexe Sitzungen abschlossen, von 76 % auf 89 %.
Das Fazit
Dieses Paper legt nahe, dass es beim Einsatz von KI in ernsthaften Regierungsaufgaben nicht nur darum geht, einen intelligenten Algorithmus zu haben. Es geht darum, wie man ihn baut, wie man ihn prüft und wie man mit den Menschen umgeht, die ihn nutzen.
- Warten Sie nicht auf Perfektion; bauen Sie klein und lernen Sie gemeinsam.
- Lassen Sie die KI nicht bei strengen Regeln raten; nutzen Sie Mathematik, um sie zu überprüfen.
- Gehen Sie nicht davon aus, dass jede Beschwerde ein Bug ist; prüfen Sie, ob es nur menschlicher Stress ist.
- Machen Sie es nicht zu einfach; fordern Sie die Menschen heraus, aber sagen Sie ihnen auch, was sie gut gemacht haben.
Die Forscher betonen vorsichtig, dass dies auf eine spezifische Stadt (Nashville) und eine spezifische Art des Trainings basiert. Sie behaupten nicht, dass dies alles löst, aber sie legen nahe, dass andere Städte, die KI für das Training nutzen wollen, diesen menschenzentrierten Schritten folgen sollten, um die gefundenen Fallstricke zu vermeiden. Es ist eine Erinnerung daran, dass es in Berufen mit hohem Einsatz um die Technologie nur das Werkzeug ist; die wahre Magie liegt darin, wie Menschen und Maschinen lernen, einander zu vertrauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.