Empowering 9-1-1 Calltaking Training with Generative AI: Experiences and Lessons Learned

당신이 911 접수 요원이 되기 위해 훈련을 받고 있다고 상상해 보십시오. 그것은 매우 중요한 직업입니다. 당신은 공포에 질려 있거나, 화가 나 있거나, 혼란스러워하는 사람들과 대화하면서도 침착함을 유지하고, 올바른 질문을 던지며, 생명을 구해야 합니다. 현실 세계에서 이를 위해 훈련하는 것은 악몽과 같습니다. 경험 많은 교사는 부족하며, 신입 사원이 준비될 때까지는 최대 720시간의 일대일 교육이 필요합니다. 이는 마치 누군가에게 실제 자동차를 한 번도 만져보지 못한 채 강의실에만 앉아 있는 상태로 3개월 내내 운전을 가르치는 것과 같습니다. 게다가 많은 센터에서 인력 부족이 **25%**를 초과함에 따라, 그곳에 남아 있는 소수의 전문가들은 모두를 가르치기에 너무 바쁩니다.

이를 해결하기 위해, 밴더빌트 대학교(Vandertbilt University)의 연구진은 생성형 AI 기반의 "디지털 코치"를 구축하기 위해 메트로 내슈빌 비상 통신국(MNDEC)과 협력했습니다. 그들은 단순히 컴퓨터 프로그램 하나를 만들고 잘 되기를 바란 것이 아닙니다. 그들은 실제로 190명의 실제 훈련생과 함께 1,120회의 훈련 세션을 진행하며 6개월 동안 이를 사용했습니다. 그들은 무엇이 실제 복잡한 현장에서 효과가 있었는지 확인하기 위해 거의 100,000건의 상호작용을 분석했습니다.

다음은 그들이 배운 내용을 네 가지 큰 교훈을 통해 들려주는 이야기입니다.

교훈 1: 그냥 말만 하지 말고, 작은 프로토타입을 만들어라

신화: 코딩을 시작하기 전에 회의실에 앉아 전문가들을 인터뷰하고 완벽한 요구 사항 목록을 작성할 수 있다.
현실: 여기서는 통하지 않습니다. 연구진은 AI 팀이 실제 응급 전화가 어떤 느낌인지 몰랐고, 접수 요원들은 AI가 실제로 무엇을 할 수 있는지 몰랐다는 것을 발견했습니다. 그들은 서로 다른 언어를 말하고 있었습니다.

해결책: 완벽한 시스템을 구축하기 위해 기다리는 대신, 그들은 단 한 달 만에 "작고 투박한" 버전을 만들었습니다. 그리고 전문가들이 그것을 가지고 놀 수 있게 했습니다. 갑자기 전문가들은 "더 현실적인 시나리오가 필요해요"라고 말하는 대신, "와, 이 신고자가 당황한 비원어민 영어 사용자인 것처럼 만들 수 있나요? 바로 그런 게 필요해요!"라고 말하기 시작했습니다.
장난감을 가지고 놀면서 전문가들은 단순히 응급 상황의 종류(예: 화재 또는 심장마비)보다 신고자의 '다양성'(연령, 언어, 패닉 수준)이 더 중요하다는 것을 깨달았습니다. 전문가들은 단순히 "안 된다"고 말하는 '감사관'에서 시스템을 설계하는 데 도움을 주는 '공동 설계자'로 변모했습니다. 연구진은 단순히 매뉴얼을 읽는 것이 아니라, 무언가를 작게 만들고, 사람들이 그것을 망가뜨리게 둔 다음, 함께 고쳐나가야 한다는 것을 배웠습니다.

교훈 2: AI가 규칙을 "추측"하게 두지 마라

신화: 아주 똑똑한 AI에게 "훈련생이 규칙을 따랐는지 확인해 줘"라고 말하기만 하면 매번 제대로 할 것이다.
현실: AI가 길고 복잡한 통화 녹취록을 읽고 수백 개의 규칙을 대조하려고 할 때, 혼란을 겪기 시작했습니다. 예비 실험에서 순수 AI 모델(Llama 3.2)은 대화가 길고 복잡해지자 정확도가 **78%**에서 **42%**로 떨어졌습니다. 이는 학생에게 소설을 읽으면서 동시에 수학 문제를 풀라고 요구하는 것과 같았으며, 학생은 길을 잃고 말았습니다.

해법: 팀은 "하이브리드" 시스템을 구축했습니다. 그들은 직업의 엄격하고 변경 불가능한 규칙들(예: "첫 3번의 대화 안에 주소를 물어볼 것")을 컴퓨터가 실수할 수 없는 엄격하고 수학적인 체크리스트로 바꿨습니다. 그리고 AI에게는 신고자가 겁에 질려 있는지, 혹은 배경 소음이 혼란스러운지와 같은 "모호한" 부분을 처리하도록 맡겼습니다.
이것은 축구 경기에서의 심판과 같습니다. AI는 경기의 장면을 포착하는 카메라 팀이지만, "공식 규칙"은 심판의 휘슬입니다. 심판(수학)은 정확한 선을 기준으로 "골!" 또는 "노 골!"을 판정하고, 카메라(AI)는 드라마를 설명합니다. 이러한 결합을 통해 최종 시스템은 **94.3%에서 95.9%**의 정확도를 기록했으며, 이는 AI가 단독으로 추측할 때보다 훨씬 뛰어난 수치입니다.

교훈 3: 모든 "오류"가 버그인 것은 아니다

신화: 만약 훈련생이 "컴퓨터가 실수했어요!"라고 말한다면, 컴퓨터가 고장 난 것이 틀림없다.
현실: 고도의 스트레스가 동반되는 훈련 중에 사람들은 자신이 무능하다고 느낄 때 종종 기계 탓을 합니다. 연구진은 훈련생들이 보고한 "시스템 오류" 중 **28.24%**가 사실은 본인의 실수였다는 것을 발견했습니다.
예를 들어, 훈련생이 주소를 묻고 "123 메인 스트리트"라는 답변을 들은 뒤 다음 단계로 넘어갔다고 가정해 봅시다. 그들은 "주소를 알아냈으니 점수를 받아야 해!"라고 생각합니다. 하지만 규칙은 주소를 확인(철자를 확인하거나 교차 도로를 묻는 과정)해야 한다고 명시되어 있습니다. 훈련생은 시스템이 불공평하다고 느꼈지만, 시스템은 사실 완벽하게 제 역할을 수행하고 있었습니다.

해결책: 팀은 "삼각 측량"된 피드백 루프를 만들었습니다. 훈련생이 불만을 제기하면, 개발자들이 무언가를 수정하기 전에 인간 전문가(품질 관리관)가 녹음 파일과 로그를 먼저 검토했습니다. 이를 통해 팀이 시스템을 실수 없이 "수정"하여 훈련을 더 쉽게 만들어버림으로써 훈련의 질을 망치는 일을 방지했습니다. 이는 때때로 "오류" 자체가 곧 "교훈"이 될 수 있다는 것을 팀에게 가르쳐 주었습니다.

교훈 4: 좌절감은 유익하다 (설명만 제대로 된다면)

신화: 좋은 훈련 게임은 사람들이 좌절하지 않도록 쉽고 재미있어야 한다.
현실: 훈련이 너무 쉬우면 훈련생들은 실제 응급 상황의 혼돈에 대비할 수 없습니다. 하지만 너무 어려우면 중도 포기하게 됩니다. 연구진은 난이도의 "최적 지점"을 발견했습니다. 시나리오가 어려워질수록 훈련생들의 점수는 낮아졌지만, 동시에 AI를 탓하는 빈도도 높아졌습니다.
그러나 AI가 피드백을 주는 방식이 모든 것을 바꾸었습니다. 초기에는 AI가 단순히 모든 실수를 나열했습니다: "여기서 실패했습니다, 저기서도 실패했습니다." 이는 훈련생들이 포기하고 싶게 만들었습니다.
해결책: 팀은 피드백을 "건설적"인 방식으로 변경했습니다. 이제 훈련생이 실수했을 때, AI는 그들이 잘한 부분도 함께 강조합니다. "주소 확인은 놓쳤지만, 신고자를 진정시키는 데는 아주 훌륭했습니다." 이 변화는 난이도를 높게 유지하면서도(학습이 가능하도록), 그 노력이 절망이 아닌 생산적인 과정처럼 느껴지게 했습니다. 이 변화 이후, 고난도 세션을 완료하는 사람들의 비율이 **76%에서 89%**로 급증했습니다.

핵심 요약

이 논문은 정부의 중요한 업무에 AI를 도입하는 것이 단순히 똑똑한 알고리즘을 갖는 문제가 아니라는 점을 시사합니다. 그것은 어떻게 구축하고, 어떻게 검증하며, 사용하는 인간을 어떻게 대우하느냐에 관한 것입니다.

• 완벽을 기다리지 마십시오. 작게 시작하고 함께 배워나가십시오.
• AI가 엄격한 규칙을 추측하게 두지 마십시오. 수학을 사용하여 이를 재검증하십시오.
• 모든 불만이 버그라고 가정하지 마십시오. 그것이 단순한 인간의 스트레스인지 확인하십시오.
• 너무 쉽게 만들지 마십시오. 사람들에게 도전 과제를 주되, 그들이 무엇을 잘했는지도 알려주십시오.

연구진은 이것이 특정 도시(내슈빌)와 특정 유형의 훈련에 기반한 것임을 주의 깊게 밝히고 있습니다. 그들은 이것이 모든 문제를 해결한다고 주장하는 것이 아닙니다. 다만 다른 도시들이 AI를 훈련에 활용하고자 한다면, 자신들이 발견한 함정을 피하기 위해 이러한 인간 중심적인 단계들을 따라야 한다고 제안합니다. 이는 고도의 긴박함이 요구되는 직업에서 기술은 도구일 뿐이며, 진짜 마법은 인간과 기계가 서로를 신뢰하는 법을 배우는 과정에 있다는 점을 상기시켜 줍니다.