Empowering 9-1-1 Calltaking Training with Generative AI: Experiences and Lessons Learned

Resumo Técnico: Capacitando o Treinamento de Atendentes de 9-1-1 com IA Generativa

Declaração do Problema
Os atendentes de chamadas de emergência nos Estados Unidos processam mais de 240 milhões de chamadas anualmente, mas enfrentam uma crise severa de treinamento caracterizada por escassez de pessoal (excedendo 25% em muitos centros) e integração de recursos intensiva (até 720 horas de instrução individual por novo contratado). O treinamento tradicional depende de simulações manuais de papéis e garantia de qualidade (QA) que cobrem menos de 10% das chamadas, levando a atrasos significativos no feedback. Embora a IA Generativa (GenAI) prometa soluções escaláveis por meio da geração automatizada de cenários e avaliação, a implementação de tais sistemas em ambientes governamentais de segurança crítica apresenta desafios únicos. Estes incluem a ponte de lacunas de conhecimento entre pesquisadores de IA e especialistas de domínio, a garantia de rigor sob restrições procedimentais estritas, a construção de resiliência do sistema contra respostas de estresse do usuário e a manutenção do engajamento do treinando sem comprometer a dificuldade do treinamento. A literatura existente carece de evidências empíricas longitudinais sobre a sustentação de implementações de IA dentro dessas restrições operacionais incorporadas.

Metodologia
Os autores conduziram uma implementação longitudinal de seis meses de um sistema de treinamento baseado em GenAI em parceria com o Departamento de Comunicações de Emergência de Metro Nashville (MNDEC). O sistema opera através de uma interface de telefonia onde modelos de fundação (ex: GPT-5.2) interpretam papéis de chamadores, interagindo com os treinandos via áudio.

• Arquitetura e Fluxo de Trabalho do Sistema:

  • Geração de Cenários: O pessoal de treinamento configura cenários selecionando entre 57 tipos de incidentes, contextos e 100 personas de chamadores (incorporando idade, emoção, proficiência linguística e vulnerabilidade). Modelos de fundação geram comportamentos realistas de chamadores, incluindo dinâmicas emocionais e ruído de fundo.
  • Avaliação de Desempenho: O sistema monitora a conformidade do treinando em relação a 1.651 requisitos de protocolo. Crucialmente, os autores empregaram uma arquitetção híbrida para garantir o rigor. Em vez de depender apenas de Grandes Modelos de Linguagem (LLMs) para o raciocínio de ponta a ponta, eles traduziram protocolos de linguagem natural em especificações de Lógica Temporal de Sinais (STL). Os LLMs foram restritos a predicados modulares e estreitos (ex: DETECT(ω, ação)) para identificar vocalizações ou sequências específicas dentro do rastro da chamada. Métodos de verificação formal foram então aplicados a esses sinais para validar a conformidade com restrições temporais e lógica condicional.
  • Ciclo de Feedback: Após a conclusão da sessão, o debriefing automatizado gera relatórios de desempenho. O pessoal de Garantia de Qualidade (QA) valida esses resultados cruzando as avaliações do sistema com as gravações de áudio antes de sincronizar os resultados para o planejamento curricular.

• Estratégia de Implementação:
  O projeto utilizou um fluxo de trabalho concorrente "Design-Desenvolvimento-Implementação" em vez de uma sequência linear. Isso envolveu:

  • Entrega Iterativa: Implementação rápida de sistemas mínimos viáveis para transformar requisitos abstratos em artefatos concretos.
  • Feedback Triangulado: Relatos de erro do usuário foram roteados através de validação de QA independente para distinguir falhas técnicas genuínas de atribuições incorretas causadas pelo estresse.
  • Engajamento de Stakeholders: Colaboração contínua com administradores, TI, atendentes e instrutores para co-especificar melhorias e validar comportamentos do sistema.

Principais Contribuições
O artigo destila quatro lições fundamentais derivadas da implementação de 1.120 sessões de treinamento para 190 usuários operacionais (capturando 98.429 eventos de interação):

1. Ponte de Lacunas de Conhecimento via Entrega Iterativa: Os autores descobriram que nem as equipes de IA nem os especialistas de domínio podiam especificar totalmente os requisitos antecipadamente. A entrega de protótipos mínimos funcionais permitiu que os especialistas de domínio evoluíssem de "auditores" para "co-arquitetos", articulando necessidades concretas (ex: diversidade específica de chamadores) apenas após interagir com o sistema.
2. Aumento de Rigor com Métodos Formais: Abordagens puramente baseadas em LLM falharam em manter a precisão em contextos longos e complexos (caindo de 78% para 42% nas taxas de resolução conforme o contexto aumentava). A abordagem híbrida, combinando especificações formais de STL com predicados modulares de LLM, alcançou 94,3–95,9% de concordância com as avaliações de especialistas, superando significativamente as bases puras de LLM (87,8%).
3. Construção de Resiliência via Feedback Triangulado: O estudo revelou que 28,24% dos "erros de sistema" relatados pelos usuários eram, na verdade, atribuições incorretas de suas próprias falhas de desempenho devido ao estresse psicológico. Um ciclo de feedback envolvendo validação de QA independente evitou que esses relatos desencadeassem modificações desnecessárias no sistema que degradariam o rigor do treinamento.
4. Design para Desafio Construtivo: O sistema demonstrou que o treinamento de alto risco exige um "esforço produtivo". Ao calibrar a complexidade do cenário e fornecer feedback equilibrado (reconhecendo pontos fortes ao lado de deficiências), o sistema manteve a dificuldade necessária enquanto reduzia a frustração do treinando. Essa abordagem aumentou as taxas de conclusão de sessões para cenários de alta complexidade de 76% para 89%.

Resultos

• Escala: O sistema escalou de um piloto inicial de 18 estações de trabalho para 190 usuários completando 1.120 sessões.
• Precisão: O modelo de verificação híbrida de formalidade alcançou níveis de concordância próximos aos de especialistas (94,3–95,9%) na avaliação de protocolo, validando a necessidade de restringir os LLMs a predicados específicos.
• Engajamento do Usuário: A implementação de mecanismos de feedback construtivo e a validação da zona de "esforço produtivo" (Índice de Complexidade 1,34–1,57) levaram a maiores taxas de conclusão e reduziram a frustração, mesmo quando a dificuldade do cenário permaneceu constante.
• Insight Operacional: A implementação identificou que a diversidade de chamadores (ex: falantes não nativos, estados de pânico) era uma variável de treinamento mais crítica do que a variedade de incidentes, uma nuance descoberta apenas através da interação iterativa com o protótipo.

Significância e Alegações
O artigo afirma que a adoção bem-sucedida de IA em ambientes do setor público de segurança crítica é determinada menos pelo desempenho algorítmico isolado e mais pelas dinâmicas sociotécnicas, incluindo práticas de entrega, estruturas de governança e fatores humanos.

Os autores enfatizam que seu trabalho fornece orientação prática e fundamentada para mover a IA Responsável dos princípios abstratos para a prática. Eles argumentam que, em domínios de alto risco, os sistemas de IA devem ser projetados para:

• Transformar especialistas de domínio em co-designers através da entrega iterativa de artefatos.
• Garantir auditabilidade e confiabilidade ao delimitar as responsabilidades dos LLMs através de verificação formal.
• Manter a integridade do treinamento filtrando o feedback do usuário induzido pelo estresse através de validação especializada.
• Apoiar a aquisição de habilidades equilibrando dificuldade calibrada com feedback construtivo.

O estudo conclui que, para a IA ser valiosa na segurança pública, ela deve escalar o conhecimento especializado para apoiar a prática adaptativa e o julgamento, em vez de simplesmente automatizar tarefas ou substituir a supervisão humana. As descobertas oferecem um framework replicável para o deployment de IA em outros contextos governamentais onde restrições práticas moldam fundamentalmente o design centrado no ser humano.