Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes

Resumo Técnico: Auxiliando Clientes em Dificuldade – Um Agente Impulsionado por LLM que Conversa, Investiga e Roteia

Declaração do Problema
O setor financeiro do Reino Unido enfrenta um volume rapidamente crescente de fraudes não autorizadas, golpes e transações contestadas, com aumento superior a 10% ano a ano. Mecanismos tradicionais de atendimento ao cliente, como sistemas de Resposta de Voz Interativa (IVR) baseados em menus e triagem manual humana, estão se tornando insustentáveis devido à sua inflexibilidade, tempos de processamento lentos e altas taxas de casos roteados incorretamente. Essas ineficiências levam à insatisfação do cliente e a gargalos operacionais, impedindo que equipes especializadas se concentrem em investigações complexas. Há uma necessidade urgente de uma solução de automação escalável, precisa e em conformidade que possa triar efetivamente esses casos dentro da jornada do cliente.

Metodologia
Os autores propõem um agente de triagem voltado ao cliente, impulsionado por Modelos de Linguagem de Grande Escala (LLMs), projetado para conduzir conversas de múltiplas voltas, fazer perguntas de investigação direcionadas e classificar casos em categorias específicas (Fraude, Golpe, Disputa ou Inconclusivo).

• Arquitetura do Agente: O sistema utiliza LLMs de terceiros (Claude, Gemini, série GPT) por meio de engenharia de prompts, em vez de ajuste fino, garantindo flexibilidade e redução de riscos de dados. O agente é orquestrado por um gerenciador de prompts contendo sub-prompts especializados que definem o papel do agente, instruções comportamentais, fluxo de trabalho investigativo e proibições ("Não faça"). Esses prompts incorporam as políticas internas do banco diretamente no raciocínio do agente.
• Segurança e Transferências: O sistema emprega barreiras de segurança em camadas. O AWS Bedrock fornece filtragem fundamental, complementada por controles de entrada personalizados que bloqueiam solicitações de produtos não autorizadas, investigação de processos internos e mensagens em idiomas que não sejam inglês. Um "agente de digressão" dedicado detecta indicadores de vulnerabilidade ou desejos do usuário de encerrar a conversa, acionando uma transferência para especialistas humanos por meio de linhas telefônicas diretas.
• Estrutura de Avaliação (Gêmeos Digitais): Para abordar a falta de registros de chat rotulados para treinamento e teste, os autores desenvolveram um pipeline de avaliação escalável usando clientes sintéticos "gêmeos digitais". Esses agentes são gerados usando o OpenAI Agent SDK, imitando o comportamento, a linguagem e os estilos de interação de clientes reais, baseando-se em transcrições telefônicas históricas e dados de casos legados.
• Estratégia de Validação: O desempenho é avaliado por meio de uma abordagem combinada:
  1. Testes Sintéticos: Simulação em grande escala de aproximadamente 3.000 casos baseados em transcrições.
  2. Avaliação Humana: Especialistas no Assunto (SMEs) participam de diálogos de múltiplas voltas por meio de uma interface web, classificando o agente em métricas incluindo satisfação, empatia, conformidade, factualidade e qualidade do resumo.
  3. Avaliação Automatizada: Um pipeline "LLM-como-juiz" (GPT-4.1) avalia as conversas contra as mesmas métricas para fornecer classificações binárias escaláveis e justificativas.
  4. Red-Teaming: Testes adversariais foram conduzidos para avaliar a robustez contra injeção de prompts, manipulação de código e tentativas de extração.

Principais Contribuições

1. Agente de Triagem Implantado: Um agente funcional baseado em LLM capaz de diálogos de múltiplas voltas para classificação precisa de casos, com protocolos de transferência integrados e barreiras de segurança em camadas.
2. Pipeline de Avaliação Escalável: Um framework reproduzível que une dados operacionais com clientes sintéticos "gêmeos digitais", permitindo validação minuciosa sem depender de registros de chat rotulados pré-existentes.
3. Estratégia de Validação Híbrida: Uma abordagem combinada de validação humana e automatizada (LLM) para ajuste contínuo de prompts e garantia de qualidade, demonstrando prontidão para implantação bancária no mundo real.

Resultados
O agente foi avaliado contra uma base de IVR legado em cenários sintéticos e testes liderados por SMEs:

• Precisão de Classificação: O sistema alcançou ganhos significativos de precisão. O GPT-5 mostrou a maior melhoria, com +30,6% sobre a base legada, seguido por GPT-4.1 (+27,7%), Gemini-1.5-Pro (+28,4%), GPT-4.1-mini (+21,3%) e Claude Sonnet 3 (+20,0%). Os testes com SMEs confirmaram uma melhoria média de +16,0%.
• Métricas Operacionais: Métricas-chave, incluindo conformidade, satisfação e qualidade do resumo, consistentemente excederam o limiar de 75–80%.
• Desempenho de Transferência: O agente de transferência demonstrou taxas de precisão e recall superiores a 90%, detectando efetivamente quando a intervenção humana é necessária.
• Segurança e Barreiras: Barreiras de entrada detectaram injeção de prompts e discurso de ódio com precisão superior a 98%. Barreiras de saída identificaram conteúdo alucinatório com precisão superior a 95%. Exercícios de red-teaming confirmaram a capacidade do sistema de bloquear prompts adversariais e prevenir a divulgação de raciocínio interno.
• Acordo de Avaliação: Classificações automatizadas e humanas mostraram forte concordância (79–92%) para métricas objetivas (conformidade, factualidade, relevância), mas concordância menor (~60%) para aspectos subjetivos como empatia e frustração, sugerindo a necessidade de validação com intervenção humana para casos emocionalmente complexos.

Significado
O artigo afirma que o agente de triagem impulsionado por LLM proposto aborda com sucesso os desafios de escalabilidade e precisão do tratamento atual de fraudes e disputas bancárias. Ao alavancar gêmeos digitais sintéticos para avaliação, os autores demonstram um método robusto para validar agentes de IA em ambientes regulamentados onde dados rotulados são escassos. Os resultados indicam que a investigação direcionada por meio de diálogos de múltiplas voltas leva a uma triagem mais eficaz, reduzindo a frustração do cliente e os atrasos operacionais. A alta precisão do sistema, combinada com rigorosas barreiras de segurança e conformidade com políticas internas, confirma sua adequação para implantação em domínios financeiros regulamentados de alto risco.