Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes

Resumen Técnico: Ayuda a Clientes en Dificultad – Un Agente Impulsado por Modelos de Lenguaje Grande que Conversa, Indaga y Deriva

Enunciado del Problema
El sector financiero del Reino Unido enfrenta un volumen rápidamente creciente de fraudes no autorizados, estafas y transacciones disputadas, con un aumento superior al 10% interanual. Los mecanismos tradicionales de atención al cliente, como los sistemas de Respuesta de Voz Interactiva (IVR) basados en menús y el triaje manual humano, se están volviendo insostenibles debido a su inflexibilidad, tiempos de procesamiento lentos y altas tasas de casos mal derivados. Estas ineficiencias generan insatisfacción del cliente y cuellos de botella operativos, impidiendo que los equipos especializados se centren en investigaciones complejas. Existe una necesidad urgente de una solución de automatización escalable, precisa y conforme a la normativa que pueda triar eficazmente estos casos dentro del viaje del cliente.

Metodología
Los autores proponen un agente de triaje orientado al cliente, impulsado por Modelos de Lenguaje Grande (LLM), diseñado para llevar a cabo conversaciones de múltiples turnos, realizar preguntas de indagación dirigidas y clasificar los casos en categorías específicas (Fraude, Estafa, Disputa o Inconcluso).

• Arquitectura del Agente: El sistema utiliza LLMs de terceros (Claude, Gemini, serie GPT) mediante ingeniería de prompts en lugar de ajuste fino, garantizando flexibilidad y reduciendo riesgos de datos. El agente es orquestado por un gestor de prompts que contiene sub-prompts especializados que definen el rol del agente, las instrucciones de comportamiento, el flujo de trabajo de investigación y las prohibiciones ("No hacer"). Estos prompts integran directamente las políticas internas del banco en el razonamiento del agente.
• Seguridad y Derivaciones: El sistema emplea barreras de seguridad en capas. AWS Bedrock proporciona filtrado fundamental, complementado por controles de entrada personalizados que bloquean solicitudes de productos no autorizadas, sondeos de procesos internos y mensajes en idiomas distintos al inglés. Un "agente de digresión" dedicado detecta indicadores de vulnerabilidad o deseos del usuario de finalizar la conversación, activando una derivación a especialistas humanos mediante líneas telefónicas directas.
• Marco de Evaluación (Gemelos Digitales): Para abordar la falta de registros de chat etiquetados para el entrenamiento y la prueba, los autores desarrollaron un pipeline de evaluación escalable utilizando "gemelos digitales" sintéticos de clientes. Estos agentes se generan utilizando el SDK de Agentes de OpenAI, imitando el comportamiento, el lenguaje y los estilos de interacción de clientes reales basándose en transcripciones telefónicas históricas y datos de casos heredados.
• Estrategia de Validación: El rendimiento se evalúa mediante un enfoque combinado:
  1. Pruebas Sintéticas: Simulación a gran escala de aproximadamente 3.000 casos basados en transcripciones.
  2. Evaluación Humana: Expertos en la materia (SME) participan en diálogos de múltiples turnos a través de una interfaz web, calificando al agente en métricas que incluyen satisfacción, empatía, cumplimiento, factualidad y calidad del resumen.
  3. Evaluación Automatizada: Un pipeline de "LLM como juez" (GPT-4.1) evalúa las conversaciones contra las mismas métricas para proporcionar calificaciones binarias escalables y justificaciones.
  4. Red-Teaming: Se realizaron pruebas adversarias para evaluar la robustez frente a inyección de prompts, manipulación de código y intentos de extracción.

Contribuciones Clave

1. Agente de Triaje Implementado: Un agente funcional basado en LLM capaz de diálogos de múltiples turnos para una clasificación precisa de casos, con protocolos de derivación integrados y barreras de seguridad en capas.
2. Pipeline de Evaluación Escalable: Un marco reproducible que une datos operativos con clientes sintéticos de "gemelos digitales", permitiendo una validación exhaustiva sin depender de registros de chat etiquetados preexistentes.
3. Estrategia de Validación Híbrida: Un enfoque combinado de validación humana y automatizada (mediante LLM) para el ajuste continuo de prompts y la garantía de calidad, demostrando la preparación para la implementación en la banca real.

Resultados
El agente fue evaluado frente a una línea base IVR heredada en escenarios sintéticos y pruebas lideradas por expertos en la materia:

• Precisión de Clasificación: El sistema logró ganancias significativas en precisión. GPT-5 mostró la mayor mejora con un +30.6% sobre la línea base heredada, seguido por GPT-4.1 (+27.7%), Gemini-1.5-Pro (+28.4%), GPT-4.1-mini (+21.3%) y Claude Sonnet 3 (+20.0%). Las pruebas con expertos en la materia confirmaron una mejora promedio del +16.0%.
• Métricas Operativas: Métricas clave, incluido el cumplimiento, la satisfacción y la calidad del resumen, superaron consistentemente el umbral del 75–80%.
• Rendimiento de Derivación: El agente de derivación demostró tasas de precisión y recuperación superiores al 90%, detectando eficazmente cuándo se requiere intervención humana.
• Seguridad y Barreras: Las barreras de entrada detectaron inyección de prompts y discurso de odio con una precisión superior al 98%. Las barreras de salida identificaron contenido alucinatorio con una precisión superior al 95%. Los ejercicios de red-teaming confirmaron la capacidad del sistema para bloquear prompts adversarios y prevenir la divulgación de razonamientos internos.
• Acuerdo en la Evaluación: Las calificaciones automatizadas y humanas mostraron un fuerte acuerdo (79–92%) para métricas objetivas (cumplimiento, factualidad, relevancia), pero un acuerdo menor (~60%) para aspectos subjetivos como la empatía y la frustración, lo que sugiere la necesidad de validación con intervención humana para casos con matices emocionales.

Significado
El artículo afirma que el agente de triaje impulsado por LLM propuesto aborda con éxito los desafíos de escalabilidad y precisión del manejo actual de fraudes y disputas bancarias. Al aprovechar gemelos digitales sintéticos para la evaluación, los autores demuestran un método robusto para validar agentes de IA en entornos regulados donde los datos etiquetados son escasos. Los resultados indican que la indagación dirigida mediante diálogos de múltiples turnos conduce a un triaje más efectivo, reduciendo la frustración del cliente y los retrasos operativos. La alta precisión del sistema, combinada con rigurosas barreras de seguridad y el cumplimiento de las políticas internas, confirma su idoneidad para la implementación en dominios financieros regulados de alto riesgo.