Resumen Técnico: DGVoiC – Agrupación de Locutores para la Investigación de Fraude

1. Planteamiento del Problema

El fraude en los seguros sigue siendo una carga financiera significativa, con costos estimados que alcanzaron los 14.400 millones de libras esterlinas a nivel mundial en 2023–2024. Un desafío crítico en la detección de fraude reside en los flujos de trabajo de los centros de llamadas, particularmente en la etapa de Notificación de Siniestro (FNOL, por sus siglas en inglés). Mientras que los sistemas actuales de detección de fraude dependen predominantemente de datos estructurados, transcripciones de texto o imágenes, subutilizan ampliamente la identidad de locutor repetida a través de las llamadas como una señal de investigación.

La investigación existente sobre llamadas telefónicas fraudulentas se centra intensamente en el contenido de la transcripción o en la clasificación de estafas, en lugar de la identidad persistente del locutor. Además, el audio operativo de los centros de llamadas en el mundo real es difícil de estudiar debido a las restricciones de privacidad y de datos biométricos, lo que crea una brecha entre los avances en el aprendizaje de representaciones de locutores y las necesidades prácticas de la investigación de fraude. Los investigadores a menudo luchan por verificar si un cliente es el locutor real o para identificar si la misma voz aparece en múltiples perfiles de clientes distintos, un patrón que puede indicar un uso indebido organizado.

2. Metodología: El Marco de Trabajo DGVoiC

El artículo propone DGVoiC, un marco de agrupación de voz diseñado para operar sobre audio de centros de llamadas del mundo real y anonimizado. El sistema no pretende ser un motor de decisión de fraude automatizado e independiente, sino una herramienta de apoyo para asistir a los analistas en la verificación de la consistencia del locutor y la detección de vínculos de voz entre perfiles.

A. Preprocesamiento de Datos y Anonimización

Dado el uso de datos operativos reales, el flujo de trabajo prioriza la privacidad:

• Anonimización: La información de identificación personal (PII) y los atributos sensibles se detectan mediante Reconocimiento de Entidades Nombradas (NER), Expresiones Regulares (Regex) y marcas de tiempo a nivel de palabra mediante WhisperX.
• Silenciamiento de Audio: Las regiones de audio correspondientes que contienen datos sensibles se silencian utilizando librosa y soundfile antes del análisis.
• Preprocesamiento: Las regiones largas sin habla se eliminan utilizando preprocess_wav de Resemblyzer para reducir el impacto del silencio y centrar la representación en el habla activa.

B. Extracción de Embeddings de Locutor

El marco emplea una estrategia de ventana deslizante para manejar llamadas de telefonía largas y variables:

• Segmentación: Se utiliza un enfoque de ventana deslizante superpuesta (probado con ventanas de 6s y saltos de 3s) para asegurar que no se pierdan regiones de habla cortas e informativas.
• Modelo de Embedding: Se utiliza ECAPA-TDNN para codificar segmentos válidos en embeddings de locutor de dimensión fija.
• Agregación: Los embeddings a nivel de segmento para una sola interacción de cliente se agregan mediante mean pooling (promedio) para formar una representación de voz final.

C. Agrupación (Clustering) y Calificación de Riesgo

• Métrica de Similitud: Se utiliza la similitud de coseno para comparar los embeddings entre diferentes reclamaciones y perfiles de clientes.
• Lógica de Agrupación: El sistema identifica locutores repetidos incluso cuando los detalles del cliente difieren.
• Disparadores de Investigación: Para apoyar el triaje del analista, el sistema señala casos que cumplen condiciones específicas:
  1. Similitud de coseno > 0.718 entre las representaciones de voz candidatas.
  2. Pertenencia a un grupo (cluster) que contiene más de 4 perfiles de clientes distintos.
  3. Consistencia del grupo a través de las grabaciones de un cliente.
• Calificación de Riesgo: Se genera una puntuación de probabilidad acotada utilizando una función sigmoide para priorizar la revisión del analista. Los casos con alta similitud y tamaños de grupo grandes (por ejemplo, ≥9 perfiles) reciben puntuaciones de riesgo más altas.

3. Configuración Experimental

• Conjunto de Datos: 121 grabaciones de llamadas reales de múltiples perfiles de clientes.
• Criterios de Selección: Restringido a clientes con al menos cuatro grabaciones para evaluar la variación dentro del mismo cliente.
• Verdad de Campo (Ground Truth): Se creó un subconjunto curado de 56 muestras (organizadas en 22 grupos acordados por humanos) por dos especialistas independientes en el dominio de fraude de Domestic & General. Solo se retuvieron las muestras donde ambos revisores lograron un alto nivel de acuerdo de confianza.
• Hardware: Los experimentos se ejecutaron en computación personalizada de Databricks (32 núcleos de CPU, 128 GB de RAM, una única GPU de 64 GB).

4. Resultados Clave

La configuración propuesta (preprocesamiento de Resemblyzer + ECAPA-TDNN + ventana deslizante de 6s + mean pooling + umbral de 0.718) logró las siguientes métricas de rendimiento en el subconjunto de validación:

• Información Mutua Ajustada (AMI): 96%
• Índice Rand Ajustado (ARI): 95%
• Completitud: 98%
• Homogeneidad: 100%
• V-measure: 99%
• Precisión (Accuracy): 95%
• Puntuación F1: 0.96

Latencia:

• Extracción de embeddings: ~10 segundos por grabación.
• Agrupación y vinculación: ~84ms por grabación.
• Procesamiento Total de Extremo a Extremo: ~10.08 segundos por grabación.

Métricas de Verificación Auxiliares:
Con el umbral de agrupación de 0.718, el sistema produjo una Tasa de Error Igual (EER) de 3.85%, una Tasa de Falsa Aceptación (FAR) de 0.50%, y una Tasa de Falso Rechazo (FRR) de 9.62%.

Análisis de Errores:
El modelo produjo 24 grupos frente a los 22 grupos de la verdad de campo. Las discrepancias se atribuyeron a la variabilidad acústica residual, como un cliente que suena notablemente diferente en dos llamadas o un ruido de fondo fuerte y sostenido que desplaza la representación de una grabación.

5. Significado y Contribuciones

El artículo reclama las siguientes contribuciones y significados:

1. Marco Práctico: Introduce DGVoiC, un enfoque práctico de agrupación de voz diseñado específicamente para datos de llamadas de centros de seguros anonimizados y reales, abordando una brecha donde la mayoría de las investigaciones dependen de conjuntos de datos sintéticos o de referencia.
2. Innovación en el Flujo de Trabajo: Propone un flujo de trabajo adaptado para llamadas telefónicas largas y variables, combinando la anonimización alineada con palabras, el preprocesamiento enfocado en el habla y la extracción de embeddings mediante ventanas deslizantes.
3. Utilidad Operativa: Los resultados demuestran que los embeddings de locutor basados en ECAPA pueden lograr una fuerte concordancia con los grupos revisados por humanos bajo condiciones reales. Esto proporciona una "señal adicional fuerte" para la investigación de fraude, ayudando a los analistas a verificar la consistencia del locutor e identificar la reutilización de voces entre diferentes perfiles de clientes.
4. Posicionamiento Contextual: A diferencia de los trabajos previos centrados en la autenticación de llamadas (verificar usuarios conocidos) o el análisis de transcripciones, DGVoiC se enfoca en la agrupación de locutores a nivel de cliente para detectar la reutilización de voces entre perfiles. Los autores señalan que la comparación numérica directa con los sistemas de diarización de última generación es metodológicamente inapropiada debido a las diferencias en las tareas y métricas; en su lugar, posicionan a DGVoiC como una solución de menor complejidad y más eficiente diseñada para apoyar la investigación dirigida por analistas en lugar de la toma de decisiones automatizada.

El artículo concluye que, si bien el sistema es efectivo, el trabajo futuro se centrará en mejorar la robustez contra condiciones desafiantes (ruido de fondo, variabilidad dentro del mismo locutor) y en explorar pistas de audio complementarias como las características prosódicas y conductuales.