Resumen Técnico: Resolución de Entidades Guiada por Estructura (SGER)

Enunciado del Problema

La Resolución de Entidades (RE) en entornos lingüística y culturalmente complejos, particularmente dentro de los datos de identidad de la India, presenta un desafío significativo para el cumplimiento de Conozca a su Cliente (KYC). A diferencia de las claves estables, los nombres en estos contextos varían debido a convenciones culturales diversas, una transliteración inconsistente entre scripts (por ejemplo, del devanagari al latino) y frecuentes errores de entrada de datos (errores tipográficos, tokens fusionados, espacios en blanco faltantes). Los métodos tradicionales como la distancia de edición, Jaro-Winkler y las codificaciones fonéticas luchan con estas ambigüedades estructurales, lo que conduce a altas tasas de falsos positivos y falsos negativos. Si bien los Modelos de Lenguaje Grandes (LLM) ofrecen promesa, el ajuste fino estándar a menudo obliga a los modelos a aprender simultáneamente la estructura del nombre y los límites de clasificación, resultando en un rendimiento subóptimo en dominios donde los patrones estructurales son fuertes pero implícitos.

Metodología: Resolución de Entidades Guiada por Estructura (SGER)

Los autores proponen SGER, un marco novedoso que ajusta fino un LLM (específicamente Llama 3 8B de Meta) utilizando una estrategia de aprendizaje curricular de dos fases. Este enfoque desacopla la comprensión estructural de la tarea de coincidencia binaria para construir una representación interna robusta de los nombres.

Arquitectura del Sistema

• Modelo Base: Llama 3 8B, elegido por su equilibrio entre precisión, eficiencia de costos y reproducibilidad de código abierto.
• Mecanismo de Entrenamiento: Ajuste Fino Supervisado (SFT) con Adaptación de Bajo Rango (LoRA) (Rango 4, Alpha 8) utilizando precisión mixta (fp16).

Fase 1: Comprensión de la Estructura del Nombre

• Objetivo: Enseñar al modelo la "gramática interna" de los nombres.
• Tarea: Mapear una cadena de nombre sin procesar (por ejemplo, "Kirtan Singh Rathore") a un objeto JSON estructurado que contenga nombre, segundo_nombre y apellido.
• Datos: Un conjunto de datos de aproximadamente 10,000 nombres indios anotados manualmente, aumentados con variaciones sintéticas para cubrir la diversidad regional y lingüística.
• Resultado: El modelo aprende a identificar componentes del nombre y manejar variaciones estructurales (por ejemplo, reconocer "SinghKirtan" como una forma fusionada) antes de intentar emparejar pares.

Fase 2: Emparejamiento Binario de Nombres

• Objetivo: Realizar la tarea de downstream de determinar si dos variantes de nombre se refieren al mismo individuo.
• Inicialización: El entrenamiento comienza desde el punto de control de la Fase 1.
• Tarea: Clasificación binaria ("Sí" o "No") basada en un par de nombres.
• Diseño del Prompt: Incluye instrucciones y ejemplos de pocos disparos elaborados con equipos operativos de riesgos para reflejar ambigüedades del mundo real (abreviaturas, componentes reordenados, honoríficos).
• Aumento de Datos: Para garantizar robustez, los datos de entrenamiento (originalmente 20,000 pares) se expandieron a más de 50,000 ejemplos utilizando tres estrategias inspiradas en visión por computadora:
  1. Intercambio de Pares: Asegura la invariancia de orden.
  2. Permutación de Componentes: Mezcla partes del nombre para crear ejemplos estructurales válidos pero novedosos.
  3. Eliminación Aleatoria de Espacios: Simula errores de entrada de datos fusionando tokens (por ejemplo, "Kirtan Singh" $\to$ "KirtanSingh").

Contribuciones Clave

1. Marco Basado en Currículo: El artículo presenta la primera validación empírica de un marco de aprendizaje curricular de dos fases diseñado específicamente para la resolución de entidades basada en nombres en entornos complejos y del mundo real. Demuestra que separar el aprendizaje estructural de la clasificación produce un rendimiento superior en comparación con el ajuste fino de una sola etapa.
2. Rendimiento de Vanguardia: SGER logra una precisión del 99.02% y una puntuación F1 de 0.994 en un conjunto retenido de 50,000 pares de KYC indios del mundo real.
3. Despliegue en Producción: El sistema está completamente desplegado en la tubería de producción de Dream11 (atendiendo a más de 250 millones de usuarios), procesando hasta 10,000 solicitudes por minuto con una latencia P99 de 120 milisegundos.

Resultados y Análisis Comparativo

Los autores evaluaron SGER contra cinco líneas base en un conjunto de validación disjunto:

• Similitud de Levenshtein: 0.726 F1 (Lucha con variaciones estructurales).
• BERT (Ajuste Fino): 0.806 F1.
• GPT-4o (Pocos Disparos): 0.911 F1.
• LLM (Pocos Disparos, Llama 3 8B): 0.839 F1.
• LLM (SFT de Una Sola Etapa): 0.946 F1.
• LLM (SFT + Aumento): 0.973 F1.
• SGER (Dos Fases + Aumento): 0.994 F1.

Hallazgos de Ablación:

• Aumento de Datos: Aumentó la puntuación F1 de 0.946 a 0.973 al evitar que el modelo memorizara patrones superficiales y mejorar la generalización a distorsiones de "cola larga".
• Aprendizaje Curricular: La adición del pre-entrenamiento estructural de la Fase 1 proporcionó el impulso final hasta 0.994, estabilizando particularmente el rendimiento en pares con múltiples distorsiones simultáneas (por ejemplo, nombres abreviados, reordenados y fusionados).

Análisis de Errores:
Los errores restantes (<1%) provienen principalmente de:

• Casos Fonéticos Ambiguos: Nombres que son fonéticamente similares pero escritos de manera diferente debido a una transliteración inconsistente (por ejemplo, "Saurabh" vs. "Sorab").
• Errores Compuestos Complejos: Casos que involucran pérdida simultánea de espacios en blanco, inversión de orden y corrupción por OCR (por ejemplo, "SubhamKshr" vs. "KishoreShubham").

Significado e Impacto

El artículo afirma que SGER establece un nuevo estándar para la resolución de entidades en dominios complejos y multilingües al demostrar que el entrenamiento guiado por currículos permite un emparejamiento robusto y de alta precisión a escala.

• Impacto Operativo: El despliegue ha eliminado la necesidad de revisión manual de casos ambiguos (anteriormente enrutados a proveedores de terceros), resultando en más de 500,000 dólares en ahorros anuales.
• Cumplimiento: El sistema logra una precisión del 99.95%, reduciendo significativamente los enlaces falsos y los riesgos regulatorios asociados en los flujos de trabajo de KYC.
• Escalabilidad: El enfoque demuestra que las tareas especializadas de resolución de entidades no requieren necesariamente modelos masivos; un modelo modesto de 8 mil millones de parámetros, cuando se guía por un currículo estructurado, puede lograr una precisión casi perfecta.

Los autores concluyen que, aunque se centra en datos de KYC de la India, esta metodología es ampliamente aplicable a otros entornos caracterizados por una rica diversidad lingüística, convenciones de nombrado irregulares y entradas ruidosas, como el comercio electrónico global y la detección de fraude transfronterizo.