OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

El artículo presenta OpenSanctions Pairs, un extenso conjunto de datos para la coincidencia de entidades derivado de sanciones internacionales, y demuestra que los modelos de lenguaje grandes (LLMs) superan significativamente a los sistemas basados en reglas tradicionales, alcanzando un rendimiento cercano al límite práctico y sugiriendo un cambio de enfoque hacia componentes de la pipeline como el bloqueo y la agrupación.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia sobre cómo la inteligencia artificial está aprendiendo a ser el "detective definitivo" para encontrar personas y empresas que aparecen en listas de sanciones internacionales, pero con un giro muy interesante: ya casi no necesitan ayuda humana para la parte más difícil.

Aquí tienes la explicación sencilla, usando analogías del día a día:

1. El Problema: El "Caos de las Listas de Invitados"

Imagina que tienes que organizar una fiesta gigante (la economía global) y necesitas asegurarte de que no entren personas que no deberían estar (personas sancionadas).

El problema es que tienes 293 listas diferentes de 31 países distintos.

• Una lista dice "Juan Pérez".
• Otra dice "Juan P." en ruso.
• Otra dice "J. Pérez" en chino.
• Y a veces, dos personas se llaman igual, pero son totalmente distintas (como dos "Juan Pérez" que viven en ciudades diferentes).

Antes, para saber si "Juan Pérez" de la lista A es el mismo que el de la lista B, los humanos tenían que revisar millones de papeles. Era como buscar una aguja en un pajar, pero el pajar era inmenso y las agujas cambiaban de forma.

2. La Nueva Herramienta: "OpenSanctions Pairs"

Los autores de este estudio crearon un gimnasio de entrenamiento gigante llamado OpenSanctions Pairs.

• Es como un libro de ejercicios con 755,000 casos reales donde expertos humanos ya decidieron: "Sí, son la misma persona" o "No, son dos personas distintas".
• Este libro es mucho más difícil y variado que los libros de ejercicios anteriores (que solían ser solo sobre productos de Amazon o libros de bibliotecas). Aquí hay nombres en idiomas extraños, errores de escritura y datos incompletos.

3. La Carrera: ¿Quién gana? (Reglas viejas vs. Inteligencia Artificial)

El estudio puso a competir a dos tipos de "detectives":

• El Detective Viejo (Reglas Programadas): Es como un robot que sigue un manual estricto. Si los nombres son iguales, dice "¡Son ellos!". Si los apellidos coinciden, dice "¡Son ellos!".

  • El problema: Se confunde mucho. Si dos personas se llaman "Juan Pérez", el robot piensa que son la misma persona. Es muy generoso, pero comete muchos errores (falsos positivos).
  • Resultado: Acierta el 91% de las veces.

• Los Detectives Nuevos (LLMs o Modelos de Lenguaje): Son como super-inteligencias que han leído todo internet. No siguen un manual rígido; entienden el contexto. Pueden decir: "Oye, aunque se llaman igual, uno nació en 1980 y el otro en 1990, y uno vive en Moscú y el otro en Londres. ¡Son distintos!".

  • Resultado: Los mejores (como GPT-4o o modelos abiertos como DeepSeek) aciertan casi el 99% de las veces.

4. El Giro Sorprendente: "¡Ya casi no podemos mejorar más!"

Aquí viene la parte más importante. Los investigadores descubrieron algo curioso:

• Los nuevos detectores de IA son tan buenos que están tocando un "techo".
• Han alcanzado un nivel de precisión tan alto que es casi igual al de los expertos humanos revisando los casos.
• La analogía: Imagina que estás afinando una guitarra. Al principio, cada ajuste mejora mucho el sonido. Pero cuando la guitarra ya está casi perfecta, seguir ajustando los tornillos (optimizar el prompt) apenas hace que suene mejor.

5. ¿Dónde fallan? (Los "Casi" errores)

Aunque la IA es increíble, tiene dos debilidades curiosas:

1. Confusión de idiomas: A veces, si el nombre está escrito en cirílico (ruso) y luego en latín, la IA puede tener dudas si la traducción es muy rara.
2. Errores de "uno más, uno menos": Si una fecha dice "1990" y la otra "1991" por un error de dedo, la IA a veces piensa: "¡Es una diferencia! Son dos personas distintas", cuando en realidad es el mismo tipo con un error de escritura.

6. La Conclusión: Cambiar el enfoque

El mensaje final del artículo es muy claro:
Dejar de obsesionarse con mejorar la comparación de dos nombres a la vez.

Como la IA ya es casi perfecta comparando dos tarjetas de identificación, el futuro no está en hacer que la IA sea un poco más inteligente en esa tarea específica. El futuro está en cómo organizamos el trabajo:

• Bloqueo: Cómo filtrar rápidamente millones de nombres para no tener que comparar todos con todos (como usar un cedazo para quitar la arena gruesa antes de buscar la aguja).
• Agrupación: Cómo juntar a todos los "Juan Pérez" sospechosos en grupos para que un humano revise solo esos grupos.
• Dudas: Saber cuándo la IA no está segura y pedirle ayuda a un humano.

En resumen

Este estudio nos dice que la IA ya ha resuelto el problema de "¿Son estos dos la misma persona?" en el mundo de las sanciones. Ahora, el trabajo de los humanos y los ingenieros debe cambiar: en lugar de ser detectives que comparan nombres uno por uno, deben ser arquitectos que diseñen sistemas para manejar millones de datos de forma eficiente, sabiendo que la IA ya hace el trabajo pesado de la comparación casi a la perfección.

¡Es un gran paso hacia un mundo donde la tecnología ayuda a los humanos a tomar decisiones más rápidas y seguras!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "OpenSanctions Pairs: Large-Scale Entity Matching with LLMs" en español:

1. Planteamiento del Problema

El emparejamiento de entidades (Entity Matching - EM) es la tarea de determinar si dos registros de datos se refieren a la misma entidad del mundo real. Aunque existen benchmarks académicos, la mayoría se centran en dominios estructurados y limpios como el comercio electrónico o la bibliografía, con esquemas homogéneos y datos monolingües.

El artículo identifica una brecha crítica en el contexto de datos de sanciones internacionales:

• Complejidad de los datos: Los datos provienen de cientos de fuentes heterogéneas (293 fuentes en 31 países), con esquemas desalineados, atributos faltantes, ruido y campos de conjuntos (ej. múltiples alias).
• Desafíos lingüísticos: Las entidades aparecen en múltiples scripts (latino, cirílico, chino, árabe) y transliteraciones, lo que dificulta el emparejamiento de alta precisión.
• Falta de benchmarks públicos: Debido a la naturaleza sensible y propietaria de los datos de cumplimiento normativo, no existía un benchmark público a gran escala para evaluar técnicas de EM en este dominio.
• Coste del error: En el cumplimiento normativo, un falso negativo (no detectar a una persona sancionada) tiene consecuencias legales y financieras graves, mientras que un falso positivo requiere revisión humana.

2. Metodología y Dataset

OpenSanctions Pairs (El Dataset)

Los autores lanzan OpenSanctions Pairs, el primer benchmark público a gran escala derivado de datos reales de OSINT (Inteligencia de Fuentes Abiertas) de sanciones.

• Escala: Contiene 755,540 pares etiquetados que cubren más de 1 millón de entidades únicas.
• Origen: Los datos se derivan del flujo de trabajo de deduplicación de OpenSanctions, donde analistas humanos revisan pares candidatos generados por un sistema de bloqueo.
• Características:
  • 293 fuentes heterogéneas de 31 países.
  • Datos multilingües y multiescripto.
  • Atributos de conjuntos (ej. una persona puede tener múltiples direcciones o pasaportes).
  • Importante: Las etiquetas reflejan decisiones humanas bajo evidencia incompleta (priorizando la precisión), no una "verdad absoluta" definitiva.

Enfoque Experimental

El estudio compara tres categorías de métodos para la tarea de emparejamiento par a par:

1. Línea Base Basada en Reglas: El algoritmo RegressionV1 de nomenklatura (actualmente en producción), que utiliza 18 características (similitud de nombres, fechas, identificadores) y un modelo de regresión logística.
2. LLMs de Código Abierto: Modelos como Llama-3.1-8B y DeepSeek-R1-Distill-Qwen-14B, evaluados en configuraciones zero-shot y few-shot, con despliegue local.
3. LLMs Propietarios: Modelos cerrados como GPT-4o, GPT-5 (Nano y Pro), y Claude (Haiku, Sonnet, Opus), evaluados vía API.

Optimización de Prompts: Se utilizó DSPy MIPROv2 para optimizar automáticamente los prompts mediante optimización bayesiana, buscando variantes de instrucciones y subconjuntos de demostraciones.

Estrategia de Prompting: La clave del diseño fue enmarcar la tarea no como "búsqueda de similitudes", sino como detección de conflictos. El prompt instruye al modelo a buscar contradicciones explícitas (IDs diferentes, fechas incompatibles) y asumir que, si no hay conflictos, las entidades son las mismas.

3. Resultados Clave

Rendimiento de los Modelos

• Superioridad de los LLMs: Los modelos de lenguaje grandes superaron significativamente a la línea base basada en reglas.
  • Línea Base (Reglas): 91.33% F1.
  • GPT-4o: 98.95% F1.
  • DeepSeek-R1-Distill-Qwen-14B (Open Source): 98.23% F1.
  • GPT-5.2 Pro: 98.75% F1.
• Techo de Rendimiento: El rendimiento de los LLMs (cerca del 99% F1) se acerca a la consistencia observada entre los expertos humanos, sugiriendo que el emparejamiento par a par ha alcanzado un "techo práctico" en este contexto.

Hallazgos sobre Optimización y Few-Shot

• Optimización de Prompts: DSPy MIPROv2 logró mejoras consistentes pero modestas (ej. +1.9 puntos F1 en Llama-3.1-8B), principalmente al reducir la ambigüedad de las instrucciones.
• Efecto Contraproducente del Few-Shot: Paradójicamente, añadir ejemplos en contexto (in-context learning) no mejoró el rendimiento y, en algunos casos, lo degradó. Se hipotetiza que los ejemplos introducen sesgos inductivos que compiten con la estrategia de decisión aprendida en la instrucción optimizada.

Análisis de Fallos (Failure Modes)

• Sistema Basado en Reglas: Tasa alta de Falsos Positivos (alta precisión de recuperación/recall). Está diseñado para no perder ninguna sanción, sacrificando precisión.
• LLMs: Tienen una tasa de falsos positivos mucho menor, pero fallan principalmente en:
  1. Transliteración cruzada: Dificultad para unificar nombres en scripts muy diferentes (ej. árabe a latino) cuando la variación es extrema.
  2. Errores de "off-by-one": Inconsistencias menores en fechas o identificadores (ruido de entrada de datos) que el modelo interpreta erróneamente como conflictos definitivos, llevando a falsos negativos.

4. Contribuciones Principales

1. Lanzamiento del Dataset: Se libera y documenta OpenSanctions Pairs, un dataset de EM a gran escala, multilingüe y heterogéneo, un orden de magnitud mayor que los benchmarks existentes.
2. Evaluación de LLMs: Se establece que los LLMs pueden replicar decisiones de expertos humanos en tareas de cumplimiento normativo complejas, superando a los sistemas de reglas tradicionales.
3. Redirección de la Investigación: El análisis demuestra que la optimización del emparejamiento par a par ya no es el cuello de botella principal.

5. Significado e Impacto

El artículo concluye que, dado que los LLMs han resuelto eficazmente el problema del emparejamiento par a par en este dominio, el esfuerzo de investigación y desarrollo debe desplazarse hacia otros componentes del pipeline de resolución de entidades:

• Bloqueo (Blocking): Mejorar la generación de candidatos para reducir el espacio de búsqueda.
• Agrupación (Clustering): Agrupar múltiples registros en una sola entidad coherente.
• Manejo de Incertidumbre: Diseñar flujos de trabajo donde la incertidumbre residual sea manejada por humanos (human-in-the-loop).

Este trabajo cierra la brecha entre los benchmarks académicos y los entornos operativos reales de cumplimiento, proporcionando una base para sistemas más seguros y eficientes que reduzcan la carga de revisión manual innecesaria mientras mantienen altos estándares de precisión.