OpenSanctions Pairs: Large-Scale Entity Matching with LLMs

O artigo apresenta o OpenSanctions Pairs, um grande conjunto de dados para correspondência de entidades derivado de sanções internacionais, demonstrando que modelos de linguagem (LLMs) superam significativamente os sistemas baseados em regras existentes, atingindo um desempenho próximo ao limite prático e sugerindo uma mudança de foco para componentes de pipeline como bloqueio e agrupamento.

O essencial

Imagine que você é um detetive particular trabalhando para o governo. Sua missão é encontrar "duplas" em uma pilha gigante de documentos: descobrir se duas pessoas ou empresas diferentes, listadas em papéis distintos, são, na verdade, a mesma entidade no mundo real.

O problema é que essa pilha de documentos vem de 31 países diferentes, está escrita em 293 idiomas e formatos diferentes, e muitas vezes está cheia de erros de digitação, nomes falsos e informações faltando. É como tentar encontrar um par de meias iguais em uma lavanderias onde alguém misturou todas as roupas do mundo, mas as etiquetas estão rasgadas e escritas em línguas que você não fala.

Aqui está o que os autores deste artigo descobriram, explicado de forma simples:

1. O Novo "Campo de Treinamento" (OpenSanctions Pairs)

Antes, os cientistas de dados treinavam seus robôs usando listas de compras de supermercado ou livros de biblioteca (coisas organizadas e limpas). Isso não ajudava muito no mundo real, onde os dados são bagunçados.

Neste trabalho, eles criaram o "OpenSanctions Pairs". Pense nisso como um gigantesco simulador de realidade baseado em dados reais de sanções internacionais. Eles pegaram mais de 750.000 pares de registros (como "Será que o Sr. João da lista A é o mesmo João da lista B?") e deixaram especialistas humanos decidirem. É o maior e mais difícil teste desse tipo já feito publicamente.

2. O Velho Guardião vs. O Novo Super-Inteligente

Eles colocaram dois tipos de "detectives" para competir:

• O Detective Velho (Regras Fixas): É como um robô antigo que segue um manual rígido. Se os nomes forem iguais e a data de nascimento bater, ele diz "É o mesmo!". Se houver qualquer pequena diferença, ele fica confuso.

  • Resultado: Ele é muito cauteloso. Ele acha que quase tudo é a mesma pessoa (para não deixar ninguém escapar), mas comete muitos erros, achando que pessoas diferentes são a mesma coisa. Sua pontuação foi de 91,3%.

• O Detective Novo (IA Generativa / LLMs): São os modelos de Inteligência Artificial mais modernos (como o GPT-4o e outros). Eles não leem apenas regras; eles "entendem" o contexto. Eles sabem que "Vladimir Putin" e "V. Putin" são a mesma pessoa, mesmo que um esteja em russo e outro em inglês, e que um erro de digitação na data não significa que seja outra pessoa.

  • Resultado: Eles foram incríveis, atingindo até 98,9% de precisão. Eles agem quase tão bem quanto os especialistas humanos.

3. A Grande Descoberta: O "Teto" foi Alcançado

Aqui está a parte mais importante da história.

Imagine que você está subindo uma montanha. O "Detective Velho" estava no pé da montanha. Os novos robôs de IA subiram até o topo e bateram no teto da caverna.

Os autores descobriram que melhorar ainda mais a capacidade de comparar dois nomes um por um não vai ajudar muito mais. A IA já é tão boa nisso que o próximo passo não é fazer o robô de comparação ser mais inteligente, mas sim mudar a estratégia da equipe inteira.

4. O Que Fazer Agora? (A Metáfora da Triagem)

Se a IA já é excelente em comparar dois nomes, onde está o problema? O problema é que temos milhões de nomes para comparar. Comparar tudo com tudo levaria uma eternidade.

A solução sugerida é mudar o foco:

• Antes: Tentar fazer o robô de comparação perfeito.
• Agora: Focar na triagem (bloqueio). Imagine que, em vez de comparar cada pessoa com todas as outras, você usa a IA para criar "grupos" ou "bairros" onde as pessoas provavelmente moram. Só então você compara quem está no mesmo bairro.
• Outro ponto: Focar em lidar com a incerteza. Às vezes, a IA não tem certeza. Em vez de forçar uma resposta, o sistema deve sinalizar: "Ei, isso é complicado, um humano precisa olhar isso".

Resumo da Ópera

Este artigo nos diz que a tecnologia de Inteligência Artificial já evoluiu o suficiente para resolver o problema de "comparar dois nomes" em dados bagunçados de sanções internacionais. Ela superou os métodos antigos e chegou perto da perfeição humana.

A lição para o futuro não é "criar uma IA ainda mais inteligente para comparar nomes", mas sim "reorganizar como usamos essa IA para lidar com milhões de dados, filtrar o que é importante e saber quando pedir ajuda a um humano". É como dizer: "Parabéns, você aprendeu a ler perfeitamente. Agora, vamos aprender a organizar a biblioteca inteira."

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "OpenSanctions Pairs: Large-Scale Entity Matching with LLMs", apresentado em português:

1. O Problema: Correspondência de Entidades em Dados de Sanções

A correspondência de entidades (Entity Matching - EM) é a tarefa de determinar se dois registros referem-se à mesma entidade do mundo real. Embora existam benchmarks acadêmicos estabelecidos, eles geralmente derivam de domínios como e-commerce ou bibliografia, caracterizados por esquemas limpos, estruturados e monolíngues.

O artigo identifica uma lacuna crítica: a falta de benchmarks públicos para dados de sanções internacionais. Este domínio apresenta desafios únicos:

• Heterogeneidade extrema: Dados provenientes de 293 fontes em 31 países.
• Qualidade de dados: Nomes multilíngues, transliterações entre scripts (ex: cirílico, chinês, árabe para latim), atributos ausentes, ruídos e inconsistências.
• Campos de conjunto: Entidades frequentemente possuem múltiplos apelidos, nacionalidades ou endereços (campos de valor múltiplo), ao invés de registros únicos.
• Alto custo de erro: Erros de correspondência em conformidade (compliance) podem resultar em multas milionárias ou falha na detecção de evasão de sanções.

2. Metodologia e Dataset

OpenSanctions Pairs

Os autores lançaram o OpenSanctions Pairs, o primeiro benchmark de correspondência de pares em larga escala derivado de dados reais de sanções (OSINT).

• Escala: 755.540 pares de entidades rotulados, cobrindo mais de 1 milhão de entidades únicas.
• Origem: Agregação de dados de 293 fontes de 31 países.
• Rótulos: Os rótulos foram gerados por analistas humanos especializados que realizam a deduplicação. É importante notar que esses rótulos refletem decisões humanas sob evidências incompletas (priorizando precisão), e não uma "verdade absoluta" definitiva.
• Distribuição: 76,9% de pares positivos (match) e 23,1% negativos, refletindo a estratégia de blocking (filtragem inicial) que prioriza candidatos prováveis.

Abordagem Experimental

O estudo compara três categorias de métodos:

1. Baseline Baseada em Regras: O algoritmo RegressionV1 do framework nomenklatura da OpenSanctions. Utiliza 18 características (similaridade de nome, distância de Levenshtein, correspondência fonética, datas, IDs) alimentando um modelo de regressão logística.
2. LLMs de Código Aberto: Modelos como Llama-3.1-8B-Instruct e DeepSeek-R1-Distill-Qwen-14B.
3. LLMs Proprietários: Modelos via API, incluindo GPT-4o, GPT-5 Nano, GPT-5.2 Pro, Claude 3.7 Sonnet e Claude Opus 4.5.

Configuração de Prompt:

• Estratégia de Prompting: O prompt base foi projetado para enquadrar a tarefa como detecção de conflitos (contradições) em vez de apenas correspondência de similaridade. A premissa é: "Assuma que são a mesma entidade a menos que existam evidências contraditórias explícitas (IDs diferentes, datas incompatíveis)".
• Otimização: Uso do DSPy MIPROv2 para otimização automática de prompts (ajuste de instruções e exemplos in-context).
• Avaliação: Métricas focadas em F1-score devido ao desequilíbrio de classes e aos custos assimétricos de falsos positivos/negativos em compliance.

3. Principais Contribuições

1. Lançamento do Dataset: Disponibilização de um dataset de EM 10x maior que benchmarks existentes, com heterogeneidade multilíngue e multiesquema, refletindo cenários reais de produção.
2. Benchmarking de LLMs: Estabelecimento de baselines mostrando que LLMs conseguem replicar decisões de especialistas humanos com alta fidelidade, superando significativamente sistemas baseados em regras.
3. Análise de Modos de Falha: Identificação de que os erros das abordagens baseadas em regras e em LLMs são complementares, sugerindo oportunidades para sistemas híbridos.
4. Mudança de Paradigma: Argumento de que a correspondência de pares (pairwise matching) atingiu um "teto prático" de desempenho, indicando que o foco futuro da pesquisa deve migrar para componentes do pipeline como blocking, clustering e revisão com consciência de incerteza.

4. Resultados Chave

• Desempenho Superior dos LLMs:
  • O baseline baseado em regras alcançou 91,33% de F1.
  • LLMs proprietários de ponta (GPT-4o) atingiram 98,95% de F1.
  • Modelos de código aberto locais (DeepSeek-R1-Distill-Qwen-14B) alcançaram 98,23% de F1, demonstrando viabilidade de implantação local sem custos de API.
• Otimização de Prompt:
  • A otimização automática (MIPROv2) trouxe ganhos modestos mas consistentes (ex: +1,9 pontos F1 no Llama-3.1-8B).
  • Descoberta Importante: Adicionar exemplos in-context (few-shot) não melhorou o desempenho e, em alguns casos, degradou a performance. Isso sugere que os exemplos podem introduzir viéses indutivos que competem com a estratégia de decisão aprendida no prompt otimizado.
• Análise de Erros (Modos de Falha):
  • Sistema Baseado em Regras: Alta taxa de Falsos Positivos (alta recall, baixa precisão). O sistema tende a "super-emparelhar" para não perder nenhuma entidade sancionada.
  • LLMs: Falham principalmente em transliteração entre scripts (ex: diferenças sutis entre cirílico e latim) e em inconsistências menores de dados (erros de digitação de datas ou IDs), onde o prompt focado em conflitos pode ser excessivamente rigoroso.
• Tendência Temporal: A análise de F1 vs. Data de Lançamento do Modelo mostra uma trajetória ascendente clara. A diferença entre o baseline de regras (fixo em ~91%) e os melhores LLMs cresceu de ~2 pontos em 2023 para mais de 7 pontos em 2025.

5. Significado e Conclusão

O artigo conclui que a tarefa de correspondência de pares em dados de sanções, anteriormente dependente de esforço manual intensivo e expertise de domínio, pode ser automatizada com alta precisão usando LLMs prontos para uso (off-the-shelf).

• Implicações Práticas: O gargalo não é mais a classificação de pares individuais, mas sim a eficiência do pipeline completo. O foco deve mudar para:
  • Melhoria de estratégias de blocking (filtragem de candidatos).
  • Clustering (agrupamento de múltiplos registros).
  • Gestão de incerteza e revisão humana focada apenas nos casos mais difíceis.
• Impacto: O dataset e a análise fornecem uma base para desenvolver sistemas de conformidade mais seguros, reduzindo falsos positivos desnecessários e permitindo que analistas humanos foquem em casos complexos onde a inteligência artificial ainda encontra dificuldades (como transliterações ambíguas).

Em suma, o trabalho valida o uso de LLMs para tarefas críticas de conformidade regulatória e redefine o estado da arte, sugerindo que a próxima geração de avanços em Entity Resolution virá da integração desses modelos em pipelines de decisão mais amplos, e não apenas do refinamento de prompts de correspondência par-a-par.