💬 NLP

Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts

Este artigo apresenta a Resolução de Entidades Guiada por Estrutura (SGER), um framework de ajuste fino curricular em duas fases para Modelos de Linguagem de Grande Escala que alcança precisão state-of-the-art na correspondência de nomes pessoais complexos e multilíngues e está atualmente implantado em escala para conformidade KYC na plataforma do Dream11.

Autores originais: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shivam Chourasia, Hitesh Kapoor, Nilesh Patil

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando comparar os nomes de duas pessoas, mas os nomes estão escritos de forma caótica e desorganizada. Uma pessoa pode ser listada como "Rajesh Kumar", outra como "Kumar Rajesh", uma terceira como "RajeshKumar" (sem espaço) e uma quarta como "Rajeshbhai" (com um título amigável adicionado). Em um país tão diverso quanto a Índia, onde os nomes mudam conforme a região, o idioma e até mesmo a forma como um funcionário os digitou, isso é um pesadelo para os computadores.

Este artigo apresenta um novo sistema chamado SGER (Resolução de Entidades Guiada por Estrutura) que resolve esse problema com um método de treinamento inteligente em duas etapas. Eis como funciona, explicado de forma simples:

O Problema: O Quebra-Cabeça do "Nome Bagunçado"

No mundo das verificações de "Conheça seu Cliente" (KYC) — onde empresas verificam quem você é antes de permitir que você jogue ou abra contas — os computadores frequentemente falham.

O Jeito Antigo: Computadores tradicionais usam regras simples, como contar quantas letras são diferentes entre dois nomes. É como tentar resolver um quebra-cabeça olhando apenas a cor das peças, ignorando a forma. Se alguém escrever "Shubham" em vez de "Subham", o computador fica confuso.
O Jeito Novo (LLMs): Modelos de Linguagem Grandes (IA) são inteligentes, mas se você apenas perguntar a eles "Esses dois nomes são da mesma pessoa?", eles às vezes chutam errado porque não aprenderam a gramática dos nomes primeiro. Eles tentam aprender a estrutura e a resposta ao mesmo tempo, o que é como pedir a um aluno que escreva uma tese e resolva um problema de matemática simultaneamente.

A Solução: Uma "Escola" em Duas Fases para IA

Os autores criaram um currículo (um plano de aula) para ensinar seu modelo de IA, baseado em um sistema chamado Llama 3, em duas fases distintas. Pense nisso como treinar um novo funcionário:

Fase 1: A Aula do "Arquiteto de Nomes"
Antes que a IA tente comparar nomes, ela é ensinada a desmontá-los.

A Tarefa: Você dá à IA um nome bagunçado como "Kirtan Singh Rathore".
A Lição: A IA deve produzir uma lista organizada e estruturada (como um arquivo JSON) que diz: Primeiro Nome: Kirtan, Nome do Meio: Singh, Sobrenome: Rathore.
A Analogia: Imagine ensinar uma criança a pegar uma pilha embaralhada de blocos de Lego e organizá-los em "rodas", "janelas" e "paredes" antes de tentar construir um carro. A IA aprende que "Singh" é frequentemente um nome do meio ou um sobrenome familiar, e "Rathore" é o sobrenome, independentemente da ordem em que aparecem.

Fase 2: A Aula do "Detetive"
Agora que a IA entende como os nomes são construídos, ela é promovida ao papel de detetive.

A Tarefa: Você dá a ela dois nomes (por exemplo, "Rajeshk" e "Rajesh Kumar") e pergunta: "Essas são a mesma pessoa?"
A Vantagem: Como a IA já sabe como desconstruir nomes a partir da Fase 1, ela não precisa adivinhar a estrutura enquanto toma a decisão. Ela pode focar puramente na correspondência.
O Resultado: Ela se torna incrivelmente precisa ao identificar que "Rajeshk" é apenas um erro de digitação ou abreviação de "Rajesh Kumar".

Os Resultados: Um Sistema Superpreciso

A equipe testou esse sistema em 50.000 exemplos do mundo real vindos da Índia, um lugar conhecido por ter algumas das convenções de nomenclatura mais complexas e variadas do mundo.

Métodos Antigos: Obtiveram cerca de 57% a 85% de precisão.
IA Padrão (sem o treinamento em duas etapas): Obtiveram cerca de 91% de precisão.
SGER (O Novo Sistema): Alcançou 99,02% de precisão.

Isso significa que o sistema é quase perfeito ao dizer se dois nomes pertencem à mesma pessoa, mesmo quando os nomes estão mal escritos, trocados ou sem espaços.

Impacto no Mundo Real: Dream11

Isso não é apenas uma teoria; já está funcionando. O sistema está implantado na Dream11, a maior plataforma de esportes fantásticos do mundo, que atende mais de 250 milhões de usuários.

Antes: Quando o computador não tinha certeza, precisava enviar o caso para um humano verificar manualmente. Isso era lento e caro.
Depois: A IA lida com quase tudo automaticamente.
O Benefício: A empresa economiza mais de US$ 500.000 por ano porque não precisa mais pagar a humanos para verificar esses casos, e usuários legítimos são verificados instantaneamente, sem esperar.

Resumo

O artigo argumenta que, para tornar a IA boa em um trabalho específico e bagunçado (como comparar nomes na Índia), você não deve apenas jogar dados nela. Em vez disso, você deve ensinar-lhe as regras do jogo (como os nomes são estruturados) primeiro e, depois, ensinar-lhe a jogar o jogo (comparar os nomes). Essa abordagem de "currículo" transformou uma IA boa em uma quase perfeita, resolvendo uma dor de cabeça massiva para uma empresa global.

Resumo Técnico: Resolução de Entidades Guiada por Estrutura (SGER)

Declaração do Problema

A Resolução de Entidades (ER) em ambientes linguisticamente e culturalmente complexos, particularmente dentro de dados de identidade indianos, apresenta um desafio significativo para a conformidade com o Conheça seu Cliente (KYC). Diferentemente de chaves estáveis, os nomes nesses contextos variam devido a convenções culturais diversas, transliteração inconsistente entre scripts (por exemplo, Devanagari para Latino) e erros frequentes de entrada de dados (erros de digitação, tokens fundidos, espaços em branco ausentes). Métodos tradicionais como distância de edição, Jaro-Winkler e codificações fonéticas lutam com essas ambiguidades estruturais, levando a altas taxas de falsos positivos e falsos negativos. Embora os Modelos de Linguagem de Grande Porte (LLMs) ofereçam promessa, o ajuste fino padrão frequentemente força os modelos a aprender simultaneamente a estrutura do nome e os limites de classificação, resultando em desempenho subótimo em domínios onde os padrões estruturais são fortes, mas implícitos.

Metodologia: Resolução de Entidades Guiada por Estrutura (SGER)

Os autores propõem a SGER, uma estrutura inovadora que ajusta finamente um LLM (especificamente o Llama 3 8B da Meta) usando uma estratégia de aprendizado curricular em duas fases. Esta abordagem desacopla a compreensão estrutural da tarefa de correspondência binária para construir uma representação interna robusta de nomes.

Arquitetura do Sistema

Modelo Base: Llama 3 8B, escolhido por seu equilíbrio entre precisão, eficiência de custos e reprodutibilidade de código aberto.
Mecanismo de Treinamento: Ajuste Fino Supervisionado (SFT) com Adaptação de Baixo Rank (LoRA) (Rank 4, Alpha 8) usando precisão mista (fp16).

Fase 1: Compreensão da Estrutura do Nome

Objetivo: Ensinar ao modelo a "gramática interna" dos nomes.
Tarefa: Mapear uma string de nome bruta (por exemplo, "Kirtan Singh Rathore") para um objeto JSON estruturado contendo first_name, middle_name e last_name.
Dados: Um conjunto de dados de ~10.000 nomes indianos manualmente anotados, aumentado com variações sintéticas para cobrir diversidade regional e linguística.
Resultado: O modelo aprende a identificar componentes do nome e a lidar com variações estruturais (por exemplo, reconhecer "SinghKirtan" como uma forma fundida) antes de tentar corresponder pares.

Fase 2: Correspondência Binária de Nomes

Objetivo: Realizar a tarefa subsequente de determinar se duas variantes de nome referem-se ao mesmo indivíduo.
Inicialização: O treinamento começa a partir do checkpoint da Fase 1.
Tarefa: Classificação binária ("Sim" ou "Não") baseada em um par de nomes.
Design de Prompt: Inclui instruções e exemplos de poucos exemplos (few-shot) elaborados com equipes de operações de risco para refletir ambiguidades do mundo real (abreviações, componentes reordenados, honoríficos).
Aumento de Dados: Para garantir robustez, os dados de treinamento (originalmente 20.000 pares) foram expandidos para mais de 50.000 exemplos usando três estratégias inspiradas na visão computacional:
1. Troca de Pares: Garante invariância de ordem.
2. Permutação de Componentes: Embaralha partes do nome para criar exemplos estruturais válidos, mas novos.
3. Remoção Aleatória de Espaços: Simula erros de entrada de dados fundindo tokens (por exemplo, "Kirtan Singh" $\to$ "KirtanSingh").

Principais Contribuições

Estrutura Baseada em Currículo: O artigo apresenta a primeira validação empírica de uma estrutura de aprendizado curricular em duas fases adaptada especificamente para resolução de entidades baseada em nomes em configurações complexas e do mundo real. Demonstra que separar o aprendizado estrutural da classificação produz desempenho superior em comparação com o ajuste fino em estágio único.
Desempenho de Estado da Arte: A SGER alcança 99,02% de precisão e uma pontuação F1 de 0,994 em um conjunto retido de 50.000 pares reais de KYC indianos.
Implantação em Produção: O sistema está totalmente implantado no pipeline de produção da Dream11 (atendendo a mais de 250 milhões de usuários), processando até 10.000 solicitações por minuto com uma latência P99 de 120 milissegundos.

Resultados e Análise Comparativa

Os autores avaliaram a SGER contra cinco baselines em um conjunto de validação disjunto:

Similaridade de Levenshtein: 0,726 F1 (Luta com variações estruturais).
BERT (Ajustado Finamente): 0,806 F1.
GPT-4o (Poucos Exemplos): 0,911 F1.
LLM (Poucos Exemplos, Llama 3 8B): 0,839 F1.
LLM (SFT em Estágio Único): 0,946 F1.
LLM (SFT + Aumento): 0,973 F1.
SGER (Duas Fases + Aumento): 0,994 F1.

Descobertas de Ablação:

Aumento de Dados: Aumentou o F1 de 0,946 para 0,973, impedindo que o modelo memorizasse padrões de superfície e melhorando a generalização para distorções de "cauda longa".
Aprendizado Curricular: A adição do pré-treinamento estrutural da Fase 1 forneceu o impulso final para 0,994, estabilizando particularmente o desempenho em pares com múltiplas distorções simultâneas (por exemplo, nomes abreviados, reordenados e fundidos).

Análise de Erros:
Os erros restantes (<1%) derivam principalmente de:

Casos Fonéticos Ambíguos: Nomes que são foneticamente semelhantes, mas escritos de forma diferente devido à transliteração inconsistente (por exemplo, "Saurabh" vs. "Sorab").
Erros Compostos Complexos: Casos envolvendo perda simultânea de espaços em branco, inversão de ordem e corrupção de OCR (por exemplo, "SubhamKshr" vs. "KishoreShubham").

Significado e Impacto

O artigo afirma que a SGER estabelece um novo padrão para resolução de entidades em domínios complexos e multilíngues, demonstrando que o treinamento guiado por currículo permite correspondência robusta e de alta precisão em escala.

Impacto Operacional: A implantação eliminou a necessidade de revisão manual de casos ambíguos (anteriormente roteados para fornecedores de terceiros), resultando em mais de US$ 500.000 em economias anuais de custos.
Conformidade: O sistema alcança 99,95% de precisão, reduzindo significativamente os links falsos e os riscos regulatórios associados nos fluxos de trabalho de KYC.
Escalabilidade: A abordagem prova que tarefas especializadas de resolução de entidades não necessariamente requerem modelos massivos; um modelo modesto de 8 bilhões de parâmetros, quando guiado por um currículo estruturado, pode alcançar precisão quase perfeita.

Os autores concluem que, embora focado em dados de KYC indianos, esta metodologia é amplamente aplicável a outros cenários caracterizados por rica diversidade linguística, convenções de nomenclatura irregulares e entradas ruidosas, como comércio eletrônico global e detecção de fraudes transfronteiriças.