A System for Name and Address Parsing with Large Language Models

Resumo Técnico: Um Sistema para Parsing de Nomes e Endereços com Grandes Modelos de Linguagem

Declaração do Problema
A transformação confiável de texto não estruturado de pessoas e endereços em dados estruturados permanece um gargalo crítico em sistemas de informação de grande escala. Embora métodos tradicionais baseados em regras e probabilísticos funcionem bem em entradas limpas, eles frequentemente falham ao serem confrontados com dados ruidosos, multilíngues ou com formatação inconsistente comuns em cenários do mundo real (ex: ausência de delimitadores, erros tipográficos e misturas de idiomas). Por outro lado, embora modelos neurais e Grandes Modelos de Linguagem (LLMs) ofereçam maior robustez, eles frequentemente carecem de controle determinístico, reprodutibilidade e adesão estrita a esquemas de saída, levando a erros estruturais ou lógicos nos dados gerados. A literatura existente frequentemente recorre ao ajuste fino (fine-tuning) específico de domínio, o que limita a adaptabilidade entre diferentes países e formatos, ou carece de camadas de validação pós-geração para garantir a consistência entre os campos.

Metodologia
Os autores propõem um framework orientado por prompts e centrado em validação, projetado para converter registros de texto livre em um esquema consistente de 17 campos sem a necessidade de ajuste fino do modelo. O sistema opera como um pipeline de quatro estágios utilizando o modelo Claude 4.0 Sonnet via AWS Bedrock, configurado com parâmetros de decodificação fixos para garantir a reprodutibilidade:

1. Normalização de Entrada: O texto bruto (de arquivos ou texto livre) passa por pré-processamento para reduzir a variabilidade. Isso inclui canonicalização Unicode (NFKC), remoção de caracteres de largura zero, colapso de espaços em branco e expansão de abreviações (ex: "Ave" para "Avenue"). Tokens direcionais são mapeados para um conjunto canônico e sufixos ordinais são normalizados.
2. Montagem de Prompt: Um prompt compacto, baseado em templates, guia o LLM. Ele inclui uma definição de papel específica, uma ordem estrita de esquema de 17 campos, regras explícitas (ex: "não inventar dados", "usar strings vazias para desconhecidos") e exemplos de poucos disparos (few-shot) cobrindo casos de borda (ex: números hifenizados, direcionais pré e pós-fixados). O prompt é projetado para manter o modelo em "modo extrator" em vez de modo generativo.
3. Inferência com Restrição: O modelo processa registros em lotes fixos de 16. Os parâmetros de decodificação são estritamente controlados (Temperatura: 0.30, Top-p: 0.90) para favorecer a consistência sobre a criatividade. Sequências de parada garantem que a saída termine exatamente nos limites dos registros. Se uma verificação estrutural falhar (ex: contagem incorreta de campos), uma única tentativa de reprocessamento com restrições mais rígidas é realizada.
4. Validação Estrita e Exportação: Uma camada de validação determinística opera pós-geração. Ela impõe:
   • Verificações de Esquema: Verificação da contagem exata de campos e tipos de dados.
   • Canonicalização: Mapeamento de valores para conjuntos admissíveis (ex: códigos de estados do USPS, tipos de logradouro por extenso).
   • Regras de Cruzamento de Campos: Aplicação de restrições do mundo real, como compatibilidade entre código postal (ZIP code) e estado.
     Registros que falham na validação são sinalizados com motivos específicos para revisão assistida. Uma pontuação de confiança leve é gerada com base na passagem das regras e na raridade dos tokens.

Principais Contribuições

• Pipeline Livre de Ajuste Fino (Fine-Tuning-Free): O sistema alcança alta precisão de parsing sem a necessidade de grandes corpora anotados ou retreinamento de modelos específicos de domínio, baseando-se, em vez disso, em prompting estruturado.
• Camada de Validação Determinística: Ao integrar uma etapa de validação rigorosa baseada em regras após a geração pelo LLM, o sistema combina a flexibilidade de modelos generativos com a confiabilidade de abordagens baseadas em regras, garantindo adesão ao esquema e consistência lógica.
• Reprodutibilidade e Transparência: O estudo utiliza parâmetros experimentais fixos (tamanho do lote, configurações de decodificação, templates de prompt) em todas as execuções, abordando a falta de reprodutibilidade frequentemente encontrada em pesquisas de extração baseadas em LLM.
• Robustez ao Ruído: O framework é especificamente projetado para lidar com entradas heterogêneas e ruidosas, incluindo dados multilíngues e registros incompletos, em vez de depender apenas de dados limpos de benchmarks específicos.

Resultos
Avaliado em um corpus de 1.500 registros únicos de pessoa-endereço (incluindo dados dos EUA, Porto Rico, internacionais e dados sintéticos ruidosos), o sistema demonstrou:

• Precisão Geral: 99,8% de precisão de linha exata, representando uma melhoria de 0,46 ponto percentual sobre uma linha de base baseada em padrões (99,34%) e uma redução de aproximadamente 23% na taxa de erro.
• Desempenho por Campo: Campos principais (nomes, números de rua, estados) atingiram precisão próxima ao teto (99,7%–99,9%). Mesmo campos tradicionalmente variáveis, como direcionais e marcadores de unidade, permaneceram acima de 99%.
• Automação: O sistema processou automaticamente 94% dos registros anteriormente propensos a exceções sem intervenção manual.
• Calibragem de Confiança: As pontuações de confiança previstas alinharam-se bem com a correção empírica. Registros com confiança acima de 90% apresentaram 99,9% de precisão, permitindo que processos downstream priorizem apenas o pequeno subconjunto de registros de baixa confiança (4%) para verificação.
• Análise de Erro: A taxa de erro residual de 0,2% foi atribuída principalmente à desestruturação por formatação irregular (45%) e falhas de separação de registros em texto não estruturado (35%).

Significância e Alegações
O artigo afirma que a combinação de prompting estruturado com validação determinística fornece uma solução robusta, interpretável e escalável para a extração de informações estruturadas. Os autores sustentam que esta abordagem oferece uma alternativa prática aos modelos que exigem muito treinamento ou de domínio específico, tornando os sistemas de extração baseados em LLM mais viáveis para ambientes de produção onde precisão, consistência e reprodutibilidade são essenciais. O trabalho demonstra que uma alta confiabilidade pode ser alcançada sem retreinamento, oferecendo um caminho custo-efetivo para a implantação de extração de dados estruturados em escala.