A System for Name and Address Parsing with Large Language Models

Resumen Técnico: Un Sistema para la Extracción de Nombres y Direcciones con Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
La transformación fiable de texto no estructurado de personas y direcciones en datos estructurados sigue siendo un cuello de botella crítico en los sistemas de información a gran escala. Si bien los métodos tradicionales basados en reglas y probabilísticos funcionan bien con entradas limpias, suelen fallar cuando se enfrentan a datos ruidosos, multilingües o con formatos inconsistentes comunes en escenarios del mundo real (por ejemplo, falta de delimitadores, errores tipográficos y lenguajes mixtos). Por el contrario, aunque los modelos neuronales y los Modelos de Lenguaje de Gran Escala (LLM) ofrecen una mayor robustez, frecuentemente carecen de control determinista, reproducibilidad y una adherencia estricta a los esquemas de salida, lo que conduce a errores estructurales o lógicos en los datos generados. La literatura existente suele depender del ajuste fino (fine-tuning) específico del dominio, lo que limita la adaptabilidad entre diferentes países y formatos, o carece de capas de validación post-generación para asegurar la consistencia entre campos.

Metodología
Los autores proponen un marco impulsado por prompts y centrado en la validación, diseñado para convertir registros de texto libre en un esquema consistente de 17 campos sin requerir el ajuste fino del modelo. El sistema opera como un pipeline de cuatro etapas utilizando el modelo Claude 4.0 Sonnet a través de AWS Bedrock, configurado con parámetros de decodificación fijos para garantizar la reproducibilidad:

1. Normalización de Entrada: El texto bruto (de archivos o texto libre) se somete a un preprocesamiento para reducir la variabilidad. Esto incluye la canonicalización Unicode (NFKC), la eliminación de caracteres de ancho cero, la reducción de espacios en blanco y la expansión de abreviaturas (por ejemplo, "Ave" a "Avenue"). Los tokens direccionales se mapean a un conjunto canónico y los sufijos ordinales se normalizan.
2. Ensamblaje de Prompts: Un prompt compacto basado en plantillas guía al LLM. Este incluye una definición de rol específica, un orden estricto de 17 campos, reglas explícitas (por ejemplo, "no inventar datos", "usar cadenas vacías para desconocidos") y ejemplos de pocos disparos (few-shot) que cubren casos de borde (por ejemplo, números con guion, direccionales pre y post-fijos). El prompt está diseñado para mantener al modelo en "modo extractor" en lugar de modo generativo.
3. Inferencia Restringida: El modelo procesa registros en lotes fijos de 16. Los parámetros de decodificación se controlan estrictamente (Temperatura: 0.30, Top-p: 0.90) para favorecer la consistencia sobre la creatividad. Las secuencias de parada aseguran que la salida termine exactamente en los límites de los registros. Si falla una verificación estructural (por ejemplo, recuento de campos incorrecto), se intenta un único reintento con restricciones más estrictas.
4. Validación Estricta y Exportación: Una capa de validación determinista opera post-generación. Esta impone:
   • Verificaciones de Esquema: Verificación de recuentos exactos de campos y tipos de datos.
   • Canonicalización: Mapeo de valores a conjuntos admisibles (por ejemplo, códigos de estado de USPS, tipos de calle de forma larga).
   • Reglas de Interacción entre Campos: Aplicación de restricciones del mundo real, como la compatibilidad entre el código postal y el estado.
     Los registros que fallan la validación son marcados con razones específicas para una revisión asistida. Se genera una puntuación de confianza ligera basada en el paso de reglas y la rareza de los tokens.

Contribuciones Clave

• Pipeline Libre de Ajuste Fino: El sistema logra una alta precisión de extracción sin necesidad de grandes corpus anotados o el reentrenamiento de modelos específicos del dominio, apoyándose en su lugar en el prompting estructurado.
• Capa de Validación Determinista: Al integrar un paso de validación estricto basado en reglas después de la generación del LLM, el sistema combina la flexibilidad de los modelos generativos con la fiabilidad de los enfoques basados en reglas, asegurando la adherencia al esquema y la consistencia lógica.
• Reproducibilidad y Transparencia: El estudio utiliza parámetros experimentales fijos (tamaño de lote, configuraciones de decodificación, plantillas de prompt) en todas las ejecuciones, abordando la falta de reproducibilidad que suele encontrarse en la investigación de extracción basada en LLM.
• Robustez ante el Ruido: El marco está diseñado específicamente para manejar entradas heterogéneas y ruidosas, incluyendo datos multilingües y registros incompletos, en lugar de depender únicamente de datos limpios de benchmarks específicos.

Resultados
Evaluado en un corpus de 1,500 registros únicos de persona-dirección (incluyendo datos de EE. UU., Puerto Rico, internacionales y datos sintéticos ruidosos), el sistema demostró:

• Precisión General: 99.8% de precisión de fila exacta, lo que representa una mejora de 0.46 puntos porcentuales sobre un baseline basado en patrones (99.34%) y una reducción de aproximadamente el 23% en la tasa de error.
• Rendimiento a Nivel de Campo: Los campos principales (nombres, números de calle, estados) alcanzaron una precisión cercana al techo (99.7%–99.9%). Incluso los campos tradicionalmente variables, como direccionales y marcadores de unidad, se mantuvieron por encima del 99%.
• Automatización: El sistema procesó automáticamente el 94% de los registros que anteriormente eran propensos a excepciones sin intervención manual.
• Calibración de Confianza: Las puntuaciones de confianza predichas se alinearon bien con la corrección empírica. Los registros con una confianza superior al 90% mostraron un 99.9% de precisión, lo que permite que los procesos posteriores prioricen solo el pequeño subconjunto de registros de baja confianza (4%) para verificación.
• Análisis de Errores: La tasa de error residual del 0.2% se atribuyó principalmente a la formación irregular que interrumpe el reconocimiento de patrones (45%) y a fallos de separación de registros en texto no estructurado (35%).

Significancia y Reivindicaciones
El artículo sostiene que la combinación de prompting estructurado con validación determinista proporciona una solución robusta, interpretable y escalable para la extracción de información estructurada. Los autores afirman que este enfoque ofrece una alternativa práctica a los modelos que requieren mucho entrenamiento o que son específicos de un dominio, haciendo que los sistemas de extracción basados en LLM sean más viables para entornos de producción donde la precisión, la consistencia y la reproducibilidad son esenciales. El trabajo demuestra que se puede lograr una alta fiabilidad sin reentrenamiento, ofreciando un camino rentable para el despliegue de la extracción de datos estructurados a escala.