Resumen Técnico: Extracción de Datos Estructurados de Documentos Inmobiliarios mediante Clustering, Clasificación y Modelos de Lenguaje de Gran Escala (LLM)

1. Planteamiento del Problema

Los anuncios inmobiliarios en el Reino Unido exponen metadatos estructurados básicos (por ejemplo, precio, número de dormitorios) a través de APIs. Sin embargo, la información más crítica a nivel de propiedad —como el estado legal, las condiciones estructurales, los suministros de servicios públicos y los sistemas de calefacción— reside en documentos de cuestionarios adjuntos (PDF). Estos documentos son actualmente ignorados por los sistemas automatizados debido a tres desafíos principales:

• Heterogeneidad: Los documentos varían significativamente en formato, incluyendo texto generado digitalmente, formularios físicos escaneados y diseños complejos con anotaciones de casillas de verificación.
• Naturaleza no estructurada: La información se captura a menudo en texto libre con terminología inconsistente (por ejemplo, "gas central heating" frente a "GCH" frente a "mains gas"), lo que invalida los extractores tradicionales basados en reglas (regex, coincidencia de plantillas) por ser ineficaces y no escalables.
• Falta de procesamiento: Estos documentos no están almacenados en bases de datos, no son accesibles vía APIs ni están indexados por motores de búsqueda, lo que crea una "brecha de datos ricos" en el flujo de trabajo inmobiliario.

2. Metodología

Los autores proponen un flujo de trabajo (pipeline) de extremo a extremo aplicado a 3,965 documentos de cuestionarios adquiridos de la plataforma Aberdeen Solicitors Property Centre (ASPC). El flujo consta de tres etapas secuenciales:

A. Adquisición de Datos

• Fuente: La plataforma ASPC, que carece de una API pública.
• Técnica: Los autores realizaron ingeniería inversa de los puntos finales (endpoints) de la API REST interna utilizando Chrome DevTools.
• Proceso: Se estableció una sesión autenticada para acceder a los listados de propiedades. El sistema recuperó iterativamente los resúmenes de los listados, los atributos detallados y las URLs de los PDF asociados. Se descargaron un total de 3,965 listados de propiedades únicos y sus PDF asociados.

B. Clasificación de Documentos (Etapa 1)

Antes de la extracción, cada PDF fue categorizado para determinar la ruta de procesamiento adecuada:

1. Solo Texto (Text Only): Documentos generados digitalmente con texto seleccionable.
2. Escaneado (Scanned): Páginas renderizadas como imagen sin capa de texto seleccionable.
3. Carácter Especial (Special Char): Documentos que contienen anotaciones de casillas de verificación o codificaciones de caracteres no estándar.

• Implementación: El clasificador utilizó pdfplumber para medir la longitud del texto extraíble (identificando documentos escaneados) y PyMuPDF para detectar patrones de casillas de verificación. Los documentos ambiguos fueron analizados posteriormente mediante pdf2image y Tesseract OCR únicamente para la detección de símbolos.
• Resultado: 2,781 documentos (70.1%) fueron clasificados como text_only y procedieron a la extracción. El 29.9% restante (escaneados y caracteres especiales) fue excluido en este estudio.

C. Extracción Estructurada Basada en LLM (Etapa 2)

• Modelo: DeepSeek R1 (específicamente deepseek-r1-distill-llama-70b) accedido a través de la API de inferencia de Groq.
• Configuración: Temperatura establecida en 0.3 para asegurar la estabilidad de la salida; top-p en 0.95; máximo de 1,024 tokens.
• Ingeniería de Prompts (Prompt Engineering): Se instruyó al modelo para extraer 35 atributos de propiedad predefinidos (que cubren estado legal, condición estructural, calefacción, servicios públicos, etc.) y devolverlos como un único objeto JSON válido.
  • Restricciones: Devolver solo JSON (sin preámbulo), representar todos los valores como cadenas de texto (strings), usar null para valores ausentes e incluir los 35 campos.
• Procesamiento: El texto bruto de los PDF text_only se pasó directamente al LLM sin normalización basada en reglas. La salida fue analizada mediante expresiones regulares e insertada en una base de datos SQL.
• Post-procesamiento: Se eliminaron los listados duplicados mediante la coincidencia exacta de la dirección. Los valores faltantes se imputaron como "No" (consistente con el formato del cuestionario) y las características fueron normalizadas (StandardScaler/MinMaxScaler).

3. Contribuciones Clave

1. Sistema de Adquisición de Datos: Un flujo de trabajo reproducible utilizando APIs REST de ingeniería inversa para adquirir 3,965 PDFs de cuestionarios heterogéneos junto con metadatos estructurados.
2. Modelo de Clasificación de Documentos: Un mecanismo de enrutamiento que clasifica los documentos en text_only, scanned y special_char, dirigiéndolos a las rutas de procesamiento apropiadas.
3. Flujo de Extracción por LLM: Una implementación exitosa utilizando DeepSeek R1 para extraer 35 atributos estructurados de 2,781 documentos con una tasa de éxito del 100% en la generación de JSON válidos, eliminando la necesidad de conjuntos de reglas específicos para cada documento.
4. Validación de Etapas Posteriores (Downstream): Un estudio empírico que demuestra que las características extraídas soportan la coincidencia de similitud, la segmentación de mercado y la clasificación multicriterio.

4. Resultados y Validación

El flujo de trabajo procesó 2,781 documentos elegibles, resultando en un conjunto de datos final de 2,766 registros de propiedades únicos enriquecidos con 35 características extraídas de los PDF. La calidad de los datos extraídos se validó a través de tres experimentos posteriores:

• Coherencia de Características (Coincidencia de Similitud):
  • La similitud de coseno y la distancia euclidiana produjeron un puntaje de consistencia de Jaccard de 0.82 en las 5 recomendaciones principales (Top-5).
  • Este alto acuerdo indica que los vectores de características extraídos capturan estructuras relacionales genuinas entre las propiedades, en lugar de ruido o alucinaciones.
• Calidad Semántica (Clustering):
  • El agrupamiento K-Means (k=2) produjo un Coeficiente de Silueta (Silhouette Score) de 0.2088.
  • Los clusters resultantes fueron interpretables: el Cluster 0 representaba "Propiedades asequibles/más pequeñas" y el Cluster 1 representaba "Propiedades premium/más grandes". Esto sugiere que las características extraídas reflejan distinciones reales del mercado.
• Riqueza de Características (Toma de Decisiones Multicriterio):
  • Dos métodos de clasificación (Puntuación Ponderada y TOPSIS) aplicados a las mismas características produjeron un bajo solapamiento (Jaccard ≈ 0.18) en sus listas Top-5.
  • Los autores interpretan esta divergencia como evidencia de que el conjunto de datos contiene suficiente señal y variación para soportar clasificaciones matizadas y objetivas, en lugar de forzar la convergencia hacia valores atípicos.

5. Significado y Reivindicaciones

El artículo afirma demostrar que la extracción de texto basada en LLM es factible y confiable a escala para documentos inmobiliarios heterogéneos.

• Factibilidad: El sistema procesó con éxito miles de documentos sin la creación manual de reglas, manejando variaciones terminológicas que derrotan a los analizadores tradicionales.
• Calidad de los Datos: La validación posterior proporciona evidencia empírica de que los datos extraídos son semánticamente significativos y aptos para tareas de aprendizaje automático (clustering, ranking).
• Escalabilidad: El flujo de trabajo gestionó con éxito un conjunto de datos en vivo de casi 4,000 documentos, demostando que los LLM pueden integrarse en flujos de trabajo de producción para inteligencia de documentos.

6. Limitaciones y Trabajo Futuro

Los autores reconocen modestamente ciertas limitaciones:

• Sesgo de Selección: Aproximadamente el 29.9% de los documentos (escaneados y caracteres especiales) fueron excluidos, lo que limita la representatividad del conjunto de datos.
• Falta de Estudio de Ablación: No se realizó una comparación formal entre los modelos entrenados solo con datos de la API frente a los datos enriquecidos por PDF para cuantificar el valor añadido.
• Validación Solo Cuantitativa: El estudio se basa en métricas cuantitativas; no se realizó un estudio de usuario para evaluar la calidad perceptual de los datos.

Direcciones Futuras identificadas por los autores incluyen:

• Integrar el preprocesamiento de OCR (reducción de ruido, corrección de inclinación) para manejar documentos escaneados.
• Realizar estudios de ablación formales para medir el valor específico añadido por las características de los PDF.
• Adaptar la arquitectura agnóstica al dominio a otros sectores (legal, médico, seguros) y otros mercados inmobiliarios (comercial, alquiler).