Resumo Técnico: Extração de Dados Estruturados de Documentos Imobiliários usando Agrupamento, Classificação e Grandes Modelos de Linguagem (LLMs)

1. Definição do Problema

As listagens imobiliárias no Reino Unido expõem metadados estruturados básicos (ex: preço, número de quartos) via APIs. No entanto, a informação mais crítica ao nível da propriedade — como status jurídico, condições estruturais, suprimentos de utilidades e sistemas de aquecimento — reside em documentos de questionários anexados (PDFs). Esses documentos são atualmente ignorados por sistemas automatizados devido a três desafios primários:

• Heterogeneidade: Os documentos variam significativamente em formato, incluindo texto gerado digitalmente, formulários físicos digitalizados e layouts complexos com anotações de caixas de seleção (checkboxes).
• Natureza Não Estruturada: A informação é frequentemente capturada em texto livre com terminologia inconsistente (ex: "gas central heating" vs. "GCH" vs. "mains gas"), tornando os extratores baseados em regras tradicionais (regex, correspondência de modelos) ineficazes e não escaláveis.
• Falta de Processamento: Esses documentos não estão armazenados em bancos de dados, acessíveis via APIs ou indexados por mecanismos de busca, criando uma "lacuna de dados ricos" no pipeline imobiliário.

2. Metodologia

Os autores propõem um pipeline de ponta a ponta aplicado a 3.965 documentos de questionários adquiridos da plataforma Aberdeen Solicitors Property Centre (ASPC). O pipeline consiste em três estágios sequenciais:

A. Aquisição de Dados

• Fonte: A plataforma ASPC, que carece de uma API pública.
• Técnica: Os autores realizaram engenharia reversa nos endpoints internos da API REST usando o Chrome DevTools.
• Processo: Uma sessão autenticada foi estabelecida para acessar as listagens de propriedades. O sistema recuperou iterativamente resumos de listagens, atributos detalhados e as URLs dos PDFs associados. Um total de 3.965 listagens de propriedades únicas e seus respectivos PDFs foram baixados.

B. Classificação de Documentos (Estágio 1)

Antes da extração, cada PDF foi categorizado para determinar o caminho de processamento apropriado:

1. Apenas Texto (Text Only): Documentos gerados digitalmente com texto selecionável.
2. Digitalizado (Scanned): Páginas renderizadas como imagem sem camada de texto selecionável.
3. Caracteres Especiais (Special Char): Documentos contendo anotações de caixas de seleção ou codificações de caracteres não padronizadas.

• Implementação: O classificador utilizou pdfplumber para medir o comprimento do texto extraível (identificando documentos digitalizados) e PyMuPDF para detectar padrões de caixas de seleção. Documentos ambíguos foram analisados adicionalmente usando pdf2image e Tesseract OCR apenas para detecção de símbolos.
• Resultado: 2.781 documentos (70,1%) foram classificados como text_only e prosseguiram para a extração. Os restantes 29,9% (digitalizados e caracteres especiais) foram excluídos neste estudo.

C. Extração Baseada em LLM (Estágio 2)

• Modelo: DeepSeek R1 (especificamente deepseek-r1-distill-llama-70b) acessado via API de inferência Groq.
• Configuração: Temperatura definida em 0,3 para garantir estabilidade de saída; top-p em 0,95; max de 1.024 tokens.
• Engenharia de Prompt: O modelo foi instruído a extrair 35 atributos pré-definidos de propriedade (cobrindo status jurídico, condição estrutural, aquecimento, utilidades, etc.) e retornar-os como um único objeto JSON válido.
  • Restrições: Retornar apenas JSON (sem preâmbulo), representar todos os valores como strings, usar null para valores ausentes e incluir todos os 35 campos.
• Processamento: O texto bruto dos PDFs text_only foi passado diretamente para o LLM sem normalização baseada em regras. A saída foi analisada usando expressões regulares e inserida em um banco de dados SQL.
• Pós-processamento: Listagens duplicadas foram removidas via correspondência exata de endereço. Valores ausentes foram imputados como "Não" (consistente com o formato do questionário) e as características foram normalizadas (StandardScaler/MinMaxScaler).

3. Principais Contribuições

1. Sistema de Aquisição de Dados: Um pipeline reproduzível usando APIs REST de engenharia reversa para adquirir 3.965 PDFs de questionários heterogêneos juntamente com metadados estruturados.
2. Modelo de Classificação de Documentos: Um mecanismo de roteamento que classifica documentos em text_only, scanned e special_char, direcionando-os para caminhos de processamento apropriados.
3. Pipeline de Extração por LLM: Uma implementação bem-sucedida utilizando DeepSeek R1 para extrair 35 atributos estruturados de 2.781 documentos com uma taxa de sucesso de 100% na geração de JSON válido, eliminando a necessidade de conjuntos de regras específicos para cada documento.
4. Validação Downstream: Um estudo empírico demonstrando que as características extraídas suportam correspondência de similaridade, segmentação de mercado e classificação multicritério.

4. Resultados e Validação

O pipeline processou 2.781 documentos elegíveis, resultando em um conjunto final de 2.766 registros de propriedades únicos enriquecidos com 35 características extraídas dos PDFs. A qualidade dos dados extraídos foi validada através de três experimentos downstream:

• Coerência de Características (Correspondência de Similaridade):
  • A similaridade de cosseno e a distância euclidiana produziram um escore de consistência Jaccard de 0,82 nas recomendações Top-5.
  • Este alto acordo indica que os vetores de características extraídos capturam estruturas relacionais genuínas entre as propriedades, em vez de ruído ou alucinações.
• Qualidade Semântica (Agrupamento/Clustering):
  • O K-Means clustering (k=2) gerou um Silhouette Score de 0,2088.
  • Os clusters resultantes foram interpretáveis: o Cluster 0 representava "Propriedades acessíveis/menores" e o Cluster 1 representava "Propriedades premium/maiores". Isso sugere que as características extraídas refletem distinções reais do mercado.
• Riqueza de Características (Tomada de Decisão Multicritério):
  • Dois métodos de classificação (Weighted Scoring e TOPSIS) aplicados às mesmas características produziram baixa sobreposição (Jaccarde ≈ 0,18) em suas listas Top-5.
  • Os autores interpretam essa divergência como evidência de que o conjunto de dados contém sinal e variação suficientes para suportar classificações matizadas e dependentes de objetivos, em vez de forçar a convergência em outliers.

5. Significância e Alegações

O artigo afirma demonstrar que a extração de texto baseada em LLM é viável e confiável em escala para documentos imobiliários heterogêneos.

• Viabilidade: O sistema processou com sucesso milhares de documentos sem a criação manual de regras, lidando com variações terminológicas que derrotam parsers tradicionais.
• Qualidade dos Dados: A validação downstream fornece evidência empírica de que os dados extraídos são semanticamente significativos e adequados para tarefas de aprendizado de máquina (agrupamento, classificação).
• Escalabilidade: O pipeline lidou com sucesso com um conjunto de dados vivo de quase 4.000 documentos, provando que LLMs podem ser integrados em pipelines de produção para inteligência de documentos.

6. Limitações e Trabalhos Futuros

Os autores reconhecem modestamente limitações específicas:

• Viés de Seleção: Aproximadamente 29,9% dos documentos (digitalizados e caracteres especiais) foram excluídos, limitando a representatividade do conjunto de dados.
• Falta de Estudo de Ablação: Não foi realizada uma comparação formal entre modelos treinados apenas com dados de API versus os dados enriquecidos por PDF para quantificar o valor aditivo.
• Validação Apenas Quantitativa: O estudo baseia-se em métricas quantitativas; nenhum estudo de usuário foi realizado para avaliar a qualidade perceptual dos dados.

Direções Futuras identificadas pelos autores incluem:

• Integração de pré-processamento de OCR (redução de ruído, destravamento/deskewing) para lidar com documentos digitalizados.
• Realização de estudos de ablação formais para medir o valor específico adicionado pelas características do PDF.
• Adaptação da arquitetura agnóstica de domínio para outros setores (jurídico, médico, seguros) e outros mercados imobiliários (comercial, locação).