기술 요약: 클러스터링, 분류 및 대규모 언어 모델을 이용한 부동산 문서의 구조화된 데이터 추출

1. 문제 정의

영국의 부동산 매물은 API를 통해 기본적인 구조화된 메타데이터(예: 가격, 침실 수)를 공개하고 있다. 그러나 법적 상태, 구조적 조건, 유틸리티 공급 및 난방 시스템과 같은 가장 중요한 속성 수준의 정보는 첨부된 설문지 문서(PDF)에 존재한다. 이러한 문서들은 다음과 같은 세 가지 주요 과제로 인해 현재 자동화 시스템에서 무시되고 있다:

• 이질성(Heterogeneity): 문서는 디지털 생성 텍스트, 스캔된 물리적 양식, 체크박스 주석이 포함된 복잡한 레이아웃 등 매우 다양한 형식을 가진다.
• 비구조적 특성(Unstructured Nature): 정보가 일관되지 않은 용어(예: "gas central heating" vs "GCH" vs "mains gas")를 사용하는 자유 형식의 텍스트로 캡처되는 경우가 많아, 전통적인 규칙 기반 추출기(정규 표현식, 템플릿 매칭)는 효과적이지 않으며 확장성이 떨어진다.
• 처리 미비(Lack of Processing): 이러한 문서들은 데이터베이스에 저장되지 않고, API를 통해 접근할 수 없으며, 검색 엔진에 인덱싱되지도 않아, 부동산 파이프라인 내에 "풍부한 데이터 격차(rich data gap)"를 형성한다.

2. 방법론

저자들은 Aberdeen Solicitors Property Centre (ASPC) 플랫폼에서 확보한 3,965개의 설문지 문서에 적용되는 엔드 투 엔드(end-to-end) 파이프라인을 제안한다. 이 파이프라인은 세 가지 순차적 단계로 구성된다:

A. 데이터 획득 (Data Acquisition)

• 출처: 공공 API가 없는 ASPC 플랫폼.
• 기술: 저자들은 Chrome DevTools를 사용하여 내부 REST API 엔드포인트를 역공학(reverse-engineered)했다.
• 과정: 인증된 세션을 구축하여 부동산 매물에 접근했다. 시스템은 매물 요약, 상세 속성 및 관련 PDF URL을 반복적으로 검색했다. 총 3,965개의 고유한 부동산 매물과 그와 관련된 PDF가 다운로드되었다.

B. 문서 분류 (Document Classification - 1단계)

추출 전, 적절한 처리 경로를 결정하기 위해 각 PDF를 분류하였다:

1. 텍스트 전용 (Text Only): 선택 가능한 텍스트가 있는 디지털 생성 문서.
2. 스캔됨 (Scanned): 선택 가능한 텍스트 레이어가 없는 이미지 렌더링 페이지.
3. 특수 문자 (Special Char): 체크박스 주석 또는 비표준 문자 인코딩을 포함하는 문서.

• 구현: 분류기는 pdfplumber를 사용하여 추출 가능한 텍est 길이를 측정하고(스캔된 문서 식별), PyMuPDF를 사용하여 체크박스 패턴을 감지했다. 모호한 문서는 기호 탐지를 위해서만 pdf2image와 Tesseract OCR을 사용하여 추가 분석되었다.
• 결과: 2,781개 문서(70.1%)가 text_only로 분류되어 추출 단계로 진행되었다. 나머지 29.9%(스캔 및 특수 문자)는 본 연구에서 제외되었다.

C. LLM 기반 구조화된 추출 (LLM-Based Structured Extraction - 2단계)

• 모델: Groq 추론 API를 통해 접속한 DeepSeek R1 (deepseek-r1-distill-llama-70b 모델).
• 설정: 출력 안정성을 위해 온도는 0.3, top-p는 0.95, max 토큰은 1,024로 설정했다.
• 프롬프트 엔지니어링: 모델에게 35개의 사전 정의된 부동산 속성(법적 상태, 구조적 조건, 난방, 유틸리티 등 포함)을 추출하여 단일한 유효한 JSON 객체로 반환하도록 지시했다.
  • 제약 조건: 서문 없이 JSON만 반환할 것, 모든 값을 문자열로 표현할 것, 값이 없는 경우 null을 사용할 것, 35개 필드를 모두 포함할 것.
• 처리: text_only PDF의 원시 텍스트는 규칙 기반 정규화 없이 LLM에 직접 전달되었다. 출력값은 정규 표현식을 사용하여 파싱된 후 SQL 데이터베이스에 삽입되었다.
• 후처리: 정확한 주소 매칭을 통해 중복 매물을 제거했다. 누락된 값은 (설문지 형식에 따라) "No"로 임퓨테이션(imputation)되었으며, 특징값들은 정규화(StandardScaler/MinMaxScaler)되었다.

3. 주요 기여

1. 데이터 획득 시스템: 역공학된 REST API를 사용하여 3,965개의 이질적인 설문지 PDF와 구조화된 메타데이터를 함께 획득하는 재현 가능한 파이프라인을 구축했다.
2. 문서 분류 모델: 문서를 text_only, scanned, special_char 범주로 분류하여 적절한 처리 경로로 안내하는 라우팅 메커리즘을 제공한다.
3. LLM 추출 파이프라인: DeepSeek R1을 사용하여 2,781개 문서에서 35개의 구조화된 속성을 추출하는 데 성공했으며, 유효한 JSON 생성 성공률 100%를 달성하여 문서별 규칙 세트의 필요성을 제거했다.
4. 다운스트림 검증: 추출된 특징들이 유사성 매칭, 시장 세분화 및 다기준 랭킹을 지원함을 입증하는 경험적 연구를 수행했다.

4. 결과 및 검증

파이프라인은 2,781개의 적격 문서를 처리하였으며, 최종적으로 35개의 PDF 추출 특징이 풍부하게 포함된 2,766개의 고유 부동산 레코드를 생성했다. 추출된 데이터의 품질은 세 가지 다운스트림 실험을 통해 검증되었다:

• 특징 일관성 (유사성 매칭):
  • 코사인 유사도(Cosine similarity)와 유클리드 거리(Euclidean distance)를 적용했을 때, Top-5 추천에 대한 자카드 일치도(Jaccard consistency score)는 0.82를 기록했다.
  • 이 높은 일치도는 추출된 특징 벡터가 노이즈나 환각(hallucination)이 아닌, 부동산 간의 실제적인 관계 구조를 포착하고 있음을 나타낸다.
• 의미적 품질 (클러스터링):
  • K-Means 클러스터링(k=2) 결과 실루엣 계수(Silhouette Score)는 0.2088이었다.
  • 생성된 클러스터는 해석 가능했다: 클러스터 0은 "저렴한/소형 부동산", 클러스터 1은 "프리미엄/대형 부동산"을 나타냈다. 이는 추출된 특징이 실제 시장의 차이를 반영하고 있음을 시사한다.
• 특징 풍부도 (다기준 의사결정):
  • 동일한 특징에 대해 가중치 점수 방식(Weighted Scoring)과 TOPSIS를 적용했을 때, Top-5 리스트 간의 중복도가 낮게 나타났다 (자카드 ≈ 0.18).
  • 저자들은 이러한 발산(divergence)을 데이터셋이 특정 아웃라이어(outlier)로 수렴하도록 강요하는 것이 아니라, 미묘하고 객관적인 관점에 따른 랭킹을 지원할 수 있는 충분한 신호와 변동성을 포함하고 있다는 증거로 해석한다.

5. 의의 및 주장

본 논문은 LLM 기반의 텍est 추출이 이질적인 부동산 문서에 대해 대규모로 실행 가능하며 신뢰할 수 있음을 입증한다고 주장한다.

• 실행 가능성: 규칙 기반의 수동 규칙 생성 없이 수천 개의 문서를 성공적으로 처리하였으며, 전통적인 파서를 무력화하는 용어적 변이들을 처리했다.
• 데이터 품질: 다운스트림 검증은 추출된 데이터가 의미론적으로 유의미하며 머신러닝 작업(클러스터링, 랭킹, 매칭)에 적합하다는 경험적 근거를 제공한다.
• 확장성: 약 4,000개의 라이브 데이터셋을 성공적으로 처리함으로써, LLM이 문서 인텔리전스를 위한 프로덕션 파이프라인에 통합될 수 있음을 증명했다.

6. 한계점 및 향-후 과제

저자들은 다음과 같은 특정 한계점을 솔직하게 인정하였다:

• 선택 편향 (Selection Bias): 약 29.9%의 문서(스캔 및 특수 문자)가 제외되어 데이터셋의 대표성이 제한될 수 있다.
• 어블레이션 연구(Ablation Study) 부족: API 데이터만으로 학습된 모델과 PDF가 풍부해진 데이터로 학습된 모델 간의 공식적인 비교가 수행되지 않아, PDF 특징이 더하는 구체적인 가치를 정량화하지 못했다.
• 정량적 검증에 국한: 연구는 정량적 지표에 의존하고 있으며, 데이터의 지각적 품질(perceptual quality)을 평가하기 위한 사용자 연구는 수행되지 않았다.

저자들이 식별한 향후 방향은 다음과 같다:

• 스캔된 문서를 처리하기 위한 OCR 전처리(노이즈 제거, 데스크류잉/deskewing) 통합.
• PDF 특징의 구체적인 부가가치를 측정하기 위한 공식적인 어블레이션 연구 수행.
• 도메인 불가지론적(domain-agnostic) 아키텍처를 다른 산업 분야(법률, 의료, 보험) 및 다른 부동산 시장(상업용, 임대)으로 확장 적용.