기술 요약: RowNet – 표 형식 회귀를 위한 메모리 트랜스포머(Memory Transformer)

1. 문제 정의

본 논문은 부동산 가치 평가 영역에서의 표 형식 회귀(tabular regression) 과제를 다룹니다. 이미지나 텍text 데이터와 달리, 표 형식 데이터는 안정적인 국소적 위상 구조(local topology)가 결여되어 있습니다. 즉, 인접한 컬럼 간에 의미론적 연관성이 거의 없고, 범주형 피처는 높은 카디널리티(cardinality)와 희소한 레벨을 가지며, 수치형 피처는 서로 호환되지 않는 스케일로 존재합니다.

부동산 분야에서 피처(예: 면적, 구역, 건물 연령, 편의시설)와 가격 사이의 매핑은 전역적으로 매끄럽거나 순수하게 가산적(additive)이지 않습니다. 시장은 국지적으로 이질적입니다. 특정 건물 유형, 상태 및 미세 지역의 공급 상황을 고려하지 않고서는 한 구역의 제곱미터당 가격을 다른 구역과 직접 비교할 수 없습니다. 표준 딥러닝 모델(MLP 등)은 행(row)을 고립된 벡터로 취급하여, 감독 학습(supervision)만으로는 국소성(locality)과 범주형 매칭을 학습하는 데 어려움을 겪습니다. 반대로, 강력한 베이스라인인 그래디언트 부스팅 결정 트리(GBDT)는 피처 중심의 분할(feature-centric splitting)을 통해 작동하며, 인간 감정사가 사용하는 핵심 로직인 유사한 과거 관측치의 검색(retrieval)을 명시적으로 모델링하지 않습니다.

2. 방법론: RowNet 아키텍처

RowNet은 부동산 제곱미터당 가격을 예측하기 위해 설계된 **검색 기반 신경망 아키텍처(retrieval-based neural architecture)**입니다. 이 모델은 "비교 가능한 매물(comparable-property)"이라는 귀납적 편향(inductive bias)을 채택하여, 전체 훈련 세트를 쿼리(query)에 대한 관련 과거 사례를 추출할 수 있는 **메모리 뱅크(memory bank)**로 취급합니다.

2.1 핵심 구성 요소

ThreeLayerMoE라고 명명된 이 아키텍처는 세 가지 별도의 단계로 구성됩니다.

1. 피처 전용 행 검색 (Layer 1):

   • 모델은 쿼리 행과 모든 메모리 행 사이의 쌍별 유사도(pairwise similarity)를 계산합니다.
   • 유사도 임베딩(Similarity Embedding): 단순한 도트 곱(dot product) 대신, 다음과 같은 공학적 기법을 사용하여 유사도를 설계합니다:
     • 정확한 범주형 일치(Exact Categorical Matches): 범주형 및 원-핫 인코딩된 피처에 대한 이진 동일성 확인.
     • 수치형 커널(Numerical Kernels): 수치형 피처를 위한 세 가지 스케일 인식 커널: 역 거리($1/(1+\Delta)$), 지수적 상대 유사도($\exp(-\Delta/\alpha)$), 그리고 클리핑된 선형 상대 유사도($\max(0, 1-\Delta/\alpha)$).
   • 학습 가능한 단일 벡터 $w_1$이 이러한 유사도 벡터들을 점수화하여, 타겟에 대한 거친(coarse) 어텐션 가중치 추정치를 생성합니다.

2. 타겟 조건부 멀티 헤드 검색 (Layer 2):

   • 이 레이어는 **타겟 일관성 피처(target-consistency features)**를 사용하여 유사도 벡터를 보강함으로써 검색을 정교화합니다. 이 피처들은 메모리 행의 실제 가격이 Layer 1의 거친 추정치와 얼마나 가까운지를 측정합니다.
   • 멀티 헤드 설계(Multi-Head Design): 모델은 $H=8$개의 어텐션 헤드를 사용합니다. 각 헤드는 별도의 호환성 벡터($w_{2,h}$)를 학습하여, 서로 다른 비교 가능성 측면(예: 위치, 기하학적 구조, 편의시설 또는 타겟 일관성)에 특화되도록 합니다.
   • 각 헤드에 대해 메모리 차원에 대해 독립적으로 소프트맥스 어텐션(Softmax attention)을 적용하여, 타겟 추정치와 피처 요약본을 모두 검색합니다.

3. 잔차 보정을 포함한 혼합 전문가 집계 (Mixture-of-Experts Aggregation with Residual Correction):

   • 게이트(Gate): 2개 층의 MLP가 헤드 요약의 평균을 취해 각 헤드의 기여도를 가중할 게이팅 벡터 $\pi$를 생성합니다.
   • 잔차 보정(Residual Correction): 각 헤드에는 검색된 평균값에 작은 가산적 보정(additive correction)을 예측하는 관련 잔차 MLP($R_h$)가 연결되어 있습니다. 이를 통해 모델은 단순한 평균이 포착할 수 없는 체계적 편향(예: 관찰되지 않은 품질)을 조정할 수 있습니다.
   • 최종 예측: 출력값은 학습된 게이트와 "잔차 신뢰도(residual-confidence)" 분포(잔차 크기에 대한 softmin)에 의해 가중치가 부여된, 검색된 가격과 잔차 보정값의 볼록 조합(convex combination)입니다.

2.2 훈련 및 규제화

• 목적 함수: 주요 손실 함수는 제곱미터당 가격에 대한 평균 절대 백분율 오차(MAPE)입니다.
• 규제화(Regularization):
  • 게이트 엔트로피(Gate Entropy): 게이팅 메커니즘이 단일 헤드로 붕괴되지 않고 여러 헤드를 사용하도록 장려합니다.
    easily
  • 헤드 다양성(Head Diversity): 학습된 헤드 벡터들이 서로 구별되도록 유지하여 중복성을 방지하는 페널티 항을 적용합니다.
  • 잔차 페널티(Residual Penalty): 가산적 잔차 보정의 규모를 제한하여 모델이 검색 신호를 압도하지 않도록 제어합니다.
• 셀프 마스킹(Self-Masking): 훈련 중에는 쿼리 행이 자신의 메모리에서 제외되도록(점수를 $-\infty$로 설정) 하여, leave-one-out 검색 목적을 강제합니다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

1. 아키텍처: 쌍별 유사도 임베딩, 2단계 행 어텐션, 멀티 헤드 검색, 혼합 전문가 집계를 결합한 소형 검색 증강 표 형식 회귀 모델인 RowNet을 도입했습니다.
2. 수학적 정형화: 설계된 유사도 채널(정확한 일치, 스케일 인식 커널, 타겟 일한성 피처)과 하이브리드 어텐션 메커즘에 대한 상세한 정의를 제공합니다.
3. 전처리 파이프라인: 러시아어-영어 스키마 정규화, 좌표 기반 지리적 클러스터링(K-Means), 주소 분해, 제곱미터당 가격 타겟 구축을 포함한 종합적인 부동산 데이터 파이프라인을 제시합니다.
4. 경험적 검증: 훈련 트레이스, 개념 증명(PoC) 베이스라인, 키르기스스탄 비슈케크크의 실제 데이터셋을 이용한 경진 대회 결과를 보고합니다.
5. 이론적 분석: RowNet을 학습된 비교 가능 매물 모델로서 논의하며, 이를 GBDT, 표 형식 트랜스포머 및 k-최근접 이웃(k-NN) 방법과 대조합니다.

4. 실험 결과

• 데이터셋: 본 연구는 7,128개의 훈련 리스팅과 1,784개의 테스트 리스팅을 포함하는 비슈케크의 Kaggle 경진대회 데이터셋을 사용합니다.
• 성능:
  • 개념 증명(Proof-of-Concept): 학습되지 않은 행 어텐션 베이스라인은 14.76% MAPE를 기록하여, 가공되지 않은 유사도가 신호를 포함하고 있으나 학습 없이는 불충분함을 입증했습니다.
  • XGBoost 베이스라인: 8.33% MAPE로 보고되었습니다.
  • RowNet 훈련: 모델은 10 에포크 동안 셀프 마스킹된 훈련 MAPE를 8.36%에서 **6.37%**로 감소시켰습니다.
  • 경진대회 결과: 최종 제출물은 7.44% MAPE를 달성했습니다 (참고: 초록에서는 7.44%를 언급하지만, 섹션 6.3에서는 246번의 제출 후 보고된 점수인 8.11%를 언급합니다. 이는 평가 시점이나 제출 버전에 따른 차이로 보입니다).
• 절제 실험(Ablation) 통찰: 논문은 검색 기능을 제거하면 모델이 전역 파라미터 회귀 모델로 변하여 (국지적 적응력을 상실하고), 타겟 조건부 레이어나 잔차 보정을 제거하면 편향이 발생하거나 정교함이 감소한다고 주장합니다.

5. 의의 및 주장

본 논문은 **학습된 행 검색(learned row retrieval)**이 부동산 가치 평가에 있어 자연스러운 귀납적 편향이라고 주장합니다. 주요 논지는 다음과 같습니다:

• 하이브리드 접근법: RowNet은 최근접 이웃 추정(국지적 적응성)의 통계적 강점과 신경망 어텐션 메커니즘의 미분 가능성 및 특화 능력을 성공적으로 결합합니다.
• 해석 가능성: "블랙박스" 트랜스포머와 달리, RowNet의 예측은 특정 과거 행에 대한 어텐션 가중치를 통해 검사할 수 있어 더 직접적인 설명 경로를 제공합니다. 즉, 특정 비교 가능한 매물들이 검색되어 높게 가중치가 부여되었기 때문에 예측값이 높다는 식의 설명이 가능합니다.
• 도메인 적합성: 이 아키텍처는 전역 함수가 국지적 체제(regime)를 근사하도록 강제하는 대신, 비교 가능한 거래를 식별하고 가중치를 부여하는 부동산 도메인의 실무 방식을 명시적으로 모델링합니다.

6. 한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 확장성(Scalability): 전체 메모리 어텐션 메커즘은 $O(N^2)$의 훈련 복잡도를 초래하여, 매우 큰 데이터셋(예: 15만 행 이상)의 경우 계산 비용이 많이 듭니다.
• 평가 범위: XGBoost, CatBoost 등 여러 베이스라인에 대한 홀드아웃(held-out) 검증 지표나 여러 시드(seed)에 대한 완전한 절제 실험 지표를 충분히 제공하지 않습니다.
• 데이터 의존성: 모델은 메모리 뱅크의 편향과 시간적 변화(temporal drift)를 물려받습니다. 메모리 내의 오래되거나 중복된 데이터는 잘못된 검색을 유도할 수 있습니다.
• 해석 가능성: 표준 트랜스포머보다는 낫지만, 학습된 호환성 가중치와 잔차 조정은 여전히 분석이 필요하며 완전히 인간이 읽을 수 있는 형태는 아닙니다.

결론적으로, 본 논문은 top-k 사전 선택이나 근사 최근접 이웃 인덱싱과 같은 기술을 통해 확장성 문제를 해결한다면, RowNet이 국지적 비교 가능성이 핵심인 도메인에서 그래디언트 부스팅을 보완할 수 있는 실용적인 도구가 될 것이라고 결론짓습니다.