기술 요약: CityRep: 도시 표현을 위한 통합 벤치마크

1. 문제 제기

도시 표현 학습 (Urban representation learning) 은 원격 탐사, 거리 뷰 이미지, 관심 지점 (POI), 지리 좌표와 같은 이질적인 도시 관측 데이터를 범용 공간 임베딩으로 인코딩하는 것을 목표로 합니다. 이러한 임베딩은 다양한 하류 작업과 emerging 도시 기반 모델 (urban foundation models) 의 핵심 구성 요소로 사용되도록 의도되었습니다. 그러나 이러한 표현의 평가는 세 가지 중요한 한계에 직면해 있습니다:

1. 제한된 범위: 기존 평가들은 주로 한두 개의 도시, 제한된 수의 작업, 또는 단일 레이블 유형에 초점을 맞추는 경향이 있습니다. 이는 표현이 진정으로 범용적인 것인지, 아니면 특정하고 좁은 조건 하에서만 효과적인 것인지를 평가하는 능력을 제한합니다.
2. 호환되지 않는 공간 지지 (Spatial Supports): 표현 모델은 래스터 그리드, 벡터 영역, H3 셀, 또는 연속 좌표와 같은 다양한 공간 지지 위에서 작동하는 반면, 하류 작업들은 종종 다른 단위를 정의합니다. 표준화된 정렬 메커니즘이 없다면 이질적인 모델 간 공정한 비교가 불가능합니다.
3. 평가에서의 공간 누출 (Spatial Leakage): 대부분의 연구는 무작위 훈련 - 테스트 분할에 의존합니다. 공간적 자기상관 (spatial autocorrelation) 이 강한 도시 맥락에서 무작위 분할은 모델이 새로운 지역에 대한 진정한 일반화가 아닌, 인접한 훈련 및 테스트 샘플 간의 보간을 통해 성능을 부풀릴 수 있게 합니다. 이는 모델의 전이 가능성에 대해 지나치게 낙관적인 결론을 초래합니다.

2. 방법론: CityRep 프레임워크

이러한 격차를 해결하기 위해 저자들은 데이터 모달리티, 도시, 그리고 작업을 공간적으로 구조화된 프로토콜을 사용하여 평가하기 위한 통합 벤치마크인 CityRep을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 공간 단위 무관 평가 및 정렬

CityRep 은 이질적인 표현들을 비교 가능하게 만들기 위한 표준화된 정렬 모듈을 도입합니다. 모든 모델을 단일 보편적 그리드로 강제하는 대신, 이 프레임워크는 각 도시 ($c$) 와 작업 ($t$) 에 대해 하류 작업의 특정 공간 단위 ($U_{c,t}$) 로 네이티브 표현을 정렬합니다.

• 메커니즘: 래스터 또는 영역 수준의 임베딩의 경우, 시스템은 작업 단위 내에서 임베딩을 집계하거나 더 거친 단위 간에 임베딩을 공유합니다. 개체 수준의 임베딩 (예: POI) 의 경우, 누락된 특징을 방지하기 위해 먼저 개체를 중간 지지 (H3 셀) 로 집계한 후 작업 단위로 매핑합니다. 좌표 인코더의 경우, 작업 단위의 대표 좌표에서 인코더를 쿼리합니다.
• 목표: 이를 통해 래스터, 영역, 개체, 또는 좌표에 기반한 모델들을 동일한 하류 인터페이스 하에서 평가할 수 있게 됩니다.

B. 공간적으로 구조화된 분할 프로토콜

공간 누출을 완화하기 위해 CityRep 은 무작위 분할 대신 블록 기반 공간 분할을 대체합니다.

• 프로토콜: 작업의 공간 범위는 겹치지 않는 블록 (예: $10 \times 10$ 그리드) 으로 분할됩니다. 훈련, 검증, 테스트 세트는 개별 샘플이 아닌 전체 블록을 서로소인 부분 집합에 할당함으로써 구성됩니다.
• 근거: 이는 테스트 샘플이 훈련 샘플과 공간적으로 분리되도록 보장하여, 모델이 지역적 보간이 아닌 보이지 않는 지리적 영역에 대한 진정한 일반화를 증명하도록 강제합니다.

C. 다중 도시, 다중 작업 벤치마크 스위트

CityRep 은 8 개 도시(런던, 뉴욕, 싱가포르, 시드니, 뭄바이, 나이로비, 자카르타, 케이프타운) 와 4 개의 도시 도메인으로 조직된 8 개의 하류 작업을 포괄합니다:

1. 형태학: 토지 이용 분류 (LUC) 및 도로 밀도 회귀 (RDE).
2. 인구통계학: 인구 회귀 (POP) 및 연령 분포 예측 (AGE).
3. 경제: GDP 회귀 및 야간 조명 (NTL) 회귀.
4. 환경: PM2.5 회귀 및 지표면 온도 (LST) 회귀.

이 벤치마크는 위치 인코더 (PE), POI 기반 방법 (Place2Vec, CaLLiPer), 좌표 인코더 (Space2Vec, SatCLIP), 맵 - 개체 모델 (CityFM, Urban2Vec), 그리고 대규모 원격 탐사 기반 모델 (TESSERA, AlphaEarth, AETHER) 을 포함한 11 개의 대표 모델을 평가합니다.

3. 주요 결과

저자들은 다음과 같은 발견 사항을 가진 대규모 실증 연구를 수행했습니다:

• 분할 프로토콜의 영향: 성능은 분할 프로토콜에 매우 민감합니다. 무작위 분할은 일관되게 점수를 부풀립니다 (특히 인구 및 LST 와 같은 조밀한 래스터 작업의 경우) 그리고 공간 분할과 비교하여 모델 순위도 변경합니다. 이는 무작위 분할이 보이지 않는 지역으로의 전이가 아닌 지역적 보간을 측정한다는 것을 확인시켜 줍니다.
• 모델 성능: 대규모 사전 훈련된 지리 공간 표현 (AETHER, AlphaEarth, TESSERA) 은 작업과 도시 전반에 걸쳐 가장 강력한 전이 성능을 달성했습니다. 이는 광범위한 공간 커버리지와 대규모 사전 훈련이 이질적인 도시 예측에 유용함을 시사합니다. 그러나 CityFM(LST 용) 이나 CaLLiPer(연령 분포 용) 와 같은 전문적이거나 단순한 모델들은 특정 작업에서 여전히 경쟁력을 유지했습니다. 이는 입력 모달리티만이 성능을 결정하지 않으며, 아키텍처와 정렬 전략이 중요함을 나타냅니다.
• 맥락적 변동성: 모델 순위와 성능 격차는 도시와 작업에 따라 크게 달라집니다. 모든 예측 문제에 대해 일관되게 쉽거나 어려운 단일 도시는 존재하지 않습니다. 예를 들어, 어떤 도시는 사회경제적 예측에는 쉬울 수 있지만 환경 예측에는 어려울 수 있습니다. 이는 단일 도시 평가가 모델의 견고성에 대한 불완전한 그림을 제공한다는 것을 강조합니다.
• 선형 프로브 안정성: 비선형 MLP 에 비해 선형 하류 헤드로 평가했을 때 결과도 광범위하게 일관되었습니다. 이는 원격 탐사 기반 모델의 우월성이 하류 모델 용량의 산물에 불과하지 않음을 시사합니다.

4. 중요성 및 주장

이 논문은 CityRep 을 도시 기반 모델 개발을 위한 필수적인 단계로 위치 짓습니다. 그 중요성은 다음과 같습니다:

1. 표준화: 이는 좁은 단일 설정 비교를 넘어, 이질적인 도시 표현들을 비교하기 위한 재현 가능한 통합 인터페이스를 제공합니다.
2. 엄격한 평가: 공간적으로 구조화된 분할을 강제함으로써, 현재 문헌에서 흔히 발생하는 모델 능력의 과대평가를 방지하고 일반화에 대한 더 현실적인 평가를 제공합니다.
3. 진단적 통찰: 이 벤치마크는 도시 표현의 품질이 고정된 것이 아니며, 도시 맥락, 작업 도메인, 그리고 데이터 가용성에 따라 변동한다는 것을 보여줍니다. 이는 모든 도시 시나리오에 대한 단일 "최고" 모델이라는 개념에 도전합니다.
4. 자원 가용성: 저자들은 공정한 비교와 향후 연구를 촉진하기 위해 데이터셋, 평가 파이프라인, 처리된 벤치마크, 그리고 진단 도구를 공개합니다.

저자들은 겸손하게도 CityRep 이 평가를 발전시키지만, 이용 가능한 공개 지리 공간 데이터의 품질에 의해 제약받으며, 아직 다중 모달 데이터 부족이 글로벌 임베딩에 어떻게 영향을 미치는지 완전히 조사하지는 않았다고 지적합니다. 그들은 CityRep 을 직접적인 정책 배포를 위한 의사 결정 시스템이 아닌, 범용 도시 표현 개발을 안내하는 연구 벤치마크로 규정합니다.