기술 요약: MLLM을 이용한 원격 탐사 도시 레이아웃 추출 (Code-as-City)

1. 문제 정의

전통적인 원격 탐사 시스템은 탐지 상자(detection boxes), 시맨틱 마스크(semantic masks) 또는 벡터 경계(vector boundaries)를 생성하여 도시 환경을 해석한다. 이러한 출력 방식은 이미지 평면상의 점수 산정 및 위치 파악에는 효과적이지만, **실행 가능한 레이아웃(executable layout)**을 구성하는 데는 실패한다. 이러한 방식은 구조화된 도시 자산을 유지하는 데 필요한 지속적인 객체 ID, 유형화된 관계, 위상적 일관성 및 재생 규칙이 결여되어 있다.

본 연구가 다루는 핵심 과제는 단일 근직하(near-nadir) RGB 원격 탐사 이미지를 **정규화된 도시 그래프(normalized city graph)**와 **제한된 레이아웃 프로그램(restricted layout program)**으로 변환하는 것이다. 목표는 단순한 래스터나 벡터 마스크가 아니라, 분할 기반의 측정 능력을 보존하면서 2D(평면) 및 3D 뷰를 모두 재생성할 수 있는 검사 및 편집 가능한 코드 표현을 생성하는 것이다.

2. 방법론: Code-as-City

제안된 프레임워크인 Code-as-City는 다중 모달 거대 언어 모델(MLLM)을 활용하여 제약 조건이 있는 코드 생성을 수행한다. 프로세스는 세 가지 주요 구성 요소로 구조화된다:

A. 시맨틱 사전 정보 가이드 파싱 (Semantic-Prior-Guided Parsing)

시스템은 이미지 모델이 먼저 5개 클래스 시맨틱 레이아웃 사전 정보(건물, 도로, 스포츠 시설, 식생, 물 클래스에 정렬됨)를 생성하는 "사전 정보 기반(prior-grounded)" 워크플로우를 채택한다. 이 사전 정보는 원본 RGB 이미지와 함께 세 단계의 순차적인 MLLM 패스를 조건화한다:

1. 도로 패스(Road Pass): 중심선, 폭, 교차로 및 연결성을 복구한다.
2. 토지 피복 패스(Land-Cover Pass): 도로 기록을 바탕으로 개방 공간 영역과 유형화된 관계(예: 인접성, 서비스)를 추출한다.
3. 건물 패스(Building Pass): 누적된 위상 구조를 사용하여 개별 건물 발자국(footprints)과 반복되는 그룹을 식별한다.

시맨틱 사전 정보는 MLLM의 해석을 구속하는 평면적 제약 조건 역할을 수행하지만, 그 자체가 최종 예측값 역할을 하지는 않는다.

B. 결정론적 정규화 및 실행 (Deterministic Normalization and Execution)

MLLM 패스에서 누적된 기록은 안정적인 식별자, 표준 좌표 및 유형화된 관계(연결성, 포함 관계, 인접성)를 생성하기 위해 결정론적 정규화를 거친다.

• 직렬화(Serialization): 그래프는 add_road, add_building, add_open_space, relate와 같은 연산을 포함하는 폐쇄형 Layout API를 사용하는 Python 코드로 직렬화된다.
• 검증 및 복구(Validation & Repair): 생성된 코드는 타임아웃 제한이 있는 서브프로세스에서 실행된다. 컨트롤러는 프로세스를 관리하며, 잘못된 형식의 JSON, 누락된 필수 요소 또는 유효하지 않은 기하학적 구조를 위한 사전 정의된 복구 루틴을 호출한다.
• 출력 생성: 검증된 그래프는 두 가지 동기화된 출력을 구동한다:
  • 건물이 돌출되고 도로가 버퍼링된 렌더링 가능한 3D 도시 레이아웃(Three.js 사용).
  • 동일한 기하학으로부터 래스터화된 직교 시맨틱 투영(orthographic semantic projection).

C. 평가 프로토콜

프레임워크는 IRSAMap V2의 100개 장면으로 구성된 CityLayout-100 데이터셋을 통해 평가된다. 성능은 다음을 통해 측정된다:

• 픽셀 수준 지표: 직교 투영 결과에 대해 계산된 평균 교집합(mIoU) 및 전역 IoU(GIoU).
• 집계(Aggregation): 부재한 클래스에 대한 인위적인 완벽한 점수를 방지하기 위해, 장면 전체에서 참 양성(true positives), 거짓 양성(false positives), 거짓 음성(false negatives)을 통합하여 클래스별 IoU를 계산한다.

3. 주요 기여

• Image-to-City-Code 작업 정의: 본 논문은 주된 예측값이 터미널 래스터나 벡터가 아닌 실행 가능한 레이아웃 프로그램인 새로운 작업을 정의한다. 이를 통해 명명된 객체와 유형화된 관계가 실행 과정에서 유지되어 2D 및 3D 뷰의 공동 재생성을 가능하게 한다.
• 사전 정보 기반 MLLM 워크플로우: 생성된 시맨틱 레이아웃 사전 정보에 의해 가이드되는 분해된 공간 파싱 접근 방식을 도입하여, 중간 기록이 추적 가능하고 제약될 수 있도록 보장한다.
• 결합된 평면 및 3D 출력: 단일 표현이 분할(segmentation)과 호환되는 평면 투영과 동기화된 3D 장면을 모두 생성할 수 있음을 입증함으로써, 시각적 관찰과 구조화된 자산 유지 관리 사이의 간극을 메운다.

4. 실험 결과

100개의 장면에 대해 평가했을 때, 전체 프레임워크는 다음과 같은 종합 결과를 달성했다:

• mIoU: 41.1%
• GIoU: 48.3%
• 정밀도/재현율/F1 (Precision/Recall/F1): 65.8% / 64.6% / 65.2%

클래스별 성능 (IoU):

• 물(Water): 59.5%
• 식생(Vegetation): 53.1%
• 건물(Building): 44.8%
• 스포츠 시설(Sport): 34.2%
• 도로(Road): 14.0% (버퍼 네트워크 내의 폭 및 경계 오류에 매우 민다면한 것으로 기록됨).

절제 연구 (시맨틱 레이아웃 사전 정보의 효과):
생성된 시맨틱 레이아웃 사전 정보를 제거했을 때 성능이 크게 저하되었다:

• mIoU가 41.1%에서 36.3%로 감소 (−4.8 포인트).
• GIoU가 48.3%에서 42.5%로 감소 (−5.8 포인트).
• F1 점수가 65.2%에서 59.7%로 감소하였다.
  이는 시맨틱 사전 정보가 MLLM의 공간적 추론을 효과적으로 가이드함을 확인시켜 준다. 사전 정보를 추가했을 때의 클래스별 IoU 변화는 건물 +17.6, 도로 면적 +4.0, 스포츠 시설 −8.3, 식생 +2.7, 물 +8.4이다. 스포츠 클래스의 음수 변화는 부정확한 사전 정보가 실행 가능한 기하학에 전파되어 해당 카테고리의 성능을 저하시킬 수 있음을 나타낸다.

난이도 분석:
성능은 장면 복잡도(Easy, Medium, Hard)에 따라 엄격하게 단조로운 경향을 보이지 않았다. Medium 장면은 가장 높은 GIoU를 보였으나 가장 낮은 mIoU를 기록했는데, 이는 지배적인 영역에 대해서는 잘 겹치지만 모든 클래스에 대해 일관된 합의는 부족함을 시사한다. Hard 장면은 여전히 42.7%의 mIoU를 달성하였으며, 이는 경계 모호성과 희귀 클래스의 기하학적 특성이 인스턴스 수와 독립적으로 결과에 영향을 미침을 나타낸다.

5. 의의 및 주장

본 논문은 Code-as-City가 원격 탐사의 시각적 관찰이 검사 및 편집 가능한 도시 코드로 번역될 수 있다는 정량적 증거를 제공한다고 주장한다.

• 측정 가능성: 프레임워크는 직교 투영에서 표준 픽셀 지표(IoU)를 사용하여 성능을 평가할 수 있는 능력을 유지하며, 이를 통해 실행 가능한 레이아웃을 실제 정답(ground truth)과 대조하여 검증한다.
• 편집 가능성: 정적인 마스크와 달리, 출력물은 명명된 객체와 관계를 보존하여 2D 및 3D 뷰의 동기화된 재생성을 가능하게 한다.
• 자산 활용 잠재력: 저자들은 인간의 검토를 거친다면, 이러한 구조화된 객체와 기하학이 표준 도시 데이터 형식(예: CityJSON)으로 변환될 수 있으며, 맵-투-3D 자산 유지 관리 도구(예: OSM2World)에 적응될 수 있다고 제안한다. 이는 원격 탐사 탐지에서 유지 관리 가능한 디지털 도시 자산으로 가는 경로를 제시한다.

본 연구는 원격 탐사 출력을 정적인 이미지 평면 인터페이스에서 동적이고 구조화되며 재생 가능한 도시 표현으로 격상시키기 위한 방법론으로서 자리매김한다.