Recov-Vision: Linking Street View Imagery and Vision-Language Models for Post-Disaster Recovery

기술 요약: Recov-Vision

문제 정의
재난 후 복구 과정에서는 구호 조치, 유틸리티 복구 및 자원 배분을 안내하기 위해 신속한 건물 단위의 점유 상태 평가가 필요하다. 항공(나디르) 영상은 광범한 범위를 제공하지만, 거주 가능 여부를 결정하는 데 중요한 파사드(건물 정면) 수준의 단서—예: 막힌 출입구, 임시 덮개 또는 국지적 잔해—를 포착하는 데는 한계가 있다. 반대로, 거리 뷰 영상(SVI)은 이러한 세부 정보를 제공하지만, 본질적으로 희소하고 관점에 의존적이며 대규모 필지 인벤토리와 정렬하기 어렵다. 기존 방법들은 의사결정을 감사하거나 모호한 시각적 증거를 처리하는 데 필요한 구조화되고 투명한 추론 능력이 부족한 "블랙박스" 분류기에 의존하는 경우가 많다.

방법론
본 논문은 파노라마 비디오를 특정 토지 필지와 연결하고 점유 상태를 추론하도록 설계된 거리 수준의 언어 가이드 프레임워크인 Recov-Vision을 제시한다. 파이프라인은 네 가지 주요 구성 요소로 이루어진다:

1. 데이터 수집 및 전처리:

   • 획득: 허리케인 헬렌 이후 노스캐롤라이나주 스완노아(Swannanoa)와 블랙 마운틴(Black Mountain)에서의 현장 조사 중 차량 장착형 GoPro Max를 통해 360° 파노라마 비디오(5.6K 해상도)를 캡처하였다. 데이터는 복구 과정을 추적하기 위해 두 차례의 캠페인(2025년 3월 및 6월)에 걸쳐 수집되었다.
   • 지리공간 정렬: GPS 로그를 비디오 프레임과 동기화하였다. R-tree 공간 인덱스를 사용하여 차량 위치를 참조 필지(25m 버퍼 적용)와 매칭하였다.
   • 뷰 역투영(View Rectification): 입력을 표준화하기 위해, 시스템은 GPS 지점들의 시간적 윈도우를 사용하여 차량의 헤딩(heading)을 추정하였다. 그 후, 파노라마 프레임 중앙에 건물 파사드를 배치하는 데 필요한 요(yaw) 각도를 계산하였다. FFmpeg의 v360 필터를 사용하여, 시스템은 등방성(equirectangular) 입력을 직교 투영된 파사드 중심 뷰(16:9 종횡비)로 디워핑(dewarp)하였다.

2. 시각-언어 모델(VLM) 프롬프팅 전략:
   본 연구는 공유된 시각 추출기(GPT-4o)와 표준화된 속성 스키마(표 2)를 사용하는 두 가지 의사결정 아키텍처를 비교한다:

   • 단일 단계 베이스라인(One-Stage Baseline): VLM은 9가지 시각적 속성(예: 주택 파손, 외부 잔해, 긴급 표시)을 추출한다. 그 후 결정론적인 규칙 기반 점수 산정 시스템이 점유 상태를 분류한다. 규칙은 다음과 같다: 만약 (위험 지표 - 차량 존재 여부) ≥ 2 이면 "미점유(Not Occupied)"로 예측한다. 이 임계값은 부정적 라벨에 대해 확증이 필요하도록 보수적으로 조정되었다.
   • 이단계 전략(Two-Stage Strategy): VLM은 먼저 점유 여부를 추론하지 않고 동일한 시각적 속성들을 추출한다. 두 번째 단계에서, 텍십트 전용 LLM이 명시적인 추론 규칙과 퓨샷(few-shot) 예시를 적용하여 이 속성들을 최종 "점유(Occupied)" 또는 "미점유(Not Occupied)" 라벨로 매핑한다. 이 단계는 증거가 모호할 때 "미점유"를 선호하도록 보수적으로 설계되었다.

3. 시계열 분석:
   프레임 단위의 예측을 다수결 투표를 통해 필지 단위의 라벨로 집계한다. 두 방문 간의 변화 클래스를 복구됨(Recovered, 미점유 → 점유), 악화됨(Deteriorated, 점유 → 미점유), 그리고 두 가지 안정적(Stable) 상태로 정의한다.

4. 평가:
   성능은 정밀도(precision), 재현율(recall), F1 점수 및 코헨의 카파($\kappa$) 계수를 사용하여 인간의 그라운드 트루스(ground truth)와 비교 평가되었다. 통계적 유의성은 쌍체 부트스트랩 재표본 추출(paired bootstrap resampling) 및 맥니머 검정(McNemar's test)을 통해 검증되었다. 오차의 공간적 자기상관은 전역 모란 지수(Global Moran's $I$)를 사용하여 분석되었다.

주요 기여

1. 재현 가능한 파이프라인: 5.6K 파노라마 비디오를 필지와 연결하는 엔드 투 엔드 워크플로우를 포함하며, 뷰 역투영 및 GPS 기반 헤딩 추정을 위한 구체적인 기하학적 공식을 제공한다.
2. 해석 가능한 추론: 투명한 규칙 기반 접근 방식과 '인지-추론'의 이단계 설계를 비교한다. 속성 추출과 의사결정 로직을 분리함으로써, 비전 컴포넌트를 재학습시키지 않고도 정책 튜닝이 가능하다.
3. 시공간적 평가: 집계된 정확도를 넘어 공간적 진단을 수행하기 위해, 순수 복구량을 정량화하고 Global Moran's $I$를 사용하여 오차 클러스터링을 진단하는 프레임워크를 제공한다.
4. 통계적 검증: 신뢰 구간과 오차 분류 체계를 엄격하게 보고하여, 이단계 전략이 모호성을 줄이고 검토자가 특정 난해 사례로 유도될 수 있음을 입증한다.

결과

• 성능: 이단계 전략은 단일 단계 베이스라인(0.728)보다 높은 재현율(0.781)과 약간 더 높은 F1 및 코헨의 $\kappa$ 점수를 달取得하였다. 그러나 쌍체 부트스트랩 테스트와 맥니머 검정 결과, 이러한 차이는 현재 운영 시점에서 통계적으로 유의미하지 않았다.
• 복구 지표: 두 모델 모두 그라운드 트루스에 비해 점유 상태를 과대평가하였다. 그러나 이단계 전략은 단일 단계 베이스라인(+18)보다 그라운드 트루스의 순 복구 추세(+14)를 더 정확하게 재현하였다.
• 오차 분석: 잔여 오차는 무작위로 분포되지 않았다. Global Moran's $I$ 분석 결과, 점유 상태와 예측 오차 모두에서 유의미한 공간적 클러스터링이 나타났다. 이는 오차가 특정 "포켓"에 집중되어 있음을 시사하며, 이를 통해 표적화된 품질 보증이 가능함을 보여준다.
• 사례 연구: 이단계 접근 방식은 더 보수적인 의사결정 경계를 보여주었으며, 단일 단계 베이스라인이 실패한 경우(예: 주요 수리가 진행 중인 주택)에도 "미점유" 사례를 정확히 식별하였다. 다만, 두 모델 모두 혼동을 주는 시각적 단서(예: 로고를 긴급 표시로 오인하는 경우)에는 어려움을 겪었다.

의의 및 주장
본 논문은 이단계 설계의 주요 가치가 원시 성능의 우위(통계적으로 유의미하지 않음)에 있는 것이 아니라, 제어 가능성과 감사 가능성에 있다고 주장한다. 중간 속성을 노출하고 인지와 추론을 분리함으로써, 운영자는 다음과 같은 작업을 수행할 수 있다:

• 비전 컴포anents를 재학습시키지 않고도 실패 모드를 진단하고 의사결정 정책(예: 위험 임계값)을 조정한다.
• 확산된 무작위 감사가 아닌, 공간적으로 클러스터링된 오차 포켓을 대상으로 우선적인 인간 검토를 실시한다.
• 긴급 관리 워크플로우에 통합될 수 있는 의사결정 준비가 된, 감사 가능한 출력을 생성한다.

저자들은 이 파이프라인이 방문 조사(door-to-door inspection)를 대체할 수 있는 확장 가능한 대안을 제공하지만, 특히 수리 후 상황처럼 시각적 단서가 미묘해지는 경우 기초 영상의 품질에 따라 성능이 제한될 수 있다고 결론짓는다. 향후 연구 과제로 다지역 검증 및 시계열 전이 모델링을 제안하였다.