LLM-Powered Flood Depth Estimation from Social Media Imagery: A Vision-Language Model Framework with Mechanistic Interpretability for Transportation Resilience

이 논문은 **"LLM 기반 소셜 미디어 이미지를 통한 홍수 깊이 추정: 교통 회복탄력성을 위한 기계적 해석 가능성 (Mechanistic Interpretability) 을 갖춘 비전 - 언어 모델 프레임워크"**를 주제로 합니다. 도시 홍수가 교통망에 미치는 위협을 해결하기 위해, 고정된 센서 인프라 없이도 실시간으로 도로 수준의 홍수 깊이를 센티미터 (cm) 단위로 추정하는 새로운 프레임워크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

• 교통 시스템의 취약성: 기후 변화와 노후화된 배수 시설로 인해 도시 홍수가 빈번해지고 있으며, 이는 교통 체증, 물류 중단, 긴급 대응 비용 등 막대한 경제적 손실을 초래합니다.
• 기존 기술의 한계: 구글 맵스나 웨이즈와 같은 내비게이션은 주로 '도로 폐쇄' 여부 (이진 분류) 에만 의존하며, 실시간으로 구체적인 홍수 깊이 (수위) 정보를 제공하지 못합니다.
• 신규 차량 기술의 요구: 전기차 (EV) 의 하부 배터리 시스템은 약 15~25cm 의 침수 시 위험에 노출되며, 자율주행차 (AV) 도 침수된 도로를 인식하고 회피하는 능력이 부족합니다. 따라서 센티미터 단위 (cm-level) 의 정밀한 홍수 깊이 추정이 필수적입니다.
• 데이터 부족: 기존 컴퓨터 비전 연구는 대략적인 깊이 분류 (타이어 수준, 범퍼 수준 등) 에 그쳤거나, 정밀한 깊이 레이블이 있는 공개 데이터셋이 부재하여 고정밀 학습이 어려웠습니다.

2. 제안 방법론 (Methodology)

이 연구는 FloodLlama라는 이름의 파인튜닝된 오픈소스 비전 - 언어 모델 (VLM) 을 중심으로 한 엔드 - 투 - 엔드 프레임워크를 제시합니다.

가. 다중 모달 데이터 파이프라인 (TikTok 기반)

• 데이터 수집: 틱톡 (TikTok) 의 연구 API 를 활용하여 홍수 관련 영상, 메타데이터, 댓글, OCR(화면 텍스트), ASR(음성 인식) 데이터를 수집합니다.
• 현장 검증: 디트로이트 지역의 실제 홍수 영상 676 장을 기반으로 파이프라인의 타당성을 검증했습니다.

나. 대규모 합성 데이터셋 생성 (Synthetic Dataset)

• Unreal Engine 5 활용: 실제 데이터의 레이블링 한계를 극복하기 위해 UE5 를 이용해 약 190 만 장의 합성 이미지를 생성했습니다.
• 세밀한 레이블링: 7 가지 차량 유형 (버스, 트럭, SUV 등), 4 가지 기상 조건, 0~40cm 까지 1cm 간격으로 정밀하게 레이블링된 데이터를 구축했습니다. 이는 기존에 존재하지 않았던 센티미터 단위 연속 변수 학습용 데이터셋입니다.

다. FloodLlama 모델 및 파인튜닝 전략

• 모델 아키텍처: LLaMA 3.2-11B Vision을 기반으로 합니다.
• QLoRA 파인튜닝: 단일 GPU (RTX 4090) 에서 효율적으로 학습하기 위해 4-bit 양자화와 QLoRA(Quantized Low-Rank Adaptation) 를 적용했습니다.
• 점진적 커리큘럼 학습 (Progressive Curriculum Training):
  1. Phase 1: 단일 차량 합성 데이터로 coarse(대략적) 깊이 매핑 학습.
  2. Phase 2: 다중 차량이 포함된 복잡한 합성 데이터로 fine-grained(세밀한) 1cm 단위 깊이 추정 학습.
• 프롬프트 엔지니어링: 단순 프롬프트는 얕은 침수에, 체인 - 오브 - 씽킹 (CoT) 프롬프트는 깊은 침수에 더 효과적임을 발견하고 상황에 따라 프롬프트를 최적화했습니다.

라. 기계적 해석 가능성 (Mechanistic Interpretability)

• 내부 메커니즘 분석: 모델이 어떻게 깊이 정보를 인코딩하는지 분석하기 위해 5 가지 방법 (선형 프로빙, Logit Lens, CKA, 어텐션 엔트로피, 합성 점수) 을 결합한 프레임워크를 적용했습니다.
• 핵심 계층 발견: 홍수 깊이 정보가 주로 **레이어 L23 에서 L38 사이 (특히 L23 에서 전환)**의 크로스 - 어텐션 (Cross-Attention) 계층에 집중되어 있음을 발견했습니다.
• 선택적 파인튜닝 (Selective Fine-tuning): 불필요한 계층을 제거하고 핵심 계층 (Tier 2, Tier 3 구성) 만 파인튜닝하여 학습 가능 파라미터를 76~80% 감소시키면서도 정확도를 유지하는 효율적인 모델을 설계했습니다.

3. 주요 결과 (Key Results)

• 정확도:
  • 평균 절대 오차 (MAE): 0.97cm 미만 (깊은 홍수 기준), 0.40cm (전체 평균).
  • 오차 5cm 이내 정확도 (Acc@5cm): 93.7% 이상 (깊은 홍수), 96.8% 이상 (얕은 홍수).
  • Tier 3 구성의 실제 데이터 (Real-world) 정확도: 98.62%.
• 합성 - 실제 전이 (Sim-to-Real Transfer): 합성 데이터로만 학습된 모델이 실제 틱톡 영상에서도 높은 성능을 보이며, 도메인 격차를 효과적으로 극복함을 입증했습니다.
• 강건성 (Robustness): 차량의 타이어나 일부 부분이 가려진 (Occlusion) 상황에서도 Tier 3 모델은 정확도 하락이 2.3% 에 불과하여 매우 강건한 성능을 보였습니다.
• 효율성: 기계적 해석을 기반으로 한 선택적 파인튜닝을 통해 학습 파라미터를 대폭 줄였으며, 이는 엣지 디바이스 배포 가능성을 높였습니다.

4. 주요 기여도 (Contributions)

1. 초정밀 데이터셋: 센티미터 단위 (1cm) 깊이 레이블이 포함된 대규모 합성 데이터셋과 틱톡 기반의 다중 모달 데이터 파이프라인 구축.
2. 초정밀 VLM 모델: 오픈소스 VLM 을 파인튜닝하여 센티미터 단위 홍수 깊이를 추정하는 FloodLlama 개발.
3. 해석 가능한 AI 프레임워크: 비전 - 언어 모델의 내부 작동 원리를 규명하고, 이를 통해 **파라미터 효율성 (76~80% 감소)**을 극대화하는 선택적 파인튜닝 전략 제시.
4. 실용적 적용: 고정된 센서 인프라 없이도 소셜 미디어 데이터를 활용한 실시간, 확장 가능한 홍수 모니터링 시스템 제안.

5. 의의 및 시사점 (Significance)

• 교통 회복탄력성 (Resilience): 실시간으로 도로별 수위 정보를 제공하여 동적 경로 안내, 긴급 차량 우선 통과, 도로 폐쇄/개방 결정에 직접 기여합니다.
• 전기차 (EV) 및 자율주행차 (AV) 안전: 차량의 바닥 높이 (Ground Clearance) 와 배터리 보호 한계와 비교하여 **차량별 침수 통과 가능성 (Traversability)**을 정밀하게 판단할 수 있게 합니다.
• 인프라 없는 모니터링: 기존에 설치 비용이 많이 드는 수위계나 CCTV 에 의존하지 않고, 시민 참여형 (Crowdsourced) 데이터로 저비용 고효율의 재난 대응 시스템을 구축할 수 있는 가능성을 열었습니다.
• AI 연구의 진전: 대규모 모델의 내부 메커니즘을 해석하여 효율적인 학습 전략을 도출하는 방법론적 기여를 통해, 안전이 중요한 교통 분야에서의 AI 적용 가능성을 높였습니다.

이 연구는 기후 위기 시대에 교통 시스템의 안전과 회복탄력성을 확보하기 위해 AI, 소셜 미디어, 그리고 정밀한 시뮬레이션 데이터를 융합한 혁신적인 접근법을 제시합니다.