1. 문제 정의 (Problem)

• 배경: 산불 모니터링은 인명, 인프라, 경제에 치명적인 피해를 입히는 자연재해로, 항공기 (UAV 등) 를 통한 실시간 상황 인식과 즉각적인 의사결정이 필수적입니다.
• 한계점: 기존 항공 시각적 질문 답변 (VQA) 벤치마크는 주로 가시광선 (RGB) 이미지에 의존하며, 산불이라는 특수한 환경에서 열적 (Thermal) 측정값에 기반한 다중 모달 추론을 평가하지 못합니다.
• 필요성: 단순한 화재 존재 감지를 넘어, 연기 속에서의 가시성, 열원 분포, 비행 안전성 등 작전적 의사결정에 필요한 정교한 추론 능력을 평가할 수 있는 전용 데이터셋과 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

가. 데이터셋 구성 (WildFireVQA)

• 데이터 소스: FLAME 3 데이터셋을 기반으로 구축되었으며, UAV 로부터 수집된 동기화된 RGB 이미지와 방사열 (Radiometric) 열화상 데이터를 쌍으로 제공합니다.
• 데이터 규모: 총 6,097 개의 RGB-열화상 샘플로 구성되며, 각 샘플당 34 개의 질문이 할당되어 총 207,298 개의 객관식 질문을 생성했습니다.
• 모달리티: 각 샘플은 다음 3 가지 형태로 제공됩니다.
  1. RGB 이미지
  2. 색상 매핑된 열화상 시각화 (Color-mapped thermal visualization)
  3. 방사열 TIFF 파일 (픽셀별 절대 온도 값 포함, 물리적 근거 제공)
• 질문 카테고리 (6 가지):
  1. 유무 및 탐지 (Presence & Detection): 화재/연기 유무, 열 활동, 인근 자산 등.
  2. 분류 (Classification): 화재 행동, 식생 상태, 접근성 등.
  3. 분포 및 세그멘테이션 (Distribution & Segmentation): 화재/연기/열의 공간적 분포 및 면적 비율.
  4. 위치 및 방향 (Localization & Direction): 핫스팟 위치, 연기 이동 방향 등.
  5. 교차 모달 추론 (Cross-Modal Reasoning): RGB 와 열화상 신호의 결합 추론 (예: 연기 가림 속 열원 탐지).
  6. 비행 계획 (Flight Planning): UAV 의 고도, 안전 위험, 비행 경로 등.

나. 라벨링 및 품질 관리 (Annotation & Quality Control)

• 하이브리드 라벨링 파이프라인:
  • MLLM 기반 생성: Gemini 2.5 Pro 를 사용하여 RGB, 열화상 시각화, 그리고 **방사열 통계 (최소/최대/평균 온도, 특정 임계값 초과 픽셀 비율 등)**를 입력받아 답변을 생성합니다.
  • 센서 기반 결정론적 라벨링 (Sensor-Driven Deterministic Labeling): MLLM 이 취약한 영역에 대해 물리 법칙과 센서 데이터를 기반으로 자동 라벨링을 수행합니다.
    • UAV 고도: GPS 및 지형 데이터 (SRTM) 를 활용하여 지상 고도 (AGL) 를 정밀 계산.
    • 핫스팟 탐지: 픽셀별 온도 (200°C 임계값) 를 기반으로 물리적 크기 (GSD 적용) 와 연결성 분석을 수행하여 화재 영역 식별.
    • 응급 차량 카운팅: YOLO-World 와 같은 오픈 보편 객체 탐지기를 활용하여 MLLM 의 환각 (Hallucination) 방지.
  • 일관성 검증:
    • 프레임 내 (Intra-frame): 서로 다른 질문 간의 논리적 모순 (예: "화재 없음"인데 "핫스팟 있음"인 경우) 을 제거.
    • 프레임 간 (Inter-frame): ORB 특징 매칭을 통해 유사한 프레임을 식별하고, 동일한 질문에 대한 답변 일관성을 검증.

3. 주요 기여 (Key Contributions)

1. WildFireVQA 벤치마크 제안: RGB 와 방사열 데이터를 결합한 대규모 VQA 벤치마크로, 온도 기반 (Temperature-grounded) 추론이 가능한 최초의 산불 모니터링 전용 데이터셋입니다.
2. 작전적 질문 설계 및 검증: 산불 대응에 필요한 34 가지의 이진 및 객관식 질문을 설계하고, 수동 검증 및 일관성 검사를 통해 라벨 신뢰도를 극대화했습니다.
3. 포괄적인 평가 프로토콜: 다양한 추론 설정 (RGB 만, 열화상만, 검색 증강 생성 (RAG) 포함) 에서 대표적인 멀티모달 LLM (MLLM) 들의 성능을 평가하는 기준을 마련했습니다.

4. 실험 결과 (Results)

• 평가 모델: LLaVA-v1.6, Qwen3-VL, InternVL2, MiniCPM-V2 등 4 가지 대표적인 MLLM 을 제로샷 (Zero-shot) 환경에서 평가했습니다.
• 주요 발견:
  • RGB 의 우세: 현재 모든 모델에서 RGB 입력이 단일 모달리티 중 가장 높은 성능을 보였습니다 (최고 정확도: Qwen3-VL 기준 54.76%).
  • 검색 증강 생성 (RAG) 의 효과: 방사열 통계 (온도 분포, 임계값 초과 비율 등) 를 텍스트 형태로 추가한 RAG 설정은 강력한 모델 (Qwen3-VL, InternVL2) 의 성능을 향상시켰습니다. 특히 열화상 입력과 결합 시 성능 향상이 두드러졌습니다.
  • 모델별 차이:
    • Qwen3-VL: RAG 를 활용한 열적 맥락 통합 능력이 가장 뛰어났습니다.
    • MiniCPM-V2: RAG 추가 시 오히려 성능이 저하되었으며, 이는 모델이 시각적 내용과 구조화된 수치 데이터를 동시에 처리하는 능력이 부족함을 시사합니다.
  • 한계: 기존 모델들은 여전히 열적 데이터의 물리적 의미를 완전히 이해하거나, 연기 가림 상황에서의 추론에 어려움을 겪고 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전 중시 평가: 산불과 같은 안전 중대 (Safety-critical) 분야에서 MLLM 의 한계를 명확히 규명하고, 물리적으로 근거 있는 온도 데이터를 활용한 추론의 중요성을 강조했습니다.
• 향후 연구 방향: 현재 평가는 명시적인 텍스트 통계 (RAG) 를 제공하지만, 향후 연구에서는 모델이 열화상 입력에서 직접 온도를 추론하는 엔드 - 투 - 엔드 (End-to-End) 능력을 평가해야 함을 지적했습니다.
• 오픈 소스: 데이터셋과 벤치마크 코드는 오픈 소스로 공개되어 (GitHub), 자율 UAV 화재 추적 및 디지털 트윈 기술 개발을 위한 표준 평가 도구로 활용될 것입니다.

이 논문은 단순한 이미지 인식을 넘어, 물리적 센서 데이터 (방사열) 와 언어 모델의 결합을 통해 실제 산불 현장에서의 작전적 의사결정을 지원할 수 있는 AI 기술의 발전 방향을 제시했다는 점에서 의미가 큽니다.