WildFireVQA 技术总结

1. 研究背景与问题定义

背景：
野火监测需要来自空中平台（如无人机 UAV）的及时、可操作的情境感知。现有的空中视觉问答（VQA）基准测试主要关注通用环境监测或灾后评估，且大多基于 RGB 图像，缺乏针对野火特定场景的多模态推理评估。特别是，现有方法难以评估模型基于辐射热数据（Radiometric Thermal Data）进行温度 grounded（基于物理温度）推理的能力。

核心问题：

1. 数据缺失：缺乏专门针对野火监测、结合 RGB 与辐射热数据的大规模 VQA 基准。
2. 推理局限：现有模型难以处理烟雾遮挡下的火情判断、热点定位及基于物理温度的决策（如飞行规划）。
3. 标注可靠性：在安全关键领域（Safety-critical domain），如何确保自动化标注的准确性并消除幻觉（Hallucination）是一个挑战。

2. 方法论 (Methodology)

2.1 数据集构建 (WildFireVQA)

• 数据来源：基于 FLAME 3 数据集，包含来自三个指定燃烧点（Sycan Marsh, Willamette, Shoetank）的同步 UAV 数据。
• 多模态输入：每个样本包含三种对齐模态：
  1. RGB 图像：可见光图像。
  2. 热成像可视化：基于颜色映射的热图（便于人类阅读）。
  3. 辐射热 TIFF：包含每个像素绝对温度值（°C）的单波段 TIFF 文件，支持物理温度查询。
• 规模：6,097 个 RGB-热成像样本，每个样本对应 34 个问题，总计 207,298 个多项选择题。

2.2 问题设计

设计了 34 个问题，分为六大任务类别，涵盖野火响应中的关键决策需求：

1. 存在与检测 (Presence & Detection)：火/烟指示、热活动、资产存在性。
2. 分类 (Classification)：火行为（活跃/阴燃/熄灭）、植被特征、燃料状态。
3. 分布与分割 (Distribution & Segmentation)：火/烟/热的空间分布及覆盖百分比。
4. 定位与方向 (Localization & Direction)：热点位置、烟雾漂移方向。
5. 跨模态推理 (Cross-Modal Reasoning)：结合 RGB 和热信号解决遮挡或观测受限问题。
6. 飞行规划 (Flight Planning)：基于火情和环境的 UAV 飞行安全与路径规划。

2.3 标注与质量控制 (Annotation & QC)

为确保标注在安全关键领域的可靠性，采用了混合策略：

• 多模态大模型 (MLLM) 生成：使用 Gemini 2.5 Pro 生成初始答案，输入包含 RGB、热图及从 TIFF 计算的辐射统计摘要（最小/最大/标准差温度，超过 200°C/400°C 的像素比例）。
• 传感器驱动确定性标注 (Sensor-Driven Deterministic Labeling)：
  • 无人机高度：通过 GPS 和 SRTM 地形数据计算离地高度 (AGL)，而非视觉估计。
  • 热点检测：基于物理阈值（>200°C）和连通分量分析，结合飞行高度计算地面投影面积，过滤传感器噪声。
  • 孤立热源：基于质心距离聚类，识别远离主火线的孤立热源。
  • 空间分布：利用 PCA 分析热点质心的共线性，判断火场是线性、集中还是分散。
  • 车辆计数：使用 YOLO-World 开放词汇检测器进行客观计数，避免 MLLM 幻觉。
• 一致性验证：
  • 帧内一致性：检查同一帧内不同问题间的逻辑矛盾（如“无火”与“有热点”冲突）。
  • 帧间一致性：利用 ORB 特征匹配识别近重复帧，确保相似场景的答案一致。

3. 主要贡献 (Key Contributions)

1. 首个野火专用多模态 VQA 基准：提出了 WildFireVQA，首次将 RGB 与辐射热 TIFF 数据结合，支持基于物理温度的问答。
2. 高可靠性标注流程：设计了“MLLM 生成 + 传感器确定性规则 + 人工/逻辑一致性检查”的混合标注 pipeline，显著降低了安全关键场景下的标签噪声。
3. 全面的评估协议：建立了针对代表性 MLLM 的评估框架，测试了不同输入模态（RGB、热成像）及检索增强生成（RAG，即引入热统计文本）对模型性能的影响。

4. 实验结果 (Results)

在零样本（Zero-shot）设置下，评估了四种主流 MLLM（Qwen3-VL, LLaVA-v1.6, InternVL2, MiniCPM-V2）：

• 模态表现：RGB 模态在所有模型中表现最强。纯热成像输入（Thermal）的表现普遍弱于 RGB，但在引入检索增强后有所提升。
• 检索增强 (RAG) 的影响：
  • 将辐射热统计摘要（温度统计、阈值占比）作为文本上下文检索增强（RAG）输入，能显著提升强模型（如 Qwen3-VL, InternVL2）的性能。
  • Qwen3-VL-8B 在"RGB + RAG"设置下达到最佳准确率 54.76%。
  • MiniCPM-V2 在引入 RAG 后性能反而下降，表明其整合结构化数值元数据与视觉上下文的能力较弱。
• 任务难度：
  • “存在与检测”类任务准确率最高（部分模型达 76%+）。
  • “定位与方向”及“飞行规划”类任务难度较大，准确率相对较低。
• 结论：当前模型仍主要依赖 RGB 视觉线索，但显式的温度统计信息能辅助强模型进行更准确的物理推理。

5. 意义与局限性 (Significance & Limitations)

意义：

• 填补空白：填补了野火监测领域缺乏专门 VQA 基准的空白，推动了从“火情检测”向“火情情境理解与决策”的转变。
• 物理 grounded 评估：通过引入辐射热数据，评估模型是否真正理解温度物理意义，而非仅依赖颜色映射的视觉特征。
• 安全关键应用：为 UAV 自主火情跟踪和数字孪生系统（如 FIRETWIN）提供了可量化的评估工具。

局限性：

• RAG 实现方式：当前实验将热统计信息作为文本显式提供给模型，而非要求模型直接从热 TIFF 图像中推断温度。这隔离了“利用显式物理线索”的能力，但尚未完全测试端到端的热图像推理能力。
• 模型依赖：检索增强对模型架构敏感，并非所有模型都能有效利用额外的热统计上下文。

总结：
WildFireVQA 通过结合高分辨率 RGB 与辐射热数据，并采用严格的确定性标注流程，为野火监测领域的多模态大模型提供了一个高标准的评估基准。实验表明，虽然当前模型仍依赖视觉特征，但引入物理温度上下文能显著提升强模型的推理能力，揭示了未来在安全关键场景下发展温度感知 AI 的方向。