💻 computer science

Falcon: Functional Assembly and Language for Compositional Reasoning in X-ray

本文介绍了 Falcon，这是一个多模态框架，通过将威胁检测形式化为对空间分散组件的组合推理，解决了以物体为中心的视觉语言模型在 X 射线行李筛查中的局限性，并辅以新的 Falcon-X 基准测试来评估结构化安全推理。

原作者： Yonathan Michael, Mohamad Alansari, Natnael Takele, Andreas Henschel, Naoufel Werghi

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yonathan Michael, Mohamad Alansari, Natnael Takele, Andreas Henschel, Naoufel Werghi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在观察行李箱 X 光片的安检员。如今大多数计算机程序都像是一个非常严厉的图书管理员：它们看着图像说：“我看到一个电池”、“我看到一把刀”或“我看到一个瓶子”。它们非常擅长识别单个物品。

但问题在于：单个电池是无害的。单个雷管也是无害的。一堆炸药只是一堆化学物质。真正的危险只有当这些特定的物品在一起并以一种能让它们发挥作用的方式连接起来时才会出现。

目前的 AI 在这方面表现不佳。它们能看到零件，却忽略了这些零件如何组合成整体的“故事”。这就像一个孩子虽然能叫出乐高套装里的每一个零件，却不明白如果把红色积木和蓝色积木拼在一起，就组成了一辆小汽车。

“Falcon”应运而生。

Falcon 是一种专门为解决这种 X 光行李筛查中的“拼图”问题而设计的全新 AI 系统。它不再仅仅是列举物品，而是扮演着一个理解事物如何协同工作的侦探。

以下是它的工作原理，分为几个简单的步骤：

1. “安全状态”（侦探的笔记本）

大多数 AI 模型试图直接从图片中猜测答案。Falcon 则采取了不同的方法。在它回答问题之前，它会先填写一份结构化的“笔记本”（论文中称为结构化安全状态）。

在这本笔记本中，它会记录三件事：

谁在那里？（是否有电池？雷管？炸药？）
它们能匹配吗？（如果电池在那里，它看起来是否可以与雷管连接？）
这有多危险？（根据在场的人员/物品以及它们的连接方式，风险得分是多少？）

这就像厨师在检查食谱。在说“蛋糕做好了”之前，厨师会检查：“我有面粉吗？是的。鸡蛋吗？是的。它们混合了吗？是的。好了，现在我可以宣布它是蛋糕了。”Falcon 在开口说话之前，会进行这样的安全检查。

2. “功能性落地”（寻找团队，而不只是球员）

如果你问普通的 AI，“电池在哪里？”它会指向电池。
如果你问 Falcon，“这张包里的哪些物品可以构成炸弹？”它不会只指向一个东西。它会在电池、雷管和炸药周围画一个圈，并说：“这三个是一伙的。”

它理解危险不在于单个物体，而在于它们之间的关系。它甚至能告诉你缺少了什么。如果它看到了电池和雷管，但没看到炸药，它会说：“我看到了炸弹的两个部分，但主要的爆炸部分还缺失。风险很高，但还没达到 100%。”

3. “Falcon-X”基准测试（训练场）

为了教会 Falcon 这项技能，研究人员创建了一个新的数据集，名为 Falcon-X。

旧数据集： 像是“坏人”的照片集（枪、刀、剪刀）。
Falcon-X： 像是“拆解后的拼图”集合。它包含数千张 X 光片，其中的炸弹零件被散落在各处、隐藏在其他衣服下面，或者混杂在杂物中。它迫使 AI 学习到：即使一个电池藏在衬衫下面，它仍然是一个电池；而且如果它靠近雷管，那就是个问题。

4. 结果：为什么这很重要

论文将 Falcon 与其他智能 AI 模型进行了对比测试。

竞争对手： 其他模型很擅长说“那看起来像个电池”。但当被问到“这是一个炸弹吗？”时，它们经常会感到困惑或产生幻觉（胡编乱造）。
Falcon： 因为它强迫自己先检查“关系”，所以它在识别功能性威胁方面表现得出色得多。它可以观察一个凌乱、拥挤的包，并说：“这三个特定的物品，即使它们离得很远，也可以协同工作来制造一枚炸弹。”

核心结论

论文声称，通过迫使 AI 停止思考零件如何连接（组合推理），而不是仅仅思考存在哪些零件（物体检测），我们可以构建出更安全的安检系统。Falcon 不仅仅看到了碎片；它理解了这些碎片可能制造出的机器。

简而言之： Falcon 是一种不仅会数砖块，还知道当砖块以某种方式堆叠时会导致整座建筑倒塌的 AI。

技术摘要：Falcon —— 用于 X 射线组合推理的功能性组装与语言模型

1. 问题定义：组合式威胁推理

目前的视觉语言模型（VLM）和 X 射线安检系统主要以以物体为中心（object-centric），侧重于检测和描述单个实体（例如枪支或刀具）。然而，在对安全性要求极高的 X 射线行李检查中，威胁往往并非源于单个物体，而是源于空间分散组件的功能兼容性。即制爆炸装置（IED）可能会以拆解状态进行运输，例如电池、雷管和爆炸物组件被分散放置在包内。这些组件在个体层面是无害的，但只有当它们在功能上兼容时，才会构成威胁。

本文指出了一项现有研究中的空白：虽然存在大规模的物体检测基准测试，但它们缺乏对**关系型安全推理（relational safety inference）**进行建模的能力。目前的跨模态大语言模型（MLLM）依赖于隐式注意力机制，缺乏对组件间兼容性的显式监督，这使得模型难以推理出在重度遮挡下空间分离的组件是否共同构成了一个功能性威胁。

作者将这一场景形式化为组合式威胁推理（Compositional Threat Reasoning），其中安全性被建模为落地区域（grounded regions）的关联属性，而非独立的检测结果。

2. 方法论：Falcon 框架

作者提出了 Falcon，这是一个感知分割驱动的多模态框架，旨在将区域特征抽象为结构化的安全状态，然后再进行语言生成。该架构通过一个显式的中间接口，强制实现感知与推理之间的关系一致性。

2.1 架构概述

Falcon 集成了四个关键组件：

感知分割（Segmentation-Aware Perception）：
- 视觉骨干网络： 使用 DINOv2 提取稠密补丁标记（patch tokens），以保留对微小、杂乱组件至关重要的空间分辨率。
- 区域提议器（Region Proposer）： 采用类别无关的 Transformer（RF-DETR）来生成实例提议，包括边界框、分割掩码和置信度分数。相比边界框，模型更优先考虑掩码预测，以处理 X 射线的叠加和杂乱问题。
- 掩码感知区域编码器（Mask-Aware Region Encoder）： 结合 ROI 对齐特征和掩码池化特征，创建与语言对齐的区域嵌入。
结构化功能状态建模（结构化安全适配器 - SSA）：
- SSA 将变尺寸的区域嵌入映射为固定且可解释的功能状态。
- 基于查询的组件槽位（Query-Based Component Slots）： 使用对应于预定义组件分类（如电池、雷管、主装药）的学习查询，通过注意力机制聚合区域嵌入。
- 结构化预测： SSA 预测三种特定的信号：
  - 组件存在性 ( $\hat{p}$ )：每种组件类型的二元概率。
  - 成对功能链路 ( $\hat{L}$ )：表示组件对之间功能兼容性的概率（例如，电池与雷管之间的连接）。
  - 场景风险 ( $\hat{r}$ )：一个从 0 到 1 的连续风险评分，该评分源自结构化组件嵌入和推断出的链路，而非原始视觉标记。
标记化安全调节（Tokenized Safety Conditioning）：
- 结构化预测被转换为“安全标记（safety tokens）”，并作为一种显式的中间表示注入到大语言模型（LLM）中。这使得 LLM 在生成响应之前，能够基于推断出的安全状态进行条件化处理。
LLM 推理：
- 使用 Vicuna-7B 作为骨干网络。模型融合了图像标记、区域标记、安全标记和文本标记。LLM 是冻结的，并通过 LoRA 进行领域特定微调以进行适配。

2.2 训练策略

Falcon 采用三个解耦阶段进行训练：

阶段 1（提议学习）： 以类别无关的方式训练 RF-DETR 检测器，以产生高质量的实例掩码和边界框。
阶段 2（结构化多模态对齐）： 冻结检测器和 LLM。训练 SSA 以预测存在性、链路和风险，同时对语言生成和结构化安全预测进行联合监督。
阶段 3（指令微调）： 启用 LLM 中的 LoRA 适配器，以提高指令遵循能力以及结构化预测与生成的解释之间的对齐度。

3. Falcon-X 基准测试

为了评估这一问题，作者引入了 Falcon-X，这是一个包含约 7,000 幅真实双能 X 射线扫描图像（通过反事实构建扩展至约 50,000 幅）的基准测试，其特征是包含惰性的、拆解后的 IED 组件。

独特之处： 不同于现有的数据集（如 SIXray、OPIXray）关注完整的违禁品，Falcon-X 模拟了空间分散的功能组件。
标注： 包括稠密实例落地（边界框和像素级精确掩码）以及针对组件完整性和校准风险的结构化监督。
任务套件： 该基准测试评估了三个层级化的维度：
1. 落地感知（Grounded Perception）： 在重度遮挡下的场景描述、全景分割和指代分割。
2. 组合功能推理（Compositional Functional Reasoning）： 缺失组件识别、功能完整性评分和指代功能落地。
3. 关系一致的安全推理（Relationally Consistent Safety Inference）： 场景风险预测、功能链路估计和逻辑一致性检查。

4. 实验结果

实验将 Falcon 与通用及领域适配的 VLM（如 LISA、Groma、Sting-Bee）在 Falcon-X 上进行了对比。

场景理解与 VQA： Falcon 在标准描述和 VQA 方面的表现与强基准模型持平或略优，表明结构化方法不会降低通用的多模态能力。
组合落地（Compositional Grounding）： Falcon 在**指代功能落地（Referring Functional Grounding, RFG）**方面展现出显著优势，在该任务中，目标是通过功能组成而非外观来定义的。Falcon 的表现比次优基准模型高出 30.38 个 cIoU 点和 40.03 个 mIoU 点。这表明，即使组件在视觉上并不作为一个单一物体呈现，关系型监督对于识别构成威胁的组件也是必不可少的。
安全推理： 虽然组件存在性检测在各模型间趋于饱和（约 98%），但 Falcon 显著降低了场景风险水平和组件链路风险估计的平均绝对误差（MAE）。这证实了结构化建模组件间的相互作用可以提高威胁评估的校准度。
消融实验：
- 移除链路预测头会导致性能大幅下降，这证实了建模关系兼容性是功能落地的主要驱动力。
- Oracle 消融实验显示，虽然感知是一个瓶颈，但推理模块（SSA）提供了巨大的提升空间，验证了结构化状态注入的有效性。

5. 重要性与主张

本文声称，Falcon 将组合式安全推理确立为多模态系统的一个独特评估范式。其主要贡献在于：

形式化： 它将 X 射线图像中的威胁评估定义为落地组件的一种关联属性，而非单纯的物体检测。
基准测试： Falcon-X 是第一个同时支持稠密落地、多模态理解和结构化功能威胁推理的数据集，专门解决了拆解组件带来的挑战。
方法论进步： 通过向 LLM 注入显式的结构化安全状态（存在性、链路、风险），Falcon 超越了隐式注意力机制，实现了关系一致且具备安全意识的推理。

作者总结道，虽然现有模型能够很好地适应 X 射线图像的外观，但在处理分散组件的功能兼容性方面仍显乏力。Falcon 通过将威胁评估从基于隐式注意力的过程转变为结构化推理问题，解决了这一问题，为复杂视觉环境下的安全性分析提供了一种原则性的方法。