💻 computer science

FOCA: Multimodal Malware Classification via Hyperbolic Cross-Attention

本文介绍了 FOCA，一种新颖的多模态恶意软件分类框架，该框架将二进制文件转换为音频和视觉表示，并利用具有交叉注意力机制的双曲空间来捕捉内在的层级关系，在基准数据集上实现了最先进的性能。

原作者： Nitin Choudhury, Bikrant Bikram Pratap Maurya, Orchid Chetia Phukan, Arun Balaji Buduru

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Nitin Choudhury, Bikrant Bikram Pratap Maurya, Orchid Chetia Phukan, Arun Balaji Buduru

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一份计算机文件中识别出一种特定的犯罪分子（即“恶意软件”或病毒）。传统上，安全专家在查看这些文件时，就像侦探在阅读一份成分清单（原始代码）。但黑客非常聪明；他们经常伪装这些成分，让侦探无法识别。

这篇论文中的研究人员开发了 FOCA，他们决定尝试一种不同的方法。他们不再仅仅是阅读代码，而是将文件转化为两种不同类型的感官体验：一首歌曲（音频）和一幅画作（视觉）。

以下是他们的系统运作方式的简单解释：

1. 将代码转化为感官

把计算机文件想象成一串很长的数字。

音频方法： 他们将这些数字转化为声波。这就像是在“聆听”这个文件。某些模式听起来可能像稳定的鼓点，而另一些则像是混乱的静电噪声。这有助于捕捉微小的、细节层面的“字节级”线索。
视觉方法： 他们将同样的数字转化成了一幅画。想象一下，你将这些数字涂抹成一个色彩网格。这创造了一个显示文件大局结构和形状的“地图”。

2. 混合它们时遇到的问题

通常，当你试图结合一首歌和一幅画来解开一个谜题时，你只是将它们强行混合在一起。研究人员意识到，这就像试图将油和水混合一样；它们融合得并不好，因为它们具有不同的“形状”或结构。

在计算机世界中，大多数系统使用欧几里得空间（可以理解为一个平坦的、直线型的地图）。在平坦的地图上，很难展示一个事物是如何处于另一个事物的“内部”或“上方”这种复杂的层级关系中的。但恶意软件隐藏着一个层级结构：微小的声音细节是基础，而宏大的视觉模式则是屋顶。

3. 解决方案：一种弯曲的地图（双曲空间）

为了解决混合问题，FOCA 使用了一种被称为双曲空间的特殊数学技巧。

类比： 想象一张平坦的地图（欧几里得空间）对比一个漏斗或一个珊瑚礁（双曲空间）。如果你试图在一张平坦的地图上画一棵拥有许多分枝的树，空间很快就会变得拥挤。然而，一个漏斗状的结构会随着向外延伸而变得越来越宽，从而为每一个分枝提供充足的空间，让它们舒适地坐落在那里而不会互相碰撞。
益处： 这种“弯曲”的空间非常适合展示音频（微观细节）与视觉（宏观结构）之间的关系。它尊重数据的自然“家族树”属性。

4. “交叉注意力”机制

一旦数据进入了这个弯曲的地图，FOCA 就会使用一种**双曲交叉注意力（Hyperbolic Cross-Attention）**机制。

类比： 想象你有一位侦探，他一边听着一首歌，一边看着一张照片。在普通的系统中，他们可能会互相盖过对方的声音。在 FOCA 中，他们拥有一个特殊的“翻译官”，帮助他们精准地聚焦于歌曲中与照片相匹配的部分。
这个翻译官确保音频和视觉线索能够完美对齐，即使它们处于那个弯曲的、漏斗形状的地图上。

5. 结果

研究人员在两个巨大的已知恶意软件集合（称为 Mal-Net 和 CICMalDroid2020）上测试了这个系统。

结果： FOCA 在识别坏文件方面表现得比以下系统更出色：
- 仅通过“聆听”音频的系统。
- 仅通过“观察”图像的系统。
- 试图使用旧有的、“平坦”地图方法来混合音频和图像的系统。
事实上，它成为了这些特定测试中的新一代最优水平（State-of-the-Art）。

总结

简而言之，FOCA 是一种捕捉计算机病毒的新方法。它不再仅仅是阅读代码，而是将代码转化为音乐和艺术。然后，它使用一种特殊的弯曲数学地图，帮助音乐和艺术完美地理解彼此，从而成为比以往任何时候都更聪明、更准确的安全卫士。

注：该论文声称此方法专门用于分类这两个数据集中的恶意软件。它并未声称能适用于其他类型的数据或此特定背景之外的其他现实场景。

技术摘要：FOCA —— 基于双曲交叉注意力的多模态恶意软件分类

问题陈述
恶意软件分类面临着持久的“猫鼠游戏”挑战，攻击者利用混淆和多态技术来规避传统的基于特征码的防御。虽然机器学习和深度学习方法提高了检测能力，但它们往往难以应对不断演变的威胁。近期的研究探索了将原始二进制文件转换为替代模态（如视觉图像和音频波形）的方法，以利用预训练模型。然而，现有的多模态融合方法通常依赖于欧几里得空间，这无法捕捉不同数据模态之间内在的层级关系。具体而言，虽然音频表示可能编码了细粒度的字节级特征，而视觉表示则捕捉了更高层级的结构模式，但目前的融合策略（例如简单的拼接或标准交叉注意力）并未显式地建模这种层级结构，从而限制了其稳健分类的潜力。

方法论
作者提出了 FOCA（基于双曲交叉注意力的融合框架），该框架旨在双曲空间内融合音频和视觉模态，以更好地建模它们的层级依赖关系。该方法论通过以下阶段进行：

二进制到 X 的转换（Binary-to-X Transformation）：
- 音频模态： 将来自 APK-dex 文件的原始字节序列映射为连续的时间序列波形样本（.wav 文件）。
- 视觉模态： 将原始字节视为无符号整数（0–255），连接成一维数组，并重塑为二维矩阵，其中头部、数据和剩余部分分别映射到 RGB 通道，从而创建图像表示。
表示提取：
- 音频： 使用最先进的（SOTA）预训练模型（PTMs）——Wav2vec2、WavLM 和 HuBERT，通过对最后一层隐藏层进行平均池化来提取 768 维嵌入。
- 视觉： 使用 SOTA 视觉预训练模型（PTMs）——ResNet50、VGG19 和 ViT，通过平均池化提取嵌入（维度分别为 2048、4096 或 768）。
- 单模态处理： 提取的特征通过一个基于 CNN 的架构（包含两个带有最大池化的 1D-CNN 层）进入融合模块。
双曲融合（FOCA 核心）：
- 双曲投影： 使用原点处的指数映射将欧几里得特征投影到庞加莱球（Poincaré ball, $B^d$ ）中。
- 双曲交叉注意力（HCA）： 一种新型机制，用于对齐音频和视觉模态。与标准注意力不同，HCA 在庞加莱球中使用双曲距离（ $d_H$ ）计算注意力权重，确保查询（Query）、键（Key）和值（Value）的曲率感知对齐。
- 莫比乌斯融合（Möbius Fusion）： 被注意力的值通过莫比乌斯加法（ $\oplus_H$ ）和标量乘法（ $\otimes_H$ ）进行聚合，这些是双曲几何特有的运算。最终融合的表示通过对数映射映射回欧几里得空间进行分类。

核心贡献
论文声称其主要贡献有三点：

首次探索层级关系： 这是首个明确探索并建模恶意软件分类中音频（细粒度）与视觉（结构化）模态之间层级关系的项研究。
新颖框架（FOCA）： 提出了一个利用双曲空间融合这些模态的多模态框架，引入了双曲交叉注意力机制和基于莫比乌斯加法的融合层。
经验优越性： 大量实验表明，FOCA 一致地优于单模态模型和基于欧几里得空间的多种多模态基准模型（包括简单拼接和标准交叉注意力），确立了新的最先进（SOTA）性能。

实验结果
该框架在两个基准数据集上进行了评估：Mal-Net（过滤后包含 10 个类别的 8,000 个样本）和 CICMalDroid2020（包含 5 个类别的 17,341 个样本）。

性能： FOCA 在所有测试配置中均取得了最高的准确率和宏 F1 分数（macro-F1）。
- 在 CICMalDroid2020 上，最佳配置（HuBERT $\oplus_H$ ViT）达到了 99.10% 的准确率和 98.85% 的宏 F1 分数，超过了此前报告 98.52% 准确率的 SOTA（Yang 等人）。
- 在 Mal-Net 上，最佳配置达到了 82.84% 的准确率，优于之前的 SOTA（Samaneh 等人为 41.73%，Scott 等人为 70.12%）。
对比分析：
- FOCA 一致地优于简单拼接和欧几里得交叉注意力基准模型。
- t-SNE 可视化表明，与欧几里得交叉注意力相比，FOCA 产生了更清晰且更紧凑的聚类，这表明其对恶意软件家族的分离效果更好。
- 在单模态基准模型中，音频表示通常优于视觉图像表示，尽管没有任何一种音频模型能在两个数据集上都占据绝对主导地位。

意义与主张
作者将这项工作定位为通过将层级关系建模与几何感知方法相结合，在恶意软件分类领域迈出的先驱性一步。他们声称 FOCA 是首个利用双曲空间进行恶意软件分类中多模态表示融合的研究。通过超越欧几里得约束，该框架为对齐具有不同抽象层级的模态提供了原则性的优势。这项工作确立了双曲多模态融合作为该领域一个极具前景的新方向，为应对不断变化的恶意软件威胁提供了稳健的解决方案。代码和训练好的模型已公开，以支持复现性。