💻 computer science

FOCA: Multimodal Malware Classification via Hyperbolic Cross-Attention

Cet article présente FOCA, un nouveau cadre de classification de malwares multimodal qui transforme les binaires en représentations audio et visuelles et exploite l'espace hyperbolique avec des mécanismes d'attention croisée pour capturer les relations hiérarchiques intrinsèques, atteignant ainsi des performances de pointe sur des ensembles de données de référence.

Auteurs originaux : Nitin Choudhury, Bikrant Bikram Pratap Maurya, Orchid Chetia Phukan, Arun Balaji Buduru

Publié 2026-01-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nitin Choudhury, Bikrant Bikram Pratap Maurya, Orchid Chetia Phukan, Arun Balaji Buduru

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'identifier un type spécifique de criminel (un « malware » ou un virus) caché à l'intérieur d'un fichier informatique. Traditionnellement, les experts en sécurité ont examiné ces fichiers comme un détective lisant une liste d'ingrédients (le code brut). Mais les hackers sont astucieux ; ils dissimulent souvent leurs ingrédients pour que le détective ne puisse pas les reconnaître.

Les chercheurs de ce document, FOCA, ont décidé d'essayer une approche différente. Au lieu de simplement lire le code, ils ont transformé le fichier en deux types d'expériences sensorielles différents : une chanson (audio) et une image (visuelle).

Voici comment leur système fonctionne, expliqué simplement :

1. Transformer le code en sensations

Considérez un fichier informatique comme une longue chaîne de nombres.

L'approche audio : Ils ont transformé ces nombres en ondes sonores. C'est comme écouter le fichier. Certains motifs peuvent ressembler à un battement de tambour régulier, tandis que d'autres ressemblent à des bruits statiques chaotiques. Cela aide à capturer des indices minuscules et détaillés au niveau de l'octet (« byte-level »).
L'approche visuelle : Ils ont transformé ces mêmes nombres en une image. Imaginez prendre les nombres et les peindre dans une grille de couleurs. Cela crée une « carte » qui montre la structure et la forme globale du fichier.

2. Le problème du mélange

Habituellement, lorsque vous essayez de combiner une chanson et une image pour résoudre un puzzle, vous les mélangez simplement. Les chercheurs ont réalisé que c'est comme essayer de mélanger de l'huile et de l'eau ; elles ne se mélangent pas bien car elles ont des « formes » ou des structures différentes.
Dans le monde informatique, la plupart des systèmes utilisent l'espace euclidien (pensez à une carte plate, aux lignes droites). Sur une carte plate, il est difficile de montrer comment une chose est « à l'intérieur » ou « au-dessus » d'une autre dans une hiérarchie complexe. Mais un malware possède une hiérarchie cachée : les détails sonores minuscules sont la fondation, et les grands motifs visuels sont le toit.

3. La solution : Une carte courbe (Espace hyperbolique)

Pour résoudre ce problème de mélange, FOCA utilise un tour mathématique spécial appelé Espace Hyperbolique.

L'analogie : Imaginez une carte plate (euclidienne) contre un entonnoir ou un récif de corail (hyperbolique). Une carte plate devient vite encombrée si vous essayez de dessiner un arbre avec de nombreuses branches. Un entonnoir, en revanche, s'élargit à mesure que l'on sort, laissant suffisamment de place pour que chaque branche puisse siéger confortablement sans se toucher.
Le bénéfice : Cet espace « courbe » est parfait pour montrer la relation entre l'audio (les petits détails) et le visuel (la grande structure). Il respecte l'« arbre généalogique » naturel des données.

4. Le mécanisme de « Cross-Attention »

Une fois les données sur cette carte courbe, FOCA utilise un mécanisme de Cross-Attention Hyperbolique.

L'analogie : Imaginez que vous avez un détective écoutant une chanson et regardant une photo. Dans un système normal, ils pourraient se couvrir la voix mutuellement. Dans FOCA, ils disposent d'un « traducteur » spécial qui les aide à se concentrer exactement sur les bonnes parties de la chanson qui correspondent aux bonnes parties de la photo.
Ce traducteur garantit que les indices audio et visuels s'alignent parfaitement, même s'ils se trouvent sur cette carte courbe en forme d'entonnoir.

5. Les résultats

Les chercheurs ont testé ce système sur deux vastes collections de fichiers malveillants connus (appelées Mal-Net et CICMalDroid2020).

Le résultat : FOCA était meilleur pour repérer les mauvais fichiers que :
- Les systèmes qui n'écoutaient que l'audio.
- Les systèmes qui ne regardaient que les images.
- Les systèmes qui tentaient de mélanger l'audio et les images en utilisant les anciennes méthodes de cartes « plates ».
En fait, il est devenu le nouveau standard de référence (State-of-the-Art) pour ces tests spécifiques.

Résumé

En bref, FOCA est une nouvelle façon de capturer les virus informatiques. Au lieu de simplement lire le code, il transforme le code en musique et en art. Il utilise ensuite une carte mathématique courbe spéciale pour aider la musique et l'art à se comprendre parfaitement, menant à un garde de sécurité beaucoup plus intelligent et précis que ceux que nous avons connus jusqu'à présent.

Note : Le document affirme que cette méthode fonctionne spécifiquement pour la classification de malwares sur ces deux ensembles de données. Il ne prétend pas fonctionner sur d'autres types de données ou dans d'autres scénarios réels en dehors de ce contexte spécifique.

Résumé Technique : FOCA – Classification de Malware Multimodale via l'Attention Croisée Hyperbolique

Énoncé du Problème
La classification de malwares fait face à un défi persistant de type « chat et la souris » où les attaquants utilisent l'obfuscation et le polymorphisme pour échapper aux défenses traditionnelles basées sur les signatures. Bien que les approches d'apprentissage automatique et d'apprentissage profond aient amélioré la détection, elles peinent souvent face à l'évolution des menaces. Des recherches récentes ont exploré la conversion de fichiers binaires bruts en modalités alternatives, telles que l'image (visuelle) et l'audio (formes d'onde), afin de tirer parti de modèles pré-entraînés. Cependant, les méthodes de fusion multimodales existantes reposent généralement sur l'espace euclidien, ce qui ne permet pas de capturer les relations hiérarchiques intrinsèques entre les différentes modalités de données. Plus précisément, alors que les représentations audio peuvent encoder des caractéristiques granulaires au niveau de l'octet, les représentations visuelles capturent des motifs structurels de plus haut niveau, les stratégies de fusion actuelles (par exemple, la simple concaténation ou l'attention croisée standard) ne modélisent pas explicitement cette hiérarchie, limitant ainsi leur potentiel de robustesse pour la classification.

Méthodologie
Les auteurs proposent FOCA (FusiOn with Hyperbolic Cross-Attention), un cadre conçu pour fusionner les modalités audio et visuelle au sein d'un espace hyperbolique afin de mieux modéliser leurs dépendances hiérarchiques. La méthodologie se déroule selon les étapes suivantes :

Transformation Binaire-en-X :
- Modalité Audio : Les séquences d'octets bruts des fichiers APK-dex sont mappées en échantillons de formes d'onde de séries temporelles continues (fichiers .wav).
- Modalité Visuelle : Les octets bruts sont traités comme des entiers non signés (0–255), concaténés en un tableau 1D, puis remodelés en matrices 2D où l'en-tête, les données et les sections restantes sont mappés sur des canaux RGB, créant ainsi des représentations d'images.
Extraction de Représentation :
- Audio : Des modèles pré-entraînés (PTM) de pointe (SOTA) — Wav2vec2, WavLM et HuBERT — sont utilisés pour extraire des plongements (embeddings) de 768 dimensions via un mean pooling de leurs dernières couches cachées.
- Visuel : Des PTM de vision SOTA — ResNet50, VGG19 et ViT — sont utilisés pour extraire des plongements (2048, 4096 ou 768 dimensions) via un average pooling.
- Traitement Unimodal : Les caractéristiques extraites passent par une architecture basée sur un CNN (deux couches 1D-CNN avec max pooling) avant d'entrer dans le module de fusion.
Fusion Hyperbolique (Cœur de FOCA) :
- Projection Hyperbolique : Les caractéristiques euclidiennes sont projetées dans la boule de Poincaré ( $B^d$ ) en utilisant la carte exponentielle à l'origine.
- Attention Croisée Hyperbolique (HCA) : Un mécanisme novateur aligne les modalités audio et visuelle. Contrairement à l'attention standard, la HCA calcule les poids d'attention en utilisant la distance hyperbolique ( $d_H$ ) dans la boule de Poincaré, assurant un alignement sensible à la courbure des requêtes (queries), clés (keys) et valeurs (values).
- Fusion de Möbius : Les valeurs attendues sont agrégées en utilisant l'addition de Möbius ( $\oplus_H$ ) et la multiplication scalaire ( $\otimes_H$ ), des opérations spécifiques à la géométrie hyperbolique. La représentation finale fusionnée est ramenée à l'espace euclidien via la carte logarithmique pour la classification.

Principales Contributions
L'article revendique trois contributions principales :

Première Exploration de la Hiérarchie : C'est la première étude qui explore et modélise explicitement la relation hiérarchique entre les modalités audio (granulaire) et visuelle (structurelle) pour la classification de malwares.
Cadre Novateur (FOCA) : La proposition d'un cadre multimodal qui exploite l'espace hyperbolique pour fusionner ces modalités, introduisant un mécanisme d'Attention Croisée Hyperbolique et une couche de fusion basée sur l'addition de Möbius.
Supériorité Empirique : Des expériences approfondies démontrent que FOCA surpasse systématiquement les modèles unimodaux et les bases de comparaison multimodales basées sur l'espace euclidien (y compris la simple concaténation et l'attention croisée standard), établissant de nouvelles performances de pointe (SOTA).

Résultats Expérimentaux
Le cadre a été évalué sur deux ensembles de données de référence : Mal-Net (filtré à 8 000 échantillons sur 10 classes) et CICMalDroid2020 (17 341 échantillons sur 5 classes).

Performance : FOCA a obtenu les scores de précision et de macro-F1 les plus élevés pour toutes les configurations testées.
- Sur CICMalDroid2020, la meilleure configuration (HuBERT $\oplus_H$ ViT) a atteint 99,10 % de précision et 98,85 % de macro-F1, surpassant le précédent SOTA (Yang et al.) qui rapportait 98,52 % de précision.
- Sur Mal-Net, la meilleure configuration a atteint 82,84 % de précision, surpassant les précédents SOTA (Samaneh et al. à 41,73 % et Scott et al. à 70,12 %).
Analyse Comparative :
- FOCA a systématiquement surpassé les bases de concaténation simple et d'attention croisée euclidienne.
- Les visualisations t-SNE indiquent que FOCA produit des clusters plus distincts et compacts par rapport à l'attention croisée euclidienne, suggérant une meilleure séparation des familles de malwares.
- Parmi les bases unimodales, les représentations audio ont généralement surpassé les représentations d'images, bien qu'aucun modèle audio unique ne domine sur les deux ensembles de données.

Signification et Revendications
Les auteurs positionnent ce travail comme une étape pionnière dans la classification de malwares en jetant un pont entre la modélisation des relations hiérarchiques et les approches sensibles à la géométrie. Ils affirment que FOCA est la première étude à exploiter l'espace hyperbolique pour la fusion de représentations multimodales dans la classification de malwares. En allant au-delà des contraintes euclidiennes, le cadre offre un avantage de principe pour aligner des modalités ayant différents niveaux d'abstraction. Ce travail établit la fusion multimodale hyperbolique comme une nouvelle direction prometteuse pour le domaine, offrant une solution robuste capable de s'adapter à la nature évolutive des menaces de malwares. Le code et les modèles entraînés sont rendus publics pour soutenir la reproductibilité.