Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field

Ce papier présente Kraken, la première attaque par canal auxiliaire EM de haut niveau capable d'extraire les paramètres des cœurs Tensor des GPU via une analyse de corrélation de puissance en champ proche, tout en démontrant la fuite d'informations des LLMs à travers des obstacles jusqu'à 100 cm en champ lointain.

L'essentiel

Voici une explication simplifiée de l'article scientifique "Kraken", imagée comme une histoire d'espionnage technologique.

🕵️‍♂️ L'Histoire : Le Grand Vol de Cerveaux Numériques

Imaginez que les entreprises investissent des millions de dollars pour entraîner des intelligences artificielles (IA) ultra-puissantes, comme des modèles de langage (LLM). Ces IA sont leurs secrets les mieux gardés, leur "or noir". Si quelqu'un vole le modèle, il vole le cerveau de l'entreprise.

Jusqu'à présent, les voleurs essayaient de pirater les serveurs à distance (via internet). Mais les auteurs de cet article, surnommés "Kraken", ont trouvé une nouvelle méthode : écouter les secrets de l'IA en l'écoutant travailler, sans même toucher à l'ordinateur.

🔍 Le Concept de Base : Le "Bruit" qui trahit tout

Quand un ordinateur (plus précisément une carte graphique ou GPU) effectue des calculs complexes pour faire fonctionner une IA, il consomme de l'énergie et émet de petites ondes invisibles (des rayonnements électromagnétiques), un peu comme une radio qui chuchote.

Les chercheurs ont découvert que ces chuchotements contiennent des informations sur les poids (les paramètres secrets) de l'IA. C'est comme si, en écoutant le bruit d'une machine à écrire, vous pouviez deviner le texte qu'elle écrit.

🚀 Les Trois Innovations Majeures

L'article présente trois astuces incroyables pour voler ces secrets :

1. L'Espionnage "Super-Haut de Gamme" (Les Cœurs Tensor)

Avant, les espions regardaient les parties "générales" de la carte graphique (les cœurs CUDA). Mais les IA modernes utilisent des pièces spéciales et ultra-rapides appelées Tensor Cores.

• L'analogie : C'est comme si les voleurs regardaient le moteur principal d'une voiture, alors que le vrai secret se trouvait dans le turbo.
• La solution : Kraken a appris à écouter spécifiquement ces "Turbos" (Tensor Cores). Ils ont créé une carte thermique (un plan) de la puce pour savoir exactement où placer leur oreille électronique.

2. L'Écoute en Groupe (Le Modèle "Warp")

Sur une carte graphique, les calculs ne sont pas faits un par un, mais par des groupes de 32 threads (appelés "warps") qui travaillent en même temps.

• L'analogie : Imaginez un chœur de 32 chanteurs. Si vous écoutez un seul chanteur, c'est difficile de comprendre la mélodie à cause du bruit. Mais si vous écoutez le groupe entier en même temps, la mélodie devient claire.
• La solution : Au lieu d'écouter un seul calcul, Kraken écoute le "chant" de tout le groupe. Cela rend l'espionnage beaucoup plus rapide et précis.

3. Le Vol à Distance (Le Champ Lointain)

C'est la partie la plus surprenante. D'habitude, pour espionner une puce, il faut coller une sonde directement dessus (très difficile et risqué).

• L'analogie : C'est comme essayer d'entendre ce qu'une personne dit dans une pièce à travers un mur, ou même à travers une vitre, à 100 mètres de distance.
• La solution : Les chercheurs ont prouvé qu'ils pouvaient capter les secrets d'une IA (un modèle Llama 3) en utilisant une antenne spéciale placée à 100 cm de l'ordinateur, à travers une vitre. C'est le premier vol de ce type démontré à cette distance.

🧠 Comment ça marche concrètement ?

1. Le Cible : Une IA qui répond à des questions (comme ChatGPT).
2. L'Action : L'IA calcule une réponse. Pendant ce temps, elle émet des ondes.
3. La Capture : Une antenne capte ces ondes.
4. Le Décryptage : Les chercheurs utilisent des mathématiques (appelées "Analyse de Corrélation") pour relier les variations de l'onde aux chiffres secrets (les poids) de l'IA.
5. Le Résultat : Ils réussissent à reconstruire une partie du cerveau de l'IA, même si elle est protégée par des verres et des murs.

⚠️ Pourquoi c'est important ?

• Pour les voleurs : C'est une nouvelle façon de voler la propriété intellectuelle sans avoir besoin de hacker le code informatique.
• Pour les défenseurs : Cela montre que protéger un logiciel ne suffit plus. Il faut aussi protéger le matériel physique (les cartes graphiques) contre les écoutes électromagnétiques, peut-être en les mettant dans des boîtes blindées (comme des cages de Faraday).

En Résumé

L'article "Kraken" nous dit : "Même si votre IA est bien protégée sur le plan logiciel, son corps physique (la carte graphique) crie ses secrets à tout le monde, même à travers une vitre, si vous savez comment écouter."

C'est une démonstration puissante que la sécurité de l'IA doit désormais inclure la sécurité physique de ses composants.

Résumé technique

Voici un résumé technique détaillé de l'article "Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field" en français.

1. Problématique et Contexte

Les modèles d'apprentissage automatique (ML), en particulier les grands modèles de langage (LLM) et les réseaux de neurones profonds (DNN), représentent un investissement considérable (souvent des millions de dollars) et constituent une propriété intellectuelle (PI) critique. Le vol de ces modèles est une menace majeure.

Bien que le vol de modèles via des API (attaques par requêtes) soit bien documenté, il est souvent limité par des mécanismes de défense comme la limitation de débit (rate limiting) ou le bruit ajouté. Les attaques par canaux auxiliaires physiques (Side-Channel Analysis - SCA) offrent une voie alternative. Cependant, les travaux précédents se sont principalement concentrés sur :

• Les cœurs CUDA généraux des GPU, et non sur les unités Tensor Cores spécialisées (devenues la norme pour les performances).
• Des attaques en champ proche (Near-Field), nécessitant un accès physique direct et souvent invasif.
• Des modèles de fuite basés sur des threads individuels, ne tenant pas compte de l'architecture parallèle massive des GPU.

L'objectif de cet article est de démontrer la faisabilité de l'extraction de paramètres (poids) de DNNs, y compris des LLMs, en exploitant les fuites électromagnétiques (EM) des Tensor Cores, tant en champ proche qu'en champ lointain, en utilisant des attaques d'ordre supérieur.

2. Méthodologie

Les auteurs proposent une approche en deux volets : une attaque en champ proche pour valider des modèles de fuite précis, et une attaque en champ lointain pour démontrer la vulnérabilité à distance.

A. Modélisation de la Fuite (Leakage Models)

Contrairement aux travaux antérieurs qui analysaient la consommation d'énergie d'un seul thread, les auteurs développent deux modèles adaptés à l'architecture GPU :

1. Modèle de fuite au niveau des Warps (Warp-level) : Les GPU exécutent des threads par groupes de 32 appelés "warps". Les auteurs modélisent la consommation énergétique comme la somme des fuites de tous les threads d'un warp exécutant la même instruction (ex: IMMA ou HMMA sur les Tensor Cores). Cela permet de capturer l'effet d'agrégation des fuites et de réduire le bruit.
2. Attaque d'Ordre Supérieur (Higher-order Attack) : Dans les DNNs, un même poids est utilisé pour calculer de multiples produits scalaires avec différentes entrées au sein d'une même trace ou entre plusieurs traces. Les auteurs combinent ces fuites temporelles multiples (via des fonctions de combinaison comme la somme ou le carré de la somme) pour renforcer le signal et accélérer la convergence de l'attaque, sans nécessiter de masquage cryptographique à contourner.

B. Attaque en Champ Proche (Near-Field)

• Cible : Une puce NVIDIA Jetson Orin Nano.
• Technique : Utilisation d'une sonde électromagnétique placée directement au-dessus des sous-partitions des Streaming Multiprocessors (SM) identifiés par imagerie infrarouge.
• Objectif : Valider les modèles de fuite (Warp-level et Higher-order) sur une CNN simple (2 couches) utilisant des instructions Tensor Core (IMMA.16816.S8.S8).

C. Attaque en Champ Lointain (Far-Field)

• Cible : Un GPU grand public NVIDIA RTX 4090 exécutant un LLM (Llama 3.2 1B).
• Configuration : Mesure des émissions EM à 25 cm et 100 cm (à travers une vitre) à l'aide d'une antenne Vivaldi et d'un Radio Défini par Logiciel (SDR).
• Stratégie : L'attaque cible la fréquence d'horloge du cœur du GPU (environ 2,565 GHz) qui est modulée par les données (poids). Les auteurs utilisent une technique d'échantillonnage "Zero-IF" pour downconverter le signal.
• Réduction de complexité : Pour les LLMs, les entrées (embeddings) sont fixes. Les auteurs proposent une méthode pour isoler un poids spécifique en fixant les autres termes de la somme (partie $s_2$ de l'équation de produit scalaire), réduisant ainsi la complexité de l'attaque CPA (Correlation Power Analysis) de 128 bits à environ 44 bits par poids.

3. Contributions Clés

1. Première extraction sur Tensor Cores : C'est la première démonstration d'extraction de paramètres via des attaques par canal auxiliaire ciblant spécifiquement les unités Tensor Core (utilisées par les LLMs modernes), et non les cœurs CUDA génériques.
2. Modèles de fuite avancés : Introduction d'un modèle de fuite au niveau du "warp" (plus précis que le modèle par thread) et d'une attaque d'ordre supérieur spécifique aux DNNs, exploitant la réutilisation des poids sur différentes entrées.
3. Attaque en champ lointain sur LLM : Première preuve de concept d'extraction de poids d'un LLM à distance (jusqu'à 100 cm à travers une vitre) via des émissions électromagnétiques.
4. Analyse de la quantification : Démonstration que les schémas de quantification (affine, par blocs) peuvent déjà révéler des informations sur les poids avant même le début de l'attaque par canal auxiliaire.

4. Résultats

• Champ Proche :
  • L'approche au niveau du warp réduit considérablement le nombre de traces nécessaires par rapport aux travaux précédents (BarraCUDA). Là où il fallait des millions de traces, 100 000 traces suffisent pour extraire les poids.
  • L'attaque d'ordre supérieur (combinant 2 ou 3 fuites de warps) permet d'atteindre le rang de clé 0 (extraction parfaite) en seulement 10 000 traces.
• Champ Lointain :
  • Les auteurs ont réussi à détecter des fuites liées aux poids et aux hyperparamètres (comme le nombre de tokens générés ou la taille du lot) à 100 cm de distance, même à travers une vitre.
  • Bien que l'extraction complète de tous les poids d'un LLM soit encore difficile en champ lointain en raison du bruit et de la complexité calculatoire, une attaque de preuve de concept a permis d'extraire le 8ème poids d'une matrice de projection (Wq, Wk, Wv) en utilisant 2 millions de traces et en supposant la connaissance des 7 premiers poids.
  • L'attaque fonctionne même lorsque la fréquence du GPU change dynamiquement (Boost Clock), car le signal à la fréquence de base (2,565 GHz) conserve une corrélation avec les données.

5. Signification et Implications

• Sécurité des LLMs : Ce travail révèle une nouvelle surface d'attaque critique pour les modèles de langage déployés sur du matériel grand public ou professionnel. Même si l'attaque en champ lointain est actuellement une preuve de concept, elle démontre que la confidentialité des poids n'est pas garantie par la simple distance physique.
• Architecture GPU : Les résultats montrent que les optimisations de performance (Tensor Cores, parallélisme massif) introduisent des vulnérabilités physiques spécifiques qui nécessitent de nouveaux modèles de défense.
• Défense : Les auteurs suggèrent que le blindage métallique (shielding) est la contre-mesure la plus efficace pour les attaques en champ lointain, tandis que le masquage (masking) ou le brouillage (shuffling) sont nécessaires pour les attaques en champ proche.
• Limites : L'attaque en champ lointain nécessite encore des ressources computationnelles importantes et un grand nombre de traces. De plus, les attaques par entrée choisie (nécessaires pour certaines stratégies) sont difficiles à réaliser sur les LLMs car les embeddings d'entrée sont souvent fixes.

En conclusion, l'article "Kraken" établit un nouveau standard dans l'analyse des canaux auxiliaires pour les DNNs, prouvant que les architectures GPU modernes, conçues pour la vitesse, sont intrinsèquement vulnérables à l'extraction de secrets via des émissions électromagnétiques, même à distance.