Résumé technique : Modèles de langage de grande taille pour la détection des cyberattaques sur les relais de protection des réseaux électriques intelligents

1. Énoncé du problème

Les sous-stations numériques modernes reposent sur des dispositifs en réseau et des échanges de données en temps réel, ce qui introduit d'importantes vulnérabilités en matière de cybersécurité. Un composant critique, le relais différentiel de courant de transformateur de puissance (TCDR), est conçu pour détecter les défauts internes du transformateur en comparant les vecteurs de courant des côtés d'entrée et de sortie. Cependant, les TCDR sont vulnérables aux attaques par injection de fausses données (FDIA). Des acteurs malveillants peuvent manipuler les mesures communiquées via les vulnérabilités des protocoles de communication IEC-61850, provoquant le déclenchement intempestif d'un transformateur de puissance lors d'un fonctionnement normal. Cela entraîne des pannes prolongées et une instabilité potentielle du réseau.

Le défi central réside dans la distinction entre les mesures manipulées (cyberattaques) et les perturbations réelles induites par des défauts. La logique actuelle des TCDR ne peut faire cette distinction. De plus, bien que des études antérieures aient exploré les modèles de langage de grande taille (LLM) pour les applications de réseaux électriques intelligents, elles se sont largement concentrées sur des données de faible dimension, un déploiement basé sur le cloud ou des données textuelles. Il existe une lacune dans l'application des LLM à des mesures de relais de séries temporelles multivariées à haute résolution pour la détection locale et en temps réel des cyberattaques sans compromettre la fiabilité du relais.

2. Méthodologie

Les auteurs proposent un cadre qui adapte des LLM compacts, déployables localement, pour détecter les cyberattaques sur les TCDR en textualisant les mesures de courant multivariées de séries temporelles.

A. Textualisation des données

Le cadre convertit les mesures de courant à six dimensions (provenant de trois phases sur les côtés d'entrée et de sortie du transformateur) en invites (prompts) de langage naturel structurées.

• Structure de l'invite : Un modèle standard est utilisé pour décrire le « vecteur de mesure de courant du relais différentiel du transformateur » pour chaque phase et chaque côté, en y intégrant les valeurs numériques.
• Prétraitement : Les valeurs numériques sont normalisées entre [0, 1], arrondies à trois décimales et formatées en chaînes de caractères de longueur fixe pour assurer une tokenisation cohérente.
• Contraintes de jetons (tokens) : L'entrée est limitée à 512 jetons par échantillon, une limite supportée par des modèles compacts comme DistilBERT, garantissant que la représentation respecte la taille d'entrée du modèle tout en préservant les dépendances temporelles et spatiales (entrée vs sortie).

B. Sélection et entraînement des modèles

Au lieu d'entraîner des modèles à partir de zéro, l'étude utilise l'ajustement fin (fine-tuning) de LLM légers pré-entraînés :

• Modèles : DistilBERT, GPT-2 et une variante de DistilBERT utilisant l'adaptation de bas rang (LoRA).
• Architecture : Ces modèles utilisent des mécanismes d'auto-attention pour capturer les dépendances au sein des données séquentielles. Le processus d'ajustement fin met à jour un sous-ensemble de paramètres (incluant la couche de classification) pour apprendre à distinguer les schémas de défaut et d'attaque.
• Déploiement : Les modèles sont conçus pour s'exécuter localement sur du matériel commercial au sein de la sous-station, éliminant ainsi le besoin d'une infrastructure cloud et garantissant la confidentialité des données.

C. Interprétabilité via les mécanismes d'attention

Une caractéristique clé de la méthodologie est l'utilisation des scores d'auto-attention internes du LLM. En projetant ces scores vers le domaine de la mesure, le cadre met en évidence les régions spécifiques de temps et de phase qui ont le plus influencé la décision de classification. Cela fournit une interprétabilité intrinsèque, permettant aux opérateurs de visualiser quelles parties de la forme d'onde du courant ont déclenché la détection d'attaque.

3. Principales contributions

Le document présente trois contributions majeures :

1. Méthode de textualisation : Une approche novatrice pour convertir les formes d'onde de courant TCDR de haute dimension (192 caractéristiques sur 32 pas de temps) en invites textuelles structurées qui respectent les limites de jetons des LLM compacts, tout en préservant les relations physiques nécessaires à l'analyse des défauts.
2. Déployabilité locale : La démonstration que des LLM légers (DistilBERT, GPT-2) peuvent être ajustés et déployés localement sur du matériel commercial standard, atteignant des temps d'inférence inférieurs à 6 ms. Cela répond aux exigences de synchronisation strictes des relais de protection sans dépendance externe au cloud.
3. Détection transparente : L'introduction d'une méthode de détection qui exploite les mécanismes d'auto-attention pour fournir un raisonnement transparent. Contrairement aux modèles d'apprentissage profond de type « boîte noire », cette approche permet aux ingénieurs d'identifier les étapes temporelles et les phases spécifiques indicatives d'une attaque.

4. Évaluation des performances et résultats

Le cadre a été évalué à l'aide du système de test IEEE PSRC D6 simulé sur la plateforme OPAL-RT HYPERSIM, générant un ensemble de données d'environ 50 000 échantillons étiquetés (défauts et divers scénarios de FDIA).

A. Comparaison avec les références (Baselines)

Dans des conditions nominales, les détecteurs basés sur les LLM ont démontré des performances compétitives ou supérieures par rapport aux références de pointe en apprentissage automatique (ML) et en apprentissage profond (DL) (incluant CNN, LSTM, GRU, SVM, XGBoost, etc.) :

• DistilBERT : A atteint un taux de détection de cyberattaques de 97,62 % avec une spécificité de 100 % (précision parfaite de détection de défaut) et un score F1 de 99,36 %.
• GPT-2 : A atteint un taux de détection de 97,06 %.
• DistilBERT+LoRA : A atteint un taux de détection de 92,31 %.
• Comparaison : Les LLM ont surpassé ou égalé les modèles DL traditionnels (ex. CNN : 96,48 %, GRU : 96,98 %) et ont nettement surpassé des modèles plus simples comme la régression logistique (68,22 %) et le Naive Bayes (69,85 %).

B. Évaluations de la robustesse

• Attaques complexes : Sous une combinaison d'attaques de synchronisation temporelle (TSA) et de FDIA, DistilBERT a maintenu un taux de détection de 97,20 %, comparable aux meilleures références non-LLM.
• Bruit de mesure : Les modèles ont été testés contre un bruit blanc gaussien additif à des rapports signal sur bruit (SNR) allant de 45 dB à 30 dB. Bien que DistilBERT ait montré une certaine dégradation des performances à 30 dB (tombant à 89,61 % de précision), il reste robuste aux SNR élevés typiques des sous-stations modernes. DistilBERT+LoRA et GPT-2 ont montré une plus grande résilience au bruit dans cette configuration spécifique.
• Sensibilité de l'invite (Prompt) : Une étude d'ablation sur les variations d'invites (formulation, structure et suppression des identifiants sémantiques) a montré que les modèles sont robustes aux changements linguistiques, maintenant une précision supérieure à 99 %. Cependant, la suppression des identifiants de domaine explicites (étiquettes de phase/côté) a légèrement réduit le rappel, indiquant la valeur du contexte sémantique.

C. Performance en temps réel

Sur une station de travail commerciale (Intel Core i9, NVIDIA RTX 4060), le temps d'inférence moyen était de 5,39 ms par échantillon. Cela correspond à environ 0,32 cycle à 60 Hz, satisfaisant les exigences de décision infra-cyclique des TCDR.

5. Signification et affirmations

L'article affirme que les LLM compacts, déployables localement, offrent une solution pratique, interprétable et robuste pour renforcer la détection des cyberattaques dans les sous-stations numériques modernes.

• Praticité : La capacité d'ajuster et d'exécuter ces modèles sur du matériel commercial standard sans dépendance au cloud répond aux contraintes de latence et de sécurité des infrastructures critiques.
• Interprétabilité : L'utilisation des mécanismes d'attention offre un niveau de transparence absent des modèles d'apprentissage profond conventionnels, favorisant la confiance des opérateurs dans les décisions automatisées.
• Résilience : Le cadre distingue efficacement les manipulations malveillantes des défauts physiques réels, préservant la fiabilité du système de protection.

Les auteurs reconnaissent que, bien que le cadre améliore la détection, il introduit de nouvelles surfaces d'attaque potentielles (ex. apprentissage automatique adversarial, empoisonnement de modèle). Ils soulignent la nécessité de déployer ces modèles dans des réseaux isolés (air-gapped) avec une authentification cryptographique et des mesures de robustesse adversariale. L'étude conclut que si les résultats actuels sont prometteurs, les travaux futurs devraient se concentrer sur la conception d'architectures résilientes aux attaques adversariales et sur l'optimisation du compromis coût-bénéfice du déploiement.