FPGA-Enabled Machine Learning Applications in Earth Observation: A Systematic Review

Cette revue systématique analyse 68 expériences de déploiement de modèles d'apprentissage automatique sur des FPGA pour l'observation de la Terre, en proposant deux taxonomies distinctes pour les architectures de modèles et les stratégies d'implémentation, tout en suivant les directives PRISMA 2020 pour assurer la transparence et la reproductibilité.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en parlions autour d'un café.

🌍 Le Problème : Trop d'images, pas assez de temps

Imaginez que vous avez des milliers de caméras spatiales et de drones qui tournent autour de la Terre. Ils prennent des photos incroyablement détaillées : forêts, villes, navires, nuages... C'est une véritable avalanche de données.

Le problème ? Le "tuyau" qui renvoie ces photos vers la Terre est trop petit.
C'est comme essayer de faire passer un éléphant (les données) par un trou de serrure (la connexion internet satellite). Si on envoie tout, on sature le réseau, on perd du temps, et on ne peut pas réagir vite en cas d'urgence (comme un incendie ou une inondation).

De plus, ces petits satellites et drones ont très peu de batterie et de place pour des ordinateurs puissants. Ils ne peuvent pas attendre de renvoyer les photos à la Terre pour les analyser. Ils doivent décider tout de suite : "Est-ce que cette photo est utile ?" ou "Y a-t-il un navire suspect ici ?".

🧠 La Solution : L'Intelligence Artificielle (IA) sur place

Pour résoudre ce problème, les chercheurs veulent installer un "cerveau" (une IA) directement sur le satellite ou le drone. Ainsi, la machine regarde la photo, la comprend, et ne renvoie à la Terre que l'essentiel (ex: "Attention, incendie détecté !").

Mais il y a un hic : les puces classiques (comme dans nos téléphones ou ordinateurs) sont soit trop gourmandes en énergie, soit pas assez flexibles pour l'espace.

🛠️ L'Héroïne de l'histoire : Le FPGA

C'est ici qu'intervient le FPGA (Field-Programmable Gate Array). Pour faire simple, imaginez-le comme un Lego électronique ultra-puissant.

• Un processeur classique (CPU/GPU) est comme un couteau suisse : il fait beaucoup de choses, mais il est lourd et consomme beaucoup d'énergie pour chaque tâche.
• Le FPGA est comme une boîte de Lego vide. Avant de partir en mission, vous construisez exactement la machine dont vous avez besoin. Vous assemblez les briques pour créer un "détecteur de nuages" ou un "chasseur de navires". Une fois construit, il est spécialisé, ultra-rapide et consomme très peu d'énergie.

Si la mission change (par exemple, on passe de la détection de nuages à la détection de feux), on peut "reconstruire" le Lego pour s'adapter. C'est la flexibilité parfaite pour l'espace.

🔍 Ce que disent les chercheurs (Le Résumé de l'étude)

Les auteurs de ce papier (Cédric, Dirk et Martin) ont passé en revue 68 expériences où des gens ont essayé de faire fonctionner des IA sur ces "Lego électroniques" pour observer la Terre. Voici ce qu'ils ont découvert :

1. Ce qu'on cherche : La majorité des études se concentrent sur deux choses :
   • La surveillance : Repérer des objets précis (navires, avions, chars).
   • L'environnement : Surveiller les forêts, les nuages (pour savoir si une photo est utile) ou les changements climatiques.
2. Les modèles utilisés : Les chercheurs utilisent surtout des réseaux de neurones qui imitent la vision humaine (les CNN), un peu comme des yeux artificiels très entraînés.
3. Le défi de la taille : Comme les satellites sont petits, on ne peut pas mettre un "cerveau" géant dedans. Il faut donc comprimer l'IA. C'est comme réduire une vidéo 4K en une image JPEG sans perdre trop de qualité. Les chercheurs utilisent des techniques de "quantification" (réduire la précision des chiffres pour gagner de la place) et d'élagage (couper les parties inutiles du cerveau).
4. Le résultat : C'est possible ! On peut faire tourner des IA complexes sur ces puces FPGA avec une très faible consommation d'énergie. C'est idéal pour les petits satellites (CubeSats) et les drones.

🚀 Pourquoi c'est important pour nous ?

Grâce à cette technologie :

• Réactivité : En cas de catastrophe naturelle, le satellite peut voir le feu et envoyer l'alerte en quelques secondes, sans attendre de renvoyer l'image brute.
• Économie : On envoie moins de données inutiles, ce qui économise l'énergie et l'argent des missions spatiales.
• Autonomie : Les drones peuvent voler plus intelligemment, éviter les obstacles et prendre des décisions seuls, même sans connexion internet.

En résumé

Imaginez que vous donnez à chaque satellite un petit assistant personnel intelligent (l'IA) qui vit dans une boîte de Lego adaptable (le FPGA). Au lieu de lui envoyer toutes les photos prises pendant la journée, il les regarde, filtre le bruit, et ne vous envoie que les messages importants. C'est ainsi que nous passons d'une Terre observée "en aveugle" à une Terre observée "en temps réel" et intelligente.

Résumé technique

1. Problématique et Contexte

L'article aborde le défi croissant de la télédétection (Remote Sensing - RS) dans le contexte de la "Nouvelle Ère Spatiale" (NewSpace).

• Explosion des données : L'avènement des petits satellites (CubeSats, SmallSats) et des drones (UAV) a considérablement augmenté le volume de données acquises. Cependant, la bande passante de transmission (downlink) vers le sol reste stagnante, créant un goulot d'étranglement.
• Contraintes de bord : Les plateformes embarquées (satellites, UAV) disposent de ressources limitées en termes de puissance de calcul, d'énergie (SWaP-C : Size, Weight, Power, and Cost) et de tolérance aux radiations.
• Nécessité du traitement embarqué : Pour éviter de transmettre des données inutiles (ex: images couvertes de nuages) et permettre une prise de décision autonome en temps réel, il est crucial de traiter les données directement sur la plateforme (Edge AI).
• Le rôle des FPGA : Les Field-Programmable Gate Arrays (FPGA) se distinguent des CPU, GPU et ASIC par leur flexibilité de reconfiguration, leur efficacité énergétique et leur capacité à être durcis contre les radiations, ce qui en fait des candidats idéaux pour l'embarqué spatial et aérien.

Objectif de l'étude : Analyser systématiquement la littérature existante sur le déploiement de modèles d'apprentissage automatique (ML/DL) sur des FPGA pour des applications d'observation de la Terre.

2. Méthodologie

L'étude suit rigoureusement les lignes directrices PRISMA 2020 pour assurer la transparence et la reproductibilité.

• Recherche : Une requête systématique a été effectuée sur la base de données Web of Science couvrant la période 2014-2024. Les termes clés combinent le ML (CNN, DL, etc.), la télédétection (RS, SAR, UAV, etc.) et le matériel (FPGA).
• Critères d'exclusion :
  • Articles sans expérimentation (revues, discussions).
  • Publications n'utilisant pas de modèles ML, de données RS ou de FPGA.
  • Travaux trop anciens (>10 ans) ne reflétant pas l'état de l'art actuel.
• Corpus final : Sur 119 résultats initiaux, 48 études (contenant 68 expériences distinctes) ont été sélectionnées après filtrage.
• Analyse : Les auteurs ont développé deux taxonomies spécialisées pour classer les travaux :
  1. Une taxonomie des applications RS et des tâches ML.
  2. Une taxonomie des stratégies d'implémentation FPGA (frameworks, optimisations, métriques de performance).

3. Contributions Clés

L'article apporte plusieurs contributions majeures à la communauté :

1. Deux Taxonomies Spécialisées :
   • Taxonomie ML/RS : Classe les applications par tâche (classification, détection, segmentation), par modalité de données (RGB, Hyperspectral, SAR) et par architecture de modèle.
   • Taxonomie d'Implémentation FPGA : Catégorise les stratégies de conception (manuel vs automatique), les frameworks (Vitis AI, FINN, HLS, HDL), les motifs de conception (spécifique vs flexible) et les métriques de performance (puissance, latence, utilisation des ressources).
2. Analyse Comparative des Plateformes : Une comparaison détaillée des FPGA par rapport aux CPU, GPU et ASIC, mettant en évidence les compromis entre performance, consommation énergétique et tolérance aux radiations.
3. Identification des Gaps de Recherche : Mise en lumière des lacunes actuelles, notamment le manque de diversité dans les tâches RS, l'absence d'architectures modernes (Transformers, RNN) et le besoin de méthodes d'interprétabilité (xAI) et d'incertitude (UQ).
4. Ressources Ouvertes : L'ensemble des données, du code et des tableaux d'analyse est publié sur GitHub pour favoriser la reproductibilité.

4. Résultats et Analyse Technique

A. Paysage des Applications et Modèles (RQ1 & RQ2)

• Applications dominantes : La surveillance de cibles (détection de navires, avions, objets divers) représente 44% des études, souvent formulée comme une tâche de classification d'images ou de détection d'objets. Le suivi environnemental (utilisation des sols, déforestation) représente 40%.
• Modalités de données : Les données optiques (RGB) dominent (65%), suivies par le SAR (principalement pour la surveillance maritime) et l'Hyperspectral (HSI) qui reste de niche.
• Architectures de modèles :
  • Les réseaux de neurones convolutifs (CNN) sont prédominants (74% des modèles).
  • Les architectures YOLO et SSD sont les standards pour la détection d'objets (architectures "single-shot" pour la rapidité).
  • Les architectures personnalisées ("Custom CNN") sont très fréquentes (27%), souvent conçues avec 6 à 10 couches pour s'adapter aux contraintes matérielles.
  • Les modèles de type Transformer (ViT) et les réseaux récurrents (RNN) sont presque absents, bien que prometteurs.

B. Stratégies d'Implémentation et Optimisation (RQ4, RQ5 & RQ6)

• Optimisations de modèles :
  • Quantification : 89% des expériences utilisent la quantification, majoritairement vers le format int8, pour réduire la mémoire et accélérer les calculs.
  • Backbones légers : Utilisation intensive de MobileNet, GhostNet ou SqueezeNet pour réduire le nombre de paramètres.
  • Élagage (Pruning) : Utilisé dans 26% des cas pour supprimer les poids non essentiels.
• Frameworks et Conception :
  • Implémentation Manuelle (HDL/HLS) : Encore très répandue (~45%) pour un contrôle fin des ressources, mais complexe.
  • Frameworks Automatiques : Vitis AI (AMD/Xilinx) et FINN sont les outils les plus utilisés pour accélérer le développement.
  • Motifs de conception : Les designs Spécifiques (optimisés pour un seul modèle) sont majoritaires (75%), permettant une meilleure utilisation des ressources, tandis que les designs Flexibles (chargement de poids externes) permettent de supporter des modèles plus grands.
• Parallélisme : Utilisation massive du parallélisme au niveau des instructions (ILP), des données (DLP) et des tâches (TLP), souvent via des tableaux systoliques pour réduire les accès à la mémoire externe.

C. Matériel et Performances (RQ3 & RQ7)

• Dominance AMD/Xilinx : 96% des études utilisent des FPGA AMD (anciennement Xilinx), en particulier la famille Zynq (SoC intégrant CPU et FPGA) qui représente 57% des cas.
• Comparaison CPU/GPU/FPGA :
  • Les FPGA offrent une efficacité énergétique (GOP/s/W) supérieure aux CPU et souvent aux GPU embarqués (Jetson), ce qui est crucial pour les satellites.
  • Contrairement aux GPU, les FPGA peuvent être durcis contre les radiations (versions rad-hard disponibles), un critère indispensable pour l'espace.
• Échelle des dispositifs :
  • Les petits FPGA (<150 DSP) sont réservés aux modèles très légers (MLP, petits CNN).
  • Les FPGA milieu de gamme (700+ DSP) permettent des tâches de détection et de segmentation avec des modèles optimisés.
  • Les FPGA haut de gamme (Alveo, Virtex) permettent des performances proches de l'état de l'art (SOTA) mais avec une consommation énergétique élevée, limitant leur usage sur de petits satellites.

D. Cas d'Usage Concrets (RQ8)

• Satellites : Mention de missions pionnières comme PhiSat-1 (détection de nuages avec CloudScout) et OPS-SAT (démonstration de segmentation sémantique).
• Drones (UAV) : Applications pour la navigation autonome, la détection d'obstacles et la surveillance de l'air (ex: système ETAUS pour la qualité de l'air).

5. Signification et Perspectives

Cette revue systématique établit que les FPGA sont devenus la plateforme de référence pour le traitement embarqué de l'IA dans l'observation de la Terre, offrant un équilibre unique entre performance, efficacité énergétique et adaptabilité.

Gaps identifiés et recommandations pour l'avenir :

1. Diversité des tâches : Nécessité d'explorer davantage la compression de données, la réponse aux catastrophes et la régression (estimation de paramètres), actuellement sous-représentées.
2. Architectures modernes : Intégration des Transformers (ViT) et des RNN sur FPGA, ce qui nécessite l'évolution des outils de compilation (Vitis AI, FINN).
3. Techniques d'optimisation avancées : Adoption de la distillation de connaissances (Knowledge Distillation) et de la recherche d'architecture neuronale adaptée au matériel (HW-NAS).
4. Confiance et Interprétabilité : Intégration de l'IA explicable (xAI) et de la quantification de l'incertitude (UQ) pour des décisions critiques en orbite.
5. Reproductibilité : Besoin urgent de publier les codes sources, les données et des métriques de performance complètes (y compris l'utilisation de la mémoire externe) pour permettre des comparaisons équitables.

En conclusion, l'article fournit une feuille de route essentielle pour les chercheurs et ingénieurs visant à déployer des systèmes d'IA autonomes et robustes sur les futures missions d'observation de la Terre.