ACCOR: Attention-Enhanced Complex-Valued Contrastive Learning for Occluded Object Classification Using mmWave Radar IQ Signals

Ce papier propose ACCOR, une méthode d'apprentissage contrastif complexe améliorée par l'attention pour la classification d'objets occlus via des signaux radar mmWave, démontrant des performances supérieures à l'état de l'art sur des données aux fréquences 64 et 67 GHz.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

📦 Le Problème : La Boîte Mystère

Imaginez que vous êtes dans une usine de logistique. Des robots doivent trier des milliers de boîtes en carton sur un tapis roulant. Le problème ? Les boîtes sont fermées.

Si vous utilisez une caméra classique (comme les yeux humains), elle ne voit que le carton. C'est comme essayer de deviner ce qu'il y a dans une boîte cadeau fermée en la regardant juste de l'extérieur : impossible de savoir si c'est un marteau, une bouteille d'eau ou un jouet. Les caméras sont aveugles à l'intérieur.

📡 La Solution : Des "Yeux" qui voient à travers

Les chercheurs du TU Munich ont utilisé un radar à ondes millimétriques (mmWave).

• L'analogie : Imaginez que le radar est comme un sonar de sous-marin ou un échographe. Au lieu de lumière, il envoie des ondes invisibles qui traversent le carton fin (comme la lumière traverse une vitre, mais pour le carton).
• Ces ondes rebondissent sur l'objet à l'intérieur et reviennent au radar. Le radar reçoit alors un signal complexe (appelé signal "IQ") qui contient l'empreinte digitale de l'objet caché.

🧠 Le Défi : Traduire le "langage" du radar

Le signal que le radar reçoit est très spécial. Il n'est pas une image simple comme une photo. C'est une combinaison de deux choses :

1. L'amplitude (la force du signal, comme le volume d'une voix).
2. La phase (le moment précis où l'onde revient, comme le rythme d'une musique).

Les ordinateurs classiques sont habitués à traiter des images en noir et blanc ou en couleurs (des nombres réels). Si on leur donne ce signal radar complexe en le coupant en deux (juste le volume et juste le rythme), on perd la magie de leur relation. C'est comme essayer de comprendre une chanson en écoutant seulement les paroles, sans la musique, ou seulement la mélodie, sans les paroles.

🚀 La Révolution : ACCOR (Le Super-Cerveau)

L'équipe a créé un nouveau modèle d'intelligence artificielle nommé ACCOR. Voici comment il fonctionne, avec des métaphores simples :

1. Le Cerveau "Bilingue" (CNN à valeurs complexes)

Au lieu d'utiliser un cerveau artificiel classique, ACCOR utilise un cerveau qui parle nativement le "langage complexe" du radar.

• L'analogie : C'est comme si vous aviez un traducteur qui comprend non seulement les mots, mais aussi l'intonation et l'émotion derrière la voix, sans avoir besoin de les séparer. Il garde l'information intacte, ce qui le rend beaucoup plus intelligent que les modèles précédents.

2. Le "Projecteur" (Attention)

Le radar reçoit beaucoup de données, mais certaines sont plus importantes que d'autres.

• L'analogie : Imaginez un projecteur dans une pièce sombre. Le modèle ACCOR sait exactement où pointer ce projecteur. Il ignore le bruit de fond (les vibrations du carton, les interférences) et se concentre uniquement sur les détails qui révèlent si c'est un marteau ou une tasse. C'est ce qu'on appelle une "couche d'attention".

3. Le Professeur Exigeant (Perte Hybride)

Pour apprendre, l'IA a besoin d'un professeur qui la corrige.

• L'analogie : Les chercheurs ont créé un système de correction en deux temps :
  • Le correcteur de notes (Cross-Entropy) : Il dit "C'est un marteau, pas une tasse".
  • Le coach de groupe (Contrastive Learning) : Il dit "Regarde, tous les marteaux doivent se ressembler et être très différents des tasses". Il force l'IA à bien séparer les groupes dans son esprit.
  • En combinant les deux, l'IA apprend beaucoup plus vite et fait moins d'erreurs, même si les objets se ressemblent beaucoup.

🏆 Les Résultats : Qui gagne ?

Les chercheurs ont testé leur modèle sur deux fréquences différentes (64 GHz et 67 GHz), un peu comme tester une radio sur deux stations proches.

• Les anciens modèles : Ils avaient environ 90 % de réussite (ils se trompaient 1 fois sur 10).
• Les modèles d'images classiques : Ils étaient très mauvais (moins de 60 %), car ils ne comprenaient pas le langage du radar.
• ACCOR : Il a atteint 96,6 % de réussite à 64 GHz. C'est comme si le robot se trompait à peine une fois sur 30 boîtes !

💡 En Résumé

Cette recherche nous dit que pour voir à l'intérieur des boîtes sans les ouvrir, il ne faut pas juste utiliser un radar, mais un radar couplé à une intelligence artificielle qui comprend parfaitement la nature complexe des ondes.

C'est une étape majeure pour l'industrie du futur : des robots capables de trier, d'inspecter et de gérer des stocks de manière autonome, même dans le noir total ou à travers des emballages, rendant les entrepôts plus intelligents et plus sûrs.

Résumé technique

Voici un résumé technique détaillé de l'article "ACCOR: Attention-Enhanced Complex-Valued Contrastive Learning for Occluded Object Classification Using mmWave Radar IQ Signals".

1. Problématique et Contexte

Le radar à ondes millimétriques (mmWave) est de plus en plus utilisé pour la perception non visuelle, notamment dans des environnements industriels et robotiques, car il fonctionne de manière robuste dans des conditions défavorables (brouillard, pluie, obscurité) et peut pénétrer des matériaux non métalliques légers (carton, plastique, tissu).

L'objectif principal de cette étude est la classification d'objets occlus (emballés dans des boîtes en carton) sans utiliser de capteurs optiques. Bien que des travaux antérieurs aient démontré la faisabilité de cette tâche avec des radars MIMO (Multiple Input Multiple Output) et des signaux IQ (In-phase/Quadrature) bruts, plusieurs limitations persistent :

• Les modèles existants reposent souvent sur des convolutions 3D coûteuses en calcul.
• La plupart des approches traitent les signaux comme des images réelles (en séparant les composantes I et Q), ce qui perd les relations de phase intrinsèques.
• Il existe un manque d'évaluation systématique sur différentes bandes de fréquences et d'optimisation des représentations d'apprentissage profond pour les signaux radar complexes.

2. Méthodologie : Le modèle ACCOR

Les auteurs proposent ACCOR, une approche d'apprentissage profond améliorée par l'attention et le contraste, spécifiquement conçue pour traiter directement les signaux radar complexes.

A. Prétraitement et Données

• Capteur : Un radar MIMO mmWave FMCW (62-69 GHz) avec 20 antennes d'émission et 20 de réception, générant 400 canaux virtuels.
• Données d'entrée : Les signaux IQ bruts sont transformés via une Transformée de Fourier Rapide (FFT) pour obtenir un profil de portée complexe. Chaque échantillon est une matrice complexe de dimensions $400 \times 100$(canaux virtuels$\times$ bins de portée).
• Jeu de données : Extension d'un jeu de données existant (64 GHz) avec un nouveau sous-ensemble collecté à 67 GHz, utilisant les mêmes objets (10 articles du quotidien) et le même montage expérimental.

B. Architecture du Modèle

L'architecture se compose de trois blocs principaux :

1. Backbone CNN à valeurs complexes : Contrairement aux approches classiques qui séparent les composantes I et Q en canaux réels, ACCOR opère directement dans le domaine complexe. Cela préserve les relations de phase et les corrélations croisées.
   • Utilise des convolutions, de la normalisation par lot (Batch Norm) et des fonctions d'activation (ReLU) définies pour les nombres complexes.
   • Trois couches de convolution complexes suivies d'un pooling moyen.
2. Couche d'Attention Multi-Têtes (Self-Attention) :
   • Après l'extraction de caractéristiques, les vecteurs sont projetés dans le domaine réel (concaténation des parties réelles et imaginaires) pour former des "tokens".
   • Une couche d'attention multi-têtes (16 têtes) affine les caractéristiques en capturant les dépendances à la fois dans le domaine de la portée et de l'angle.
3. Fonction de Perte Hybride :
   • Combinaison d'une perte d'entropie croisée pondérée ($\ell_\chi$) et d'une perte de contraste supervisée ($\ell_\kappa$).
   • Formule : $\ell_{total} = (1 - \alpha) \ell_\chi + \alpha \ell_\kappa$.
   • La composante contrastive force une meilleure séparation des classes dans l'espace des caractéristiques, ce qui est crucial car les signaux radar sont intrinsèquement très similaires.

3. Contributions Clés

1. Architecture CNN Complexe Intégrée : Conception d'un backbone compact exploitant nativement l'information d'amplitude et de phase des signaux IQ, évitant la perte d'information liée au traitement réel.
2. Apprentissage Contrastif Supervisé : Introduction d'une fonction de perte hybride qui améliore la séparabilité des classes, surpassant les approches basées uniquement sur l'entropie croisée.
3. Extension Fréquentielle : Création et utilisation d'un nouveau sous-ensemble de données à 67 GHz, permettant une analyse comparative des capacités de pénétration entre deux bandes de fréquences proches (64 GHz et 67 GHz).

4. Résultats Expérimentaux

Les performances ont été évaluées sur 10 objets à travers 10 runs d'entraînement avec différentes initialisations.

• Précision Globale :
  • À 64 GHz : 96,60 % (meilleur résultat).
  • À 67 GHz : 93,59 %.
  • ACCOR surpasse systématiquement les modèles de référence (RadarCNN, SMCNet, Dual-stream CNN) et les modèles d'images adaptés (ResNet, EfficientNet).
• Analyse de l'ablation (Facteur de poids $\alpha$) :
  • La combinaison des pertes est cruciale. Un $\alpha = 0$ (pas de contraste) donne ~94,5 % à 64 GHz, tandis que $\alpha = 0,4$ atteint 96,60 %.
  • L'analyse t-SNE montre que l'ajout de la perte contrastive crée un espace de caractéristiques beaucoup plus compact et mieux séparé par classe.
• Impact du traitement complexe vs réel :
  • Remplacer le backbone complexe par un backbone réel (en traitant I et Q comme deux canaux) fait chuter la précision à ~90,7 % (64 GHz), confirmant l'importance de préserver la structure complexe des données.
• Comparaison avec les modèles d'images :
  • Les modèles classiques (ResNet-18, etc.) adaptés aux données radar (en convertissant I/Q en "fausses" images RGB) obtiennent des résultats bien inférieurs (max ~93,36 % pour ResNet-18), soulignant l'inadéquation de la représentation image pour les signaux radar bruts.

5. Signification et Conclusion

Ce travail démontre que l'intégration de l'apprentissage profond à valeurs complexes, couplée à des mécanismes d'attention et de contraste, permet d'atteindre une classification d'objets occlus extrêmement robuste et précise avec des radars mmWave compacts.

• Impact Industriel : La méthode permet de développer des systèmes de perception compacts pour l'automatisation industrielle (tri, inspection, gestion de stock) capables de "voir" à travers les emballages, là où les caméras échouent.
• Validité Fréquentielle : Bien que la différence de pénétration entre 64 et 67 GHz soit subtile (dû à la proximité des longueurs d'onde), le modèle s'adapte bien aux deux, prouvant la robustesse de l'approche.
• Perspectives : Les auteurs suggèrent que l'avenir réside dans l'acquisition de jeux de données plus vastes avec des écarts de fréquence plus importants et une plus grande diversité d'objets et de types d'occlusion.

En résumé, ACCOR établit un nouvel état de l'art pour la classification d'objets occlus par radar, en exploitant pleinement la richesse informationnelle des signaux IQ complexes.