Transformer Networks for Continuous Gravitational-wave Searches

Résumé technique : Réseaux Transformers pour la recherche de continu d'ondes gravitationnelles

Énoncé du problème
Les ondes gravitationnelles continues (CW) émises par des étoiles à neutrons en rotation rapide et déformées nécessitent une analyse de données de longue durée pour être détectées en raison de leurs faibles amplitudes. La méthode de recherche théoriquement optimale, le filtrage adapté cohérent (matched filtering), devient informatiquement irréalisable pour les recherches à large espace de paramètres (couvrant de larges zones de ciel et des plages de fréquence/décroissance de spin) car le nombre de modèles de signaux requis croît de manière prohibitive. L'état de l'art actuel, le filtrage adapté semi-cohérent (par exemple, la statistique $\mathcal{F}$), réduit le coût computationnel en divisant les données en segments, mais exige toujours une puissance de calcul massive pour atteindre une sensibilité élevée. Les tentatives précédentes d'utilisation de l'apprentissage profond, spécifiquement les réseaux de neurones convolutifs (CNN), pour réduire ces coûts ont montré des promesses mais ont nécessité une conception manuelle intensive de l'architecture et un réglage fin des hyperparamètres pour approcher la sensibilité optimale, particulièrement pour les signaux faibles répartis dans le temps et la fréquence.

Méthodologie
Cette étude examine la pertinence de l'architecture Vision Transformer (ViT) comme alternative aux CNN pour la détection de CW, en formulant le problème comme une tâche de classification d'images sur les données de déformation des détecteurs.

• Données d'entrée : L'entrée consiste en des transformées de Fourier à court terme (SFT), le format standard des pipelines CW. Contra à la différence des travaux précédents qui convertissaient les SFT en spectrogrammes plus longs, cette méthode empile directement des SFT consécutifs pour former une image 2D multicanale (temps vs fréquence), les parties réelle et imaginaire de deux détecteurs (H1 et L1) formant quatre canaux.
• Architecture : Les auteurs utilisent une architecture ViT standard adaptée à cet apport spécifique. L'image SFT est divisée en patchs de taille fixe (tokens). Les choix de conception clés incluent :
  • Des dimensions de patch optimisées pour garantir que les signaux sont entièrement contenus dans au moins un patch le long de l'axe de fréquence.
  • Une chaîne d'encodeurs transformer standard (quatre encodeurs) avec 16 têtes d'attention et une dimension cachée de 256.
  • Un bloc de sortie personnalisé doté d'un pooling moyen global et d'une couche entièrement connectée, différant légèrement du ViT original pour agir sur la sortie complète de l'encodeur.
• Stratégie d'entraînement : Les ViT sont entraînés comme classificateurs binaires (signal vs bruit) en utilisant l'optimiseur Adam et la perte d'entropie croisée binaire.
  • Benchmarks : L'étude établit des références pour dix recherches ciblées (durée de 10 jours) et seize recherches à large espace de paramètres (durée de 1 jour : 10 dirigées, 6 tout le ciel) sur cinq fréquences de référence (20 Hz à 1000 Hz).
  • Génération de données : Les ensembles de données d'entraînement incluent des signaux injectés à la profondeur de sensibilité du filtre adapté ($D_{90\%}^F$) du benchmark correspondant, mélangés à un bruit gaussien.
  • Évaluation : La performance est mesurée par la probabilité de détection ($p_{det}$) à une probabilité de fausse alarme fixe ($p_{fa} = 1\%$). Pour les recherches à large espace de paramètres, le ViT est glissé le long de l'axe de fréquence pour couvrir toute la bande passante de recherche, en utilisant la valeur de la statistique la plus élevée.

Résultats clés
Les ViT entraînés ont été évalués par rapport à la recherche par filtre adapté de la statistique $\mathcal{F}$ quasi-optimale (code WEAVE) sur des ensembles de données de test indépendants.

1. Recherches ciblées (10 jours) : Les ViT ont atteint des probabilités de détection de $p_{det} \approx 89-90\%$ dans presque tous les cas, égalant essentiellement la sensibilité de la recherche par filtre adapté. Les profondeurs de sensibilité ($D_{90\%}$) étaient presque identiques aux références de la statistique $\mathcal{F}$. Notamment, cette performance a été obtenue avec une architecture standard ne nécessitant aucune redéfinition manuelle spéciale, contrairement aux CNN des études précédentes qui luttaient contre les signaux faibles sans un réglage important.
2. Recherches à large espace de paramètres (1 jour) :
   • Recherches dirigées : Les ViT se sont approchés de la performance du filtre adapté, atteignant $p_{det} \approx 85-89\%$ (comparé à la référence de 90%), avec des différences de profondeur de sensibilité de $\lesssim 1/\sqrt{\text{Hz}}$.
   • Recherches tout le ciel : Les ViT ont atteint $p_{det} \approx 78-88\%$. La sensibilité a décliné avec l'augmentation de la fréquence (chutant d'environ 10 % de 20 Hz à 1000 Hz), ce qui est attribué à la croissance exponentielle du nombre de modèles requis ($N_T$) plutôt qu'à l'étalement du signal.
3. Généralisation :
   • Force du signal : Les ViT se sont bien généralisés à des forces de signal différentes de la profondeur d'entraînement, suivant de près la courbe d'efficacité du filtre adapté.
   • Fréquence : Un seul ViT entraîné sur la bande complète 20–1000 Hz a démontré une performance robuste ($p_{det} \approx 70-80\%$) sur toute la plage, suggérant la faisabilité d'un réseau unique pour les recherches à large bande.
   • Position dans le ciel : Bien que généralement uniformes, les ViT "tout le ciel" ont présenté de légers biais dans la probabilité de détection selon la position céleste (ex: variations près des pôles vs l'équateur), un phénomène également observé dans les études CNN précédentes.

Signification et affirmations
L'article affirme que l'architecture Vision Transformer représente une avancée significative par rapport aux approches basées sur les CNN pour les recherches de CW. La principale signification réside dans la capacité d'une architecture ViT "standard" à atteindre une sensibilité de filtre adapté quasi-optimale sur les recherches ciblées et une haute sensibilité sur les recherches à large espace de paramètres sans l'extrême conception manuelle et le réglage fin des hyperparamètres requis précédemment pour les CNN.

Les auteurs concluent que les priors intégrés des ViT concernant la morphologie de l'image semblent moins restrictifs et plus naturellement adaptés aux caractéristiques des signaux CW (qui sont répartis dans le temps et la fréquence) que les standards petits noyaux (kernels) des CNN. Bien que l'étude soit limitée par des contraintes de temps d'entraînement à des benchmarks de 1 jour pour les recherches à large espace de paramètres, les résultats suggèrent que les ViT offrent une alternative efficace sur le plan computationnel et hautement sensible pour les futures recherches de CW, réduisant potentiellement la charge logistique de l'entraînement de réseaux séparés pour différentes fréquences ou types de recherche. Les auteurs déclarent explicitement que déterminer si les ViT peuvent surpasser les CNN sur les benchmarks plus difficiles de 10 jours pour les recherches à large espace de paramètres reste une tâche pour des travaux futurs.