The Sound of Noise: Leveraging the Inductive Bias of Pre-trained Audio Transformers for Glitch Identification in LIGO

Résumé Technique : Le son du bruit : Exploiter le biais inductif des transformateurs audio pré-entraînés pour l'identification des glitches dans LIGO

Énoncé du problème
Les artefacts de bruit transitoires, connus sous le nom de « glitches », limitent fondamentalement la sensibilité des interféromètres d'ondes gravitationnelles (OG), tels que LIGO. Ces artefacts, résultant de couplages environnementaux et d'instabilités instrumentales, peuvent imiter de véritables signaux astrophysiques, particulièrement les fusions de trous noirs de masse intermédiaire (IMBH) de courte durée. Les méthodes de classification actuelles, telles que Gravity Spy, reposent sur des réseaux de neurones convolutifs (CNN) supervisés entraînés à partir de zéro sur de vastes ensembles de données étiquetées par des experts. Ces approches sont confrontées à un « goulot d'étranglement de l'étiquetage », nécessitant une annotation manuelle intensive pour atteindre une grande précision, et peinent souvent à se généraliser aux nouvelles morphologies de glitches ou à l'évolution des configurations des détecteurs entre les campagnes d'observation (par exemple, de O3 à O4). De plus, les modèles supervisés sont intrinsèquement réactifs, nécessitant des campagnes de réentraînement coûteuses lorsque les caractéristiques des glitches changent.

Méthodologie
Les auteurs proposent un cadre transversal qui traite les données de déformation (strain) de GW comme un problème de traitement audio. Au lieu d'entraîner un modèle à partir de zéro, ils exploitent l'Audio Spectrogram Transformer (AST), un modèle de vision-transformer pré-entraîné sur des millions d'heures d'audio naturel (AudioSet). L'hypothèse centrale est que les caractéristiques spectro-temporelles apprises à partir du son naturel se transfèrent efficacement au bruit des détecteurs de GW, fournissant un biais inductif robuste qui facilite un apprentissage rapide avec un minimum de données étiquetées.

Le flux de travail technique comprend :

1. Prétraitement : Les données brutes de déformation de GW sont converties en spectrogrammes log-mel (1024 trames temporelles × 128 bandes de fréquences).
2. Extraction de caractéristiques : Les spectrogrammes sont traités par l'encodeur AST. L'entrée 2D est divisée en patchs de 16×16, projetée linéairement, puis transmise à travers 12 couches de Transformers contenant des mécanismes d'auto-attention multi-têtes (Multi-Head Self-Attention).
3. Fine-tuning efficace en paramètres (PEFT) : Pour adapter le modèle pré-entraîné aux données de LIGO sans oublier catastrophique ni coûts de calcul prohibitifs, les auteurs utilisent l'Adaptation de Bas Rang (LoRA). Cette technique gèle la majorité des poids pré-entraînés et ne met à jour qu'un petit sous-ensemble de matrices de bas rang, orientant le biais inductif audio du modèle vers la morphologie des glitches.
4. Réduction de dimensionnalité et clustering : Les plongements sémantiques (embeddings) de 768 dimensions résultants sont réduits via l'Analyse en Composantes Principales (PCA) puis projetés dans un espace latent 3D à l'aide de l'Embedding Stochastique de Proximité par t-distribution (t-SNE) pour la visualisation et le clustering non supervisé.

Contributions clés et résultats
L'étude valide cette approche en utilisant des données des troisième (O3) et quatrième (O4) campagnes d'observation de LIGO :

• Extraction de caractéristiques supérieure via le biais inductif : Les comparaisons entre un encodeur AST « vanilla » (standard/prêt à l'emploi) et une version affinée par LoRA démontrent que le pré-entraînement fournit une base utile. L'encodeur vanilla sépare déjà raisonnablement les familles de glitches à haut rapport signal sur bruit (SNR) et visuellement distinctes (ex: « Blip », « Whistle », « Koi Fish »). Cependant, le fine-tuning affine considérablement l'espace de caractéristiques, particulièrement pour les glitches à basse fréquence et morphologiquement hétérogènes (ex: « Low-Frequency Burst », « Fast Scattering ») que le modèle vanilla peinait à séparer.
• Améliorations quantitatives : Le modèle affiné produit des scores de Silhouette plus élevés pour toutes les classes testées, indiquant des clusters plus serrés, plus compacts et aux frontières plus claires. Les gains les plus importants ont été observés pour les familles de glitches à basse fréquence, qui présentaient auparavant des scores proches de zéro ou négatifs en raison d'un décalage de domaine.
• Détection d'anomalies agnostique au signal : Dans une expérience zero-shot, le modèle — affiné uniquement sur les données de glitches sans exposition aux formes d'ondes de GW — a réussi à séparer les signaux astrophysiques injectés (tant les BBH standards que les IMBH de courte durée) des clusters de bruit, suggérant que le cadre peut identifier des transitoires anormaux sans entraînement supervisé sur des familles de formes d'ondes spécifiques.
• Validation du clustering non supervisé : Le clustering agglomératif sur les embeddings AST de 21 types de glitches à travers les campagnes d'observation a permis de récupérer 18 clusters distincts. Les résultats montrent une forte concordance avec les classifications de Gravity Spy, tout en révélant des fusions naturelles de classes morphologiquement similaires et des divisions de labels uniques en sous-populations, reflétant la diversité intra-classe ou l'évolution à travers les campagnes.
• Généralisation inter-campagnes : Lorsque les déclenchements (triggers) d'O4 Omicron ont été projetés dans l'espace d'embedding entraîné sur O3, la plupart des déclenchements ont été mappés vers leurs clusters O3 correspondants. Cependant, certaines classes (ex: « Tomte ») ont montré une dispersion, indiquant une potentielle évolution morphologique ou une ambiguïté de l'étiquetage en O4, démontrant l'utilité du cadre pour surveiller les décalages de distribution.

Signification
L'article affirme que l'exploitation du biais inductif des transformateurs audio pré-entraînés offre une voie robuste et efficace en termes de données pour la caractérisation des détecteurs. En passant de l'entraînement de modèles spécifiques au domaine à partir de zéro à l'adaptation de modèles de fondation, cette méthode atténue le « goulot d'étranglement de l'étiquetage » inhérent aux CNN supervisés. Le cadre permet :

1. Adaptation rapide : L'utilisation de LoRA permet un ré-ajustement efficace à mesure que les conditions du détecteur évoluent, ne nécessissant que des ensembles de données étiquetés de haute pureté et de taille modeste.
2. Découverte de nouveaux transitoires : La nature non supervisée de l'espace d'embedding permet l'identification d'événements anormaux qui se situent en dehors du manifold des morphologies de glitches connues, ce qui est crucial pour les opérations à faible latence dans les générations futures de détecteurs.
3. Généralisation : La capacité de distinguer les artefacts de bruit complexes des véritables signaux astrophysiques (y compris les IMBH) sans entraînement explicite sur ces signaux suggère un nouveau paradigre pour la détection d'anomalies agnostique au signal.

Les auteurs concluent que cette approche fournit une solution évolutive pour la complexité croissante de l'analyse des données de GW, particulièrement à mesure que les détecteurs se dirigent vers l'ère O5 et au-delà.