The Sound of Noise: Leveraging the Inductive Bias of Pre-trained Audio Transformers for Glitch Identification in LIGO

Resumen Técnico: El Sonido del Ruido: Aprovechando el Sesgo Inductivo de los Transformadores de Audio Pre-entrenados para la Identificación de Glitches en LIGO

Planteamiento del Problema
Los artefactos de ruido transitorio, conocidos como "glitches", limitan fundamentalmente la sensibilidad de los interferómetros de ondas gravitacionales (GW) como LIGO. Estos artefactos, que surgen del acoplamiento ambiental y las inestabilidades instrumentales, pueden imitar señales astrofísicas reales, particularmente las fusiones de agujeros negros de masa intermedia (IMBH) de corta duración. Los métodos de clasificación actuales, como Gravity Spy, dependen de Redes Neuronales Convolucionales (CNN) supervisadas entrenadas desde cero con conjuntos de datos masivos y expertamente etiquetados. Estos enfoques enfrentan un "cuello de botella de etiquetado", que requiere una extensa anotación manual para lograr una alta precisión y, a menudo, tienen dificultades para generalizar a nuevas morfologías de glitches o configuraciones de detectores que evolucionan entre las corridas de observación (por ejemplo, de O3 a O4). Además, los modelos supervisados son inherentemente reactivos, lo que requiere campañas de reentrenamiento costosas cuando las características de los glitches cambian.

Metodología
Los autores proponen un marco de trabajo cross-domain que trata los datos de deformación (strain) de GW como un problema de procesamiento de audio. En lugar de entrenar un modelo desde cero, aprovechan el Audio Spectrogram Transformer (AST), un modelo de transformador de visión pre-entrenado en millones de horas de audio natural (AudioSet). La hipótesis central es que las características espectro-temporales aprendidas del sonido natural se transfieren eficazmente al ruido del detector de GW, proporcionando un fuerte sesgo inductivo que facilita un aprendizaje rápido con un mínimo de datos etiquetados.

El flujo de trabajo técnico implica:

1. Preprocesamiento: Los datos de deformación de GW se convierten en espectrogramas log-mel (1024 marcos temporales × 128 bandas de frecuencia).
2. Extracción de Características: Los espectrogramas son procesados por el codificador AST. La entrada 2D se divide en parches de 16×16, se proyecta linealmente y se pasa a través de 12 capas de Transformer que contienen mecanismos de Auto-Atención de Múlti Cabezales (Multi-Head Self-Attention).
3. Ajuste Fino de Parámetros Eficiente (PEFT): Para adaptar el modelo pre-entrenado a los datos de LIGO sin el olvido catastrófico o costos computacionales prohibitivos, los autores emplean Adaptación de Bajo Rango (LoRA). Esta técnica congela la mayoría de los pesos pre-entrenados y actualiza solo un subconjeno de matrices de bajo rango, dirigiendo el sesgo inductivo de audio del modelo hacia la morfología del glitch.
4. Reducción de Dimensionalidad y Agrupamiento: Los embeddings semánticos resultantes de 768 dimensiones se reducen mediante el Análisis de Componentes Principales (PCA) y luego se proyectan en un espacio latente 3D utilizando la Inserción de Vecinos Cercanos basada en t-distribuida (t-SNE) para visualización y agrupamiento (clustering) no supervisado.

Contribuciones Clave y Resultados
El estudio valida este enfoque utilizando datos de la tercera (O3) y cuarta (O4) corridas de observación de LIGO:

• Extracción de Características Superior vía Sesgo Inductivo: Las comparaciones entre un codificador AST "vanilla" (estándar/sin modificar) y una versión ajustada con LoRA demuestran que el pre-entrenamiento proporciona una base útil. El codificador vanilla ya separa razonablemente bien las familias de glitches de alto SNR y visualmente distintas (por ejemplo, "Blip", "Whistle", "Koi Fish"). Sin embargo, el ajuste fino agudiza significamente el espacio de características, particularmente para los glitches de baja frecuencia y morfológicamente heterogéneos (por ejemplo, "Low-Frequency Burst", "Fast Scattering") que el modelo vanilla tenía dificultades para separar.
• Mejoras Cuantitativas: El modelo ajustado produce coeficientes de Silueta (Silhouette scores) más altos en todas las clases probadas, lo que indica clusters más apretados y compactos con límites más claros. Las ganancias más significativas se observaron en las familias de glitches de baja frecuencia, que previamente exhibían puntuaciones cercanas a cero o negativas debido al desajuste de dominio.
• Detección de Anomalías Agnóstica a la Señal: En un experimento zero-shot, el modelo —ajustado finamente solo con datos de glitches sin exposición a formas de onda de GW— logró separar exitosamente las señales astrofísicas inyectadas (tanto BBHs estándar como IMBHs de corta duración) de los clusters de ruido, sugiriendo que el marco puede identificar transitorios anómalos sin entrenamiento supervisado en familias de ondas específicas.
• Validación de Agrupamiento No Supervisado: El agrupamiento aglomerativo sobre los embeddings de AST de 21 tipos de glitches a través de las corridas de observación recuperó 18 clusters distintos. Los resultados mostraron una fuerte concordancia con las clasificaciones de Gravity Spy, al tiempo que revelaron fusiones naturales de clases morfológicamente similares y divisiones de etiquetas únicas en subpoblaciones, reflejando la diversidad intra-clase o la evolución a través de las corridas.
• Generalización entre Corridas: Cuando los disparadores (triggers) de O4 Omicron fueron proyectados en el espacio de embeddings entrenado en O3, la mayoría de los disparadores se mapearon a sus correspondientes clusters de O3. Sin embargo, ciertas clases (por ejemplo, "Tomte") mostraron dispersión, indicando una potencial evolución morfológica o ambigüedad de etiquetado en O4, demostrando la utilidad del marco para monitorear cambios en la distribución.

Significancia
El artículo afirma que aprovechar el sesgo inductivo de los transformadores de audio pre-entrenados ofrece una vía robusta y eficiente en datos para la caracterización de detectores. Al pasar de entrenar modelos específicos de dominio desde cero al uso de modelos fundacionales, el método mitiga el "cuello de botella de etiquetado" inherente a las CNN supervisadas. El marco permite:

1. Adaptación Rápida: El uso de LoRA permite un reajuste eficiente a medida que las condiciones del detector evolucionan, requiriendo solo conjuntos de datos etiquetados de alta pureza y modestos.
2. Descubrimiento de Nuevos Transitorios: La naturaleza no supervisada del espacio de embeddings permite la identificación de eventos anómalos que se encuentran fuera del manifold de las morfologías de glitch conocidas, lo cual es crítico para las operaciones de baja latencia en los detectores de próxima generación.
3. Generalización: La capacidad de distinguir entre artefactos de ruido complejos y verdaderas señales astrofísicas (incluyendo IMBHs) sin entrenamiento explícito en dichas señales sugiere un nuevo paradigma para la detección de anomalías agnóstica a la señal.

Los autores concluyen que este enfoque proporciona una solución escalable para la creciente complejidad del análisis de datos de GW, particularmente a medida que los detectores avanzan hacia la era O5 y más allá.