The Gravitational-wave Optical Transient Observer (GOTO) data pipeline and workflow for transient discovery

El artículo describe el desarrollo y evaluación del flujo de trabajo y la tubería de datos de baja latencia del observatorio GOTO, diseñados para detectar, informar y caracterizar rápidamente transitorios astronómicos mediante análisis de imágenes diferenciales en un tiempo típico de siete minutos.

Lo esencial

Imagina que el cielo nocturno es un océano gigante y oscuro. Durante siglos, los astrónomos han navegado por él con barcos lentos, buscando islas (estrellas) o tormentas (explosiones estelares). Pero hoy, con el GOTO (Observador Óptico de Transitorios de Ondas Gravitacionales), tenemos un ejército de 32 "botes rápidos" (telescopios) que patrullan el océano a toda velocidad, buscando cualquier cosa que brille de repente: una supernova, una explosión de estrellas o el rastro de una colisión cósmica.

Este documento describe el cerebro y el sistema nervioso de GOTO: cómo toma las fotos, las limpia, encuentra las novedades y avisa al mundo en cuestión de minutos.

Aquí tienes la explicación paso a paso, con analogías sencillas:

1. El Equipo de Patrulla (Los Telescopios)

GOTO tiene dos bases principales: una en las Islas Canarias (La Palma) y otra en Australia. En cada base hay 16 telescopios pequeños trabajando juntos.

• La analogía: Imagina que tienes 32 cámaras de seguridad en tu casa. Si una cámara ve algo moverse, no esperas a que alguien lo revise manualmente; el sistema lo detecta al instante. GOTO hace lo mismo con el cielo, tomando fotos cada pocos minutos.

2. El Sistema de "Entrega Rápida" (La Pipeline de Datos)

Cuando los telescopios toman una foto, los datos viajan desde Australia o España hasta un centro de procesamiento en la Universidad de Warwick (Reino Unido).

• La analogía: Es como un servicio de mensajería ultrarrápido. En cuanto la cámara hace "clic" (cierra el obturador), el archivo de la foto viaja por internet. El sistema kadmilos (el nombre divertido que le dieron al software) es el camión de reparto que recibe el paquete, lo abre y lo prepara para que alguien lo vea.
• Velocidad: Todo este proceso, desde que la foto se toma hasta que el sistema la analiza, tarda solo 7 minutos. ¡Es más rápido que preparar un café!

3. Limpiar la "Lente Sucia" (Procesamiento de Imágenes)

Las fotos del espacio no son perfectas. Tienen polvo, rayas de satélites, ruido de la cámara y a veces los píxeles de la cámara se "atascan" (como un pixel muerto en tu TV).

• La analogía: Imagina que tomas una foto con una cámara llena de polvo y rayones. Antes de poder ver si hay un gato en la foto, necesitas:
  1. Restar la "foto de fondo": El sistema compara la foto nueva con una "foto maestra" (un template) que tiene todo lo que siempre está ahí (estrellas fijas, galaxias lejanas). Al restar una de la otra, todo lo que no cambia desaparece.
  2. Quitar el polvo: Si hay un rayón en la lente, el sistema lo sabe y lo ignora.
  3. El truco de la "trampa de columnas": A veces, los electrones se quedan pegados en las columnas de la cámara, creando líneas verticales. El sistema crea un "mapa de trampas" mensual para borrarlas automáticamente.

4. El Detective de Novedades (Análisis de Diferencias)

Una vez limpias las fotos, el sistema busca lo que cambió.

• La analogía: Es como jugar al "¿Qué cambió?" con dos fotos de tu habitación. Si en una hay un libro y en la otra no, el sistema grita: "¡Aquí hay algo nuevo!".
• El filtro inteligente: No todo lo que brilla es interesante. A veces es un satélite, un rayo cósmico o un error. Aquí entra la Inteligencia Artificial. Un modelo de aprendizaje automático (como un detective entrenado) mira la foto y le da una puntuación: "¿Es real o es basura?".
  • Si la puntuación es alta, el sistema lo envía a la lista de "Inbox" (Bandeja de entrada) para que los humanos lo revisen.
  • Si es basura, lo tira a la papelera automáticamente.

5. El "Marshall": El Centro de Mando

El GOTO Marshall es la interfaz web donde los astrónomos humanos trabajan.

• La analogía: Es como una sala de control de tráfico aéreo. Los datos limpios llegan aquí.
  • Vetado automático: El sistema ya ha filtrado el 99% de la basura. Solo quedan unos 100 objetos por día que necesitan un ojo humano.
  • Contexto: Si el sistema ve un objeto nuevo, busca en sus bases de datos: "¿Es un asteroide conocido? ¿Es una estrella variable? ¿Está cerca de una galaxia?".
  • Alertas: Si el objeto parece una supernova joven o el resplandor de una explosión de rayos gamma, el sistema lo pone en rojo y envía una alerta a los astrónomos.

6. Llamando a los Refuerzos (Seguimiento Automático)

Si el sistema detecta algo muy interesante, no solo lo reporta; llama a otros telescopios.

• La analogía: Imagina que GOTO es un guardia de seguridad que ve un incendio. No solo llama a la policía (la comunidad científica), sino que automáticamente abre la puerta para que los bomberos (telescopios más grandes) entren y apaguen el fuego (estudien el objeto en detalle).
• El sistema puede enviar órdenes automáticas al Liverpool Telescope para que empiece a tomar espectros (analizar la luz) en cuestión de minutos, antes de que el objeto se desvanezca.

7. La Ciencia Ciudadana (Kilonova Seekers)

El sistema también se conecta con voluntarios de todo el mundo.

• La analogía: Es como un juego de "¿Encuentra la aguja en el pajar?". Miles de voluntarios miran pequeñas fotos de las diferencias y votan: "¿Es real?". Si la mayoría dice que sí, el sistema lo confirma y da crédito a los voluntarios en el informe oficial.

¿Por qué es importante todo esto?

El universo está lleno de eventos que duran muy poco (como un destello de flash). Si no los atrapas en sus primeros minutos, desaparecen para siempre.

• El resultado: Gracias a este sistema, GOTO ha descubierto miles de objetos nuevos. Ha encontrado el resplandor de explosiones de estrellas (kilonovas) y ha ayudado a entender cómo mueren las estrellas.
• La promesa: El sistema está diseñado para ser tan rápido y eficiente que, en el futuro, cuando detecte algo increíble, podría avisar a todo el mundo en tiempo real, permitiendo a astrónomos de todo el planeta apuntar sus telescopios hacia el mismo lugar al mismo tiempo.

En resumen: GOTO es una red de ojos robóticos con un cerebro de IA súper rápido que limpia, filtra y alerta sobre los eventos más efímeros del universo, permitiendo a los humanos estudiarlos antes de que desaparezcan.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "The Gravitational-wave Optical Transient Observer (GOTO) data pipeline and workflow for transient discovery", traducido y adaptado al español.

Resumen Técnico: Pipeline y Flujo de Trabajo de GOTO para el Descubrimiento de Transitorios

1. Planteamiento del Problema

La astronomía de transitorios (supernovas, kilonovas, eventos de ruptura de marea) requiere una vigilancia del cielo de gran campo y alta cadencia para capturar fenómenos en sus etapas iniciales ("infantes"). El desafío principal radica en la necesidad de:

• Baja latencia: Procesar datos y descubrir contrapartes ópticas en minutos tras un disparo externo (ondas gravitacionales, GRBs, neutrinos) o en el marco de una encuesta rutinaria.
• Volumen de datos: Gestionar el flujo continuo de imágenes de una matriz de 32 telescopios distribuidos en dos sitios antipodales (La Palma y Siding Spring).
• Calidad de datos: Distinguir entre transitorios reales y artefactos (ruido, rayos cósmicos, satélites, cuerpos del sistema solar) en un entorno de alta cadencia, manteniendo una calibración fotométrica y astrométrica robusta sin sacrificar la velocidad.
• Coordinación: Integrar la detección automática con la verificación humana y el desencadenamiento de observaciones de seguimiento en otros telescopios.

2. Metodología y Arquitectura del Sistema

El artículo describe la implementación de kadmilos, un pipeline de reducción de datos y análisis, y GOTO marshall, un sistema de gestión de objetivos y visualización.

A. Infraestructura y Transferencia de Datos:

• Hardware: 32 telescopios unitarios (UT) de 40 cm en dos nodos. Los datos se escriben en disco local y se transfieren inmediatamente a un centro de datos en la Universidad de Warwick (Reino Unido).
• Transferencia: Se utiliza un paquete personalizado rawtransfer basado en SSH con mecanismos de reintento y verificación de integridad. Los tiempos de transferencia son de ~9 segundos (P50) en La Palma y ~21 segundos en Siding Spring.
• Orquestación: Se emplea Apache Airflow para gestionar el flujo de trabajo (DAGs - Directed Acyclic Graphs). Esto permite la ejecución robusta, la re-procesabilidad y el monitoreo de tareas. Los trabajadores utilizan Celery para la ejecución distribuida.

B. Pipeline de Procesamiento (kadmilos):
El flujo de procesamiento de imagen sigue el modelo ETL (Extraer, Transformar, Cargar):

1. Pre-reducción: Recorte de bordes, corrección de bias (overscan) y conversión a electrones.
2. Calibración Super: Generación mensual de "super frames" (bias, dark, flat) apilados para corregir ruido de patrón, corriente oscura y sensibilidad de píxeles.
   • Innovación: Detección y corrección de "column traps" (trampas de carga en columnas de CCD) mediante modelado de funciones de escalón, un defecto específico de los sensores GOTO.
3. Reducción de Imágenes Únicas (Single):
   • Eliminación de rayos cósmicos (algoritmo van Dokkum).
   • Interpolación de píxeles defectuosos.
   • Remoción de fondo espacialmente variable (usando sep y splines).
   • Detección de fuentes y fotometría (mínimo 7 píxeles > 2.5σ).
   • Astrometría: Solución WCS usando astrometry.net y catálogos Gaia/ATLAS-REFCAT2, con correcciones polinómicas de alto orden (SIP) para distorsiones en el campo de visión.
   • Calibración Fotométrica: Uso de funciones de base radial (RBF) para mapear correcciones de apertura y ceros (zeropoints) considerando la variación espacial y el color.
4. Creación de Imágenes Apiladas (Set): Combinación ponderada de múltiples exposiciones (4x45s para encuestas, 4x90s para seguimiento) con alineación astrométrica y rechazo de outliers.
5. Análisis de Imágenes Diferenciales (DIA):
   • Resto de una imagen plantilla (profunda, ~12x90s) de la imagen científica.
   • Uso de HOTPANTS para la convolución del PSF.
   • Clasificación Real/Bogus: Un modelo de Red Neuronal Convolucional (CNN) entrenado con datos de GOTO asigna una puntuación de "realidad" a cada candidato. Se combina con la fotometría forzada en las imágenes individuales para filtrar artefactos residuales.

C. Sistema de Gestión y Verificación (GOTO marshall):

• Ingesta: Recibe candidatos del pipeline.
• Vetado Automático: Clasifica fuentes en listas (Pending, Inbox, Stream, Junk, Banish) basándose en:
  • Cruce con catálogos (Gaia, TNS, LSXPS, GLADE+).
  • Identificación de cuerpos del sistema solar (usando efemérides MPC vía pympc).
  • Puntuación de calidad de la detección.
• Verificación Humana: Los usuarios revisan la lista "Inbox" (~100 objetos/día) para confirmar transitorios.
• Fotometría Forzada: Permite medir fuentes en imágenes donde no se detectaron automáticamente, crucial para curvas de luz completas.
• Disparador Automático (GOAT): Si un candidato cumple criterios estrictos (posición, brillo, evolución de luz, no ser un cuerpo móvil), el sistema solicita automáticamente observaciones de seguimiento en telescopios externos (ej. Liverpool Telescope).

3. Contribuciones Clave

• Pipeline de Baja Latencia: Logra completar el procesamiento desde el cierre del obturador hasta la detección de candidatos en ~7 minutos (P50), incluso con el procesamiento de imágenes diferenciales.
• Corrección de Defectos Específicos: Desarrollo de un método robusto para corregir las "column traps" en los sensores CCD de GOTO, mejorando significativamente la calidad de los datos fotométricos.
• Arquitectura Escalable: Implementación exitosa de Apache Airflow y Celery para manejar un volumen masivo de tareas (más de 13 millones de ejecuciones de DAGs documentadas) con alta fiabilidad.
• Integración Humano-Máquina: Un flujo de trabajo híbrido donde la IA (CNN) y la automatización filtran el 99% de los datos, permitiendo que los astrónomos se centren en los candidatos más prometedores.
• Sistema de Disparador (GOAT): Capacidad de iniciar observaciones espectroscópicas en telescopios externos en menos de 15 minutos tras el cierre del obturador de GOTO.

4. Resultados y Rendimiento

• Velocidad: El tiempo total desde el cierre del obturador hasta la detección es de aproximadamente 7 minutos. El tiempo de verificación manual hasta la publicación en TNS es de ~52 minutos (P50).
• Profundidad: Las encuestas de cielo alcanzan una profundidad de ~20 mag (5σ) en la banda L (400-700 nm), reduciéndose ~1 mag en condiciones de luna llena. El seguimiento de disparos externos alcanza ~20.5-21 mag.
• Descubrimientos: Entre mayo de 2019 y enero de 2026, GOTO ha reportado 4,623 descubrimientos primeros y un total de 11,800 candidatos en el TNS. La tasa de reporte aumentó de ~2/día a ~15-16/día tras la implementación de nuevas características de automatización y cobertura de plantillas.
• Calidad Astrométrica: Residuos de 0.32–0.38 arcsegundos, dependiendo de la posición en el campo.
• Eficacia de Seguimiento: El sistema GOAT ha generado observaciones de seguimiento exitosas, incluyendo la detección de contrapartes ópticas de GRBs y eventos de ondas gravitacionales en horas.

5. Significado e Impacto

El trabajo demuestra que es posible operar una red de telescopios robóticos de gran campo con una latencia de datos comparable a la de los grandes observatorios de próxima generación (como el LSST), pero con una infraestructura más accesible.

• Validación de Estrategias: Confirma que la combinación de encuestas de gran campo, análisis de imágenes diferenciales automatizado y verificación humana rápida es efectiva para aislar contrapartes ópticas de eventos multimensajero.
• Preparación para el Futuro: El pipeline está diseñado para escalar y adaptarse a las futuras demandas de la astronomía de ondas gravitacionales y de neutrinos.
• Ciencia Ciudadana: La integración con el proyecto "Kilonova Seekers" demuestra cómo la participación pública puede acelerar la identificación de transitorios sin comprometer la calidad de los datos.
• Reproducibilidad: El código fuente (kadmilos) y las herramientas asociadas están disponibles públicamente, fomentando la transparencia y la colaboración en la comunidad astronómica.

En conclusión, GOTO ha establecido un estándar operativo para la detección y caracterización rápida de transitorios, llenando un nicho crucial entre las encuestas de gran campo y los telescopios de seguimiento de alta resolución, y proporcionando una infraestructura robusta para la astronomía multimensajero.