The Gravitational-wave Optical Transient Observer (GOTO) data pipeline and workflow for transient discovery

Este artigo descreve e avalia o pipeline de dados de baixa latência e o fluxo de trabalho do observatório GOTO, que permitem a descoberta, reporte e caracterização rápida de transientes astronômicos em tempo real, completando a análise de imagens em cerca de sete minutos após a observação.

O essencial

Imagine que o universo é um oceano escuro e vasto, e as estrelas são como faróis que, às vezes, piscam, mudam de cor ou explodem de repente. O GOTO (Observador Óptico de Transientes de Ondas Gravitacionais) é como uma frota de 32 pequenos navios-farol espalhados em dois lugares opostos da Terra (um nas Ilhas Canárias e outro na Austrália). O trabalho deles é vigiar o céu 24 horas por dia, procurando por essas "piscadas" misteriosas que podem ser estrelas morrendo, colisões de estrelas de nêutrons ou explosões cósmicas.

Mas vigiar o céu é apenas metade do trabalho. A outra metade é processar a informação tão rápido que conseguimos ver o evento quase no momento em que ele acontece. É aqui que entra o "cérebro" do projeto: o pipeline de dados (o fluxo de trabalho de dados) descrito neste artigo.

Vamos usar uma analogia de uma cozinha de restaurante de alta velocidade para explicar como tudo funciona:

1. A Chegada dos Ingredientes (Coleta de Dados)

Quando os telescópios tiram uma foto do céu, é como se um cozinheiro recebesse um ingrediente fresco.

• O Problema: As fotos chegam de dois lugares distantes (Canárias e Austrália) e precisam ser levadas para a "cozinha central" (o servidor na Universidade de Warwick, no Reino Unido) imediatamente.
• A Solução: Existe um sistema automático chamado rawtransfer que funciona como um mensageiro ultra-rápido. Assim que a foto é tirada, ela é enviada. Se a internet oscilar, o sistema tenta de novo até garantir que o ingrediente chegou.

2. A Preparação e Limpeza (Processamento de Imagem)

As fotos brutas chegam cheias de "sujeira": ruído digital, pixels defeituosos (como pixels mortos na tela do seu celular) e até raios cósmicos que parecem estrelas falsas.

• O Pipeline (kadmilos): Este é o chefe de cozinha que organiza a limpeza. Ele usa "receitas" especiais (calibrações) para:
  • Remover a "sombra" dos pixels defeituosos.
  • Corrigir falhas nas colunas da câmera (como se fosse um defeito de impressão em uma foto antiga).
  • Remover a luz do céu (como tirar o brilho de uma janela para ver melhor o que está fora).
• O Resultado: Uma foto limpa e pronta para análise.

3. A Comparação Mágica (Análise de Imagem Diferencial)

Aqui está o truque principal. Como saber se uma estrela nova apareceu ou se é apenas uma estrela que já estava lá?

• A Analogia: Imagine que você tem uma foto antiga e perfeita do céu (o "modelo" ou template). O sistema pega a nova foto e a subtrai da antiga.
• O Mágico: Tudo o que é igual nas duas fotos (estrelas fixas, galáxias) desaparece. O que sobra são apenas as novidades: pontos brilhantes que não estavam lá antes. É como usar um corretivo para apagar o fundo e deixar apenas o novo desenho visível.

4. O Triagem Inteligente (O "Marshall")

Agora temos milhares de "pontos brilhantes" suspeitos. Nem todos são reais; alguns são lixo digital, satélites passando ou lixo espacial.

• O Sistema Marshall: Pense nele como um gerente de segurança ou um filtro de spam muito inteligente.
  • Filtro Automático: Ele usa inteligência artificial (uma rede neural) para dar uma nota de "verdadeiro" ou "falso" para cada ponto. Se for um satélite ou um pixel ruim, ele joga no lixo.
  • Contexto: Ele consulta listas de "vizinhos". Se o ponto está perto de um planeta conhecido ou de uma estrela variável, ele já sabe o que é.
  • Humanos no Loop: Os pontos mais interessantes vão para uma lista de "Inbox" para que astrônomos humanos dêem uma olhada final. É como um editor humano revisando as manchetes antes de publicar.

5. A Ação Rápida (Descoberta e Seguimento)

Se um ponto passa em todos os testes:

1. Alerta: O sistema avisa o mundo inteiro (via o TNS, um banco de dados global) em questão de minutos.
2. Ação Imediata: Se o ponto for muito promissor (como uma possível explosão de estrela de nêutrons), o sistema automaticamente agenda outros telescópios maiores para olhar para ele imediatamente, sem esperar um humano apertar um botão. É como um sistema de alarme que, ao detectar um incêndio, não apenas toca a sirene, mas já chama os bombeiros e abre as mangueiras.

Por que isso é importante?

O tempo é crucial no universo. Muitas dessas explosões (transientes) duram apenas algumas horas ou dias antes de desaparecerem.

• O Tempo de Resposta: Todo esse processo, desde o momento em que a câmera fecha o obturador até a descoberta ser anunciada, leva apenas cerca de 7 minutos.
• O Impacto: Isso permite que os cientistas estudem o "bebê" do evento cósmico, antes que ele cresça e mude de forma. Sem essa velocidade, perderíamos a chance de entender como as estrelas morrem e como elementos pesados (como ouro e platina) são criados no universo.

Em resumo: O GOTO é uma equipe de vigilantes robóticos que, graças a um software super-rápido e inteligente, consegue limpar, comparar, filtrar e reportar novidades do céu em minutos, transformando terabytes de dados brutos em descobertas científicas antes mesmo que o café esfrie.

Resumo técnico

Título: O Pipeline de Dados e Fluxo de Trabalho do Observador Óptico de Transientes de Ondas Gravitacionais (GOTO) para Descoberta de Transientes

1. Problema e Contexto

A astronomia de transientes (como supernovas, kilonovas e eventos de ruptura de maré) exige monitoramento de campo amplo e alta cadência para capturar fenômenos em seus estágios iniciais ("infantis"). O surgimento de alertas autônomos de baixa latência de observatórios de ondas gravitacionais (GW) e multi-mensageiros criou a necessidade urgente de cobrir grandes áreas de localização no céu rapidamente para identificar contrapartidas ópticas.
O GOTO (Gravitational-wave Optical Transient Observer) é um array de telescópios projetado para atender a essa demanda, operando em dois locais antipodais (La Palma e Siding Spring). O desafio central descrito no artigo é a implementação de um pipeline de dados de baixa latência capaz de processar imagens brutas, realizar fotometria, subtrair imagens de referência e identificar candidatos a transientes em minutos após o fechamento do obturador, enquanto gerencia grandes volumes de dados e integra-se a sistemas de verificação humana e automática.

2. Metodologia e Arquitetura do Sistema

O sistema descrito, denominado kadmilos, segue um modelo de Extract-Transform-Load (ETL) e é composto pelos seguintes componentes principais:

• Infraestrutura de Hardware e Transferência:

  • Dados brutos (FITS) são transferidos dos telescópios (La Palma e Austrália) para um centro de dados na Universidade de Warwick (Reino Unido) imediatamente após a gravação.
  • Utiliza-se o pacote rawtransfer com SSH e monitoramento de eventos de sistema (inotify) para garantir a transferência única e robusta, com tempos de transferência mediana de 9 segundos (La Palma) e 21 segundos (Austrália).

• Orquestração de Fluxo de Trabalho (Apache Airflow):

  • O pipeline é orquestrado pelo Apache Airflow, que gerencia Directed Acyclic Graphs (DAGs) de tarefas.
  • O sistema suporta DAGs acionados por eventos (ex.: chegada de um novo arquivo FITS) e agendados (ex.: criação de calibrações).
  • Utiliza-se um cluster de trabalhadores Celery para execução paralela das tarefas de redução de imagem.

• Processamento de Imagem (kadmilos):

  • Redução Básica: Correção de bias, dark, flat e remoção de "armadilhas de coluna" (column traps) geradas por defeitos no CCD.
  • Calibração Super: Criação mensal de frames de calibração "super" (bias, dark, flat) empilhados para melhorar a qualidade.
  • Correção de Colunas: Identificação e correção de defeitos de transferência de carga em colunas específicas do sensor.
  • Remoção de Raios Cósmicos: Uso do algoritmo astro-SCRAPPY (van Dokkum 2001).
  • Fotometria e Astrometria: Detecção de fontes, correção de fundo, astrometria usando astrometry.net e calibração fotométrica usando o catálogo ATLAS-REFCAT2 e funções de base radial (RBF) para correções espaciais.
  • Análise de Imagem Diferencial (DIA): Subtração de uma imagem de referência (template) profunda da imagem de ciência (set) para isolar fontes variáveis. Utiliza-se o código HOTPANTS.
  • Classificação: Um modelo de Rede Neural Convolucional (CNN) treinado com dados do GOTO atribui uma pontuação real-bogus (verdadeiro/falso) a cada detecção.

• Sistema "Marshall" (Interface de Gestão e Vetoria):

  • O GOTO Marshall é uma interface web baseada em Django que ingere candidatos do pipeline.
  • Realiza associação de fontes, cruzamento com catálogos externos (Gaia, TNS, LSXPS) e verificação de corpos celestes móveis (planetas menores, satélites).
  • Implementa um sistema de listas (Pending, Inbox, Stream, Junk, Banish) para triagem automática e manual.
  • Integra-se com o projeto de ciência cidadã Kilonova Seekers.
  • Possui um sistema de Auto-Trigger (GOAT) que, ao identificar um candidato promissor, solicita automaticamente observações de acompanhamento em outros telescópios (ex.: Liverpool Telescope).

• Armazenamento de Dados:

  • Uso intensivo de PostgreSQL com índices espaciais Q3C para consultas rápidas de coordenadas.
  • Dados armazenados em arquivos FITS multi-extensão e metadados no banco de dados.

3. Principais Contribuições

1. Pipeline de Baixa Latência Integrado: Descrição completa de um fluxo de trabalho que vai do fechamento do obturador até a detecção de candidatos em ~7 minutos.
2. Correção Específica de Hardware: Desenvolvimento de um método robusto para identificar e corrigir "armadilhas de coluna" (column traps) em sensores CCD de baixo custo, um problema comum em arrays de telescópios menores.
3. Sistema de Vetoria Híbrido: Combinação eficaz de classificação automática (ML), verificação contextual (catálogos) e ciência cidadã para filtrar milhares de detecções diárias até um conjunto gerenciável para astrônomos humanos.
4. Automação de Acompanhamento: Implementação do sistema GOAT, que permite a transição automática de "descoberta" para "caracterização detalhada" (espectroscopia/fotometria profunda) sem intervenção humana direta para fontes de alta prioridade.
5. Arquitetura Escalável: Demonstração de como o Apache Airflow pode ser adaptado para processamento de alto rendimento em astronomia, lidando com milhões de execuções de tarefas.

4. Resultados e Desempenho

• Velocidade: O processamento completo (redução, astrometria, fotometria, DIA e classificação) é concluído em média 7 minutos após o fechamento do obturador.
• Descobertas: Entre maio de 2019 e janeiro de 2026, o GOTO reportou 4.623 descobertas iniciais e um total de 11.800 candidatos no Transient Name Server (TNS).
• Taxa de Relato: A taxa de relato aumentou de ~2 relatórios/dia para 15-16 relatórios/dia após a implementação de melhorias no template e no sistema de vetoria automática (meados de 2024).
• Profundidade: As imagens de stack (empilhadas) atingem profundidades de ~20 mag (survey) e ~20.5-21 mag (seguimento), suficientes para detectar kilonovas e afterglows de GRBs.
• Precisão: A astrometria apresenta resíduos de 0.32–0.38 arcsegundos. A fotometria é estável, com calibração dependente de RBF para corrigir variações espaciais no campo de visão.
• Eficiência de Vetoria: O sistema de vetoria automática filtra a vasta maioria dos artefatos e fontes conhecidas, deixando apenas ~100 objetos por dia para verificação humana no "Inbox", dos quais ~14% são promovidos para a lista "Stream" (transientes confirmados).

5. Significância e Perspectivas Futuras

O trabalho demonstra que é possível construir um sistema de descoberta de transientes de baixo custo, mas de alta eficiência, capaz de competir com grandes levantamentos como o ZTF e o ATLAS. A capacidade de reagir em minutos a alertas de ondas gravitacionais é crucial para a astrofísica multi-mensageira, permitindo a caracterização de eventos como kilonovas antes que desapareçam.

Futuras melhorias planejadas incluem:

• Atualização para o Airflow 3.0 para melhor versionamento de DAGs.
• Uso do catálogo de fotometria sintética do Gaia para calibração direta no filtro L do GOTO.
• Integração de classificadores de corpos celestes móveis mais avançados (baseados no LSST).
• Implementação de modelos de ML online para real-bogus que se adaptam a mudanças nos dados (concept drift).
• Transição para um modelo de "stream de alertas" (similar ao LSST/ZTF) para permitir que brokers externos processem os dados do GOTO em tempo real.

Em suma, o artigo estabelece o padrão operacional para o GOTO, validando sua infraestrutura de software como uma ferramenta robusta para a exploração do céu variável em tempo real.