Domain-Informed Multi-View Self-Distillation for Astronomical Light-Curve Representation Learning with JEPA

Resumo Técnico: Aprendizado de Representação de Curvas de Luz Astronômicas com JEPA via Autodestilação Multiview Informada pelo Domínio

Definição do Problema

As curvas de luz astronômicas, que descrevem as variações temporais de brilho de objetos celestes, são críticas para compreender o universo dinâmico. No entanto, aprender representações globais robustas a partir dessas séries temporais é desafiador devido a três características distintas que diferem dos dados de séries temporais padrão:

1. Amostragem Extremamente Irregular: Observações baseadas em solo são limitadas ao período noturno, criando lacunas inevitáveis entre noites e estações, além de cadências intra-noite irregulares.
2. Ruído Complicado: O ruído surge de efeitos quânticos, turbulência atmosférica, clima e instrumentação. Crucialmente, esse ruído é temporalmente correlacionado e, para fontes tênues, o ruído pode exceder o próprio sinal.
3. Ampla Faixa Dinâmica de Escalas Temporais: Fenômenos abrangem desde minutos até anos, e um único objeto pode exibir múltiplos períodos de variação.

Modelos de fundação de séries temporais (TSFMs) "prontos para uso", como arquiteturas baseadas em Transformer, frequentemente apresentam desempenho inferior em curvas de luz. Embeddings temporais padrão falham em capturar a densidade de amostragem, e o pré-treinamento autorregressivo (ex: estilo GPT) tende a sofrer overfitting em sequências de alto ruído. Consequentemente, esses modelos frequentemente falham em superar características manuais (hand-crafted features) em benchmarks como o StarEmbed.

Metodologia

Os autores propõem um framework de Autodestilação Multiview Informada pelo Domínio baseado na Arquitetura Preditiva de Embedding Conjunto (JEPA). A inovação central reside na combinação de vieses indutivos específicos do domínio com uma estratégia de aprendizado multiview para lidar com irregularidade e ruído.

1. Arquitetura Multiview
O modelo processa três visões distintas de cada curva de luz, assumindo que elas compartilham semânticas similares derivadas dos dados brutos:

• Sequência Bruta ($T$): Os dados originais da série temporal $\{(t_i, m_{t_i}, e_{t_i})\}$.
• Periodograma de Lomb-Scargle Generalizado (GLS) ($P$): Um espectro de potência usado para extrair periodicidade e diagnosticar alvos com múltiplos modos de oscilação.
• Curva de Luz Dobrada em Fase ($T_p$): Os dados brutos dobrados sobre o período dominante ($P_o$) para extrair a morfologia das variações periódicas.

2. Encoders Especializados
Cada visão é processada por um encoder Transformer separado equipado com dois componentes inovadores:

• Embedding Posicional Rotativo Contínuo (C-RoPE): Diferente dos embeddings posicionais discretos, o C-RoPE mapeia coordenadas temporais contínuas $t$ para rotações complexas no espaço latente. Isso garante que o mecanismo de atenção seja invariante a deslocamentos temporais absolutos e dependa apenas de intervalos relativos ($\Delta t$), acomodando o espaçamento temporal arbitrário.
• Embedding Numérico Consciente de Erro (EANE): Em vez de tratar medições como estimativas pontuais, o EANE as modela como distribuições de probabilidade $N(m_{t_i}, e_{t_i}^2)$. Ele computa o vetor de embedding esperado integrando sobre a PDF Gaussiana da incerteza da medição, propagando a informação de erro através da rede.

3. Objetivo de Treinamento: LeJEPA
O modelo é treinado usando a regularização LeJEPA, uma perda de autodestilação multiview. O objetivo consiste em dois termos:

• Perda de Alinhamento ($L_{inv}$): Minimiza a distância entre os embeddings latentes das três visões e seu centroide, garantindo consistência semântica entre as visões.
• Perda de Regularização ($L_{SIGReg}$): Alinha a função característica empírica das características projetadas com uma distribuição Gaussiana padrão. Isso otimiza o espaço latente para probing linear e k-NN baseado em raio.

Principais Contribuições

• Primeiro Modelo de Deep Learning a Superar Características Manuais: O modelo proposto é o primeiro modelo de fundação a superar as características manuais (baseadas em FATS) no benchmark de classificação StarEmbed em 15 de 16 métricas.
• Mecanismos de Embedding Inovadores: Introdução do C-RoPE para amostragem irregular e do EANE para incerteza de medição, abordando características específicas de dados astronômicos que modelos genéricos ignoram.
• Estratégia Multiview Informada pelo Domínio: Demonstração de que a combinação de visões bruta, espectral (GLS) e morfológica (dobrada em fase) via autodestilação produz representações superiores em comparação com abordagens de visão única.
• Adaptabilidade Cross-Domain: O framework mostra potencial além da astronomia, alcançando resultados de estado da arte (SOTA) ou competitivos em 5 de 12 conjuntos de dados de séries temporais irregulares no benchmark PYRREGULAR após adaptação de domínio.

Resultados Experimentais

• Benchmark StarEmbed: Na tarefa de classificação, o modelo completo alcançou desempenho superior em 15/16 métricas comparado a características manuais e outras linhas de base (Chronos-2, Astromer-2, FALCO).
• Aprendizado Few-Shot: Em probing linear com dados limitados, o modelo superou consistentemente as características manuais. Com 1 amostra por classe, atingiu um macro-F1 de 42,56 ± 7,21, comparado a 30,28 das características manuais. Com 100 amostras por classe, atingiu 63,58 ± 1,20.
• Estudos de Ablação:
  • A remoção do C-RoPE ou EANE degradou o desempenho, confirmando a necessidade de lidar com tempo irregular e incerteza.
  • A remoção de qualquer uma das três visões (Bruta, GLS, Dobrada em Fase) reduziu a precisão, validando a abordagem multiview.
  • O uso da perda CLIP padrão em vez de LeJEPA resultou em menor desempenho.
• Aplicações:
  • Busca de Similaridade: Recuperou com sucesso curvas de luz da mesma classe (ex: variáveis RRc) baseando-se na distância L2 no espaço de embedding.
  • Estimativa de Parâmetros: Probes lineares nos embeddings recuperaram com sucesso o período e a amplitude de sinais sinusoidais ($R^2 \approx 0,81$ e $0,99$), embora a fase não tenha sido recuperada devido à invariância de translação temporal do modelo.
  • Detecção de Drift: O modelo detectou efetivamente drifts de ponto zero fotométrico, com EANE e inputs multiview melhorando a detecção de pequenos drifts.

Significância e Alegações

O artigo argumenta que o aprendizado de representação de séries temporais bem-sucedido requer vieses indutivos específicos do domínio em vez de uma arquitetura universalmente ótima. Os autores afirmam que modelos "prontos para uso" falham porque carecem dos priors específicos necessários para dados astronômicos (ex: invariância de translação temporal, propagação de incerteza e extração de periodicidade).

Ao integrar o conhecimento do domínio (GLS, dobra de fase) diretamente no architecture e no objetivo de treinamento, o método proposto preenche a lacça entre a engenharia de características manuais e o deep learning. Os resultados sugerem que, embora as visões específicas (GLS/Dobra de Fase) sejam difíceis de substituir por módulos aprendíveis para curvas de luz devido à natureza não diferenciável das frequências de Nyquist em amostragem irregular, a estratégia de autodestilação multiview é transferível. Os autores concluem que, para outros domínios, um sucesso semelhante exige a adaptação de visões e encoders para a dinâmica subjacente específica da série temporal daquele domínio.