Resumo Técnico: GenAutoML

Definição do Problema

O design de arquiteturas neurais para previsão de séries temporais multivariadas e detecção de anomalias em ambientes industriais (ex: monitoramento de redes elétricas, IoT) é dificultado por dois desafios primários: o Problema da Estacionariedade e as limitações dos sistemas atuais de Aprendizado de Máquina Automatizado (AutoML).

1. O Paradoxo da Estacionariedade: Conjuntos de dados do mundo real (como os benchmarks ETTh1, ETTm1 e Weather) exibem características não estacionárias e interdependências temporais complexas. Modelos de aprendizado profundo tradicionais (LSTMs, Transformers) frequentemente lutam contra essas distribuições, enquanto o design de arquitetura manual depende de vieses indutivos estáticos que podem ser inadequados.
2. Limitações de AutoML/NAS Existentes: Os frameworks atuais de Busca de Arquitetura Neural (NAS) dependem de espaços de busca pré-definidos e estáticos. Eles carecem de "Criatividade Semântica", o que significa que não conseguem inventar componentes estruturais novos (ex: camadas de mistura temporal customizadas) além de padrões de interconexão fixos. Além disso, o hiato entre "design-e-implantação" é significativo; integrar um novo modelo geralmente requer um reinício completo do sistema.
3. Restrições de IA de Borda (Edge AI): Embora os Modelos de Fundação de Séries Temporais (TSFMs) como o Chronos ofereçam alta precisão, suas contagens massivas de parâmetros (100M+) e alta latência de inferência os tornam inadequados para implantações de IA de Borda com recursos limitados e tempo real.

Metodologia: Framework GenAutoML

O GenAutoML é um framework agêntico que desloca o paradigma de "busca de modelos" para a "Engenharia Neural Agêntica." Ele utiliza Grandes Modelos de Linguagem (LLMs) como "Arquitetos Neurais" autônomos para traduzir requisitos em linguagem natural em código PyTorch executável. O framework opera através de uma arquitetura de ciclo fechado composta por quatro componentes principais:

1. Síntese Neural Agêntica (A Interface Semântica)

O motor central utiliza um LLM (especificamente o Llama 3-70B) para interpretar restrições em linguagem natural e gerar definições de módulos neurais.

• Contrato Geométrico Estrutural: O agente é restringido a gerar módulos que aceitem um tensor de entrada 3D ($B \times L \times D$) e retornem um tensor de previsão ($B \times H \times D$), garantindo compatibilidade com pipelines subsequentes.
• Registro Dinâmico: O código gerado é escrito diretamente em um registro dinâmico, permitindo que o sistema "invente" estruturas complexas (ex: blocos Inception multiescala) baseadas em descrições do usuário.

2. Loop de Reflexão em Sandbox

Para mitigar alucinações de código e incompatibilidades de dimensão comuns na geração zero-shot de LLMs:

• A arquitetura gerada é isolada em uma sandbox de execução segura.
• O agente instancia o modelo e realiza uma passagem direta (forward pass) simulada usando tensores fictícios (dummy tensors).
• Se o formato da saída (output shape) não corresponder ao horizonte esperado ou ocorrerem erros (ex: logs de traceback), o sistema retroalimenta o LLM com esses erros como um prompt adicional.
• Este loop de feedback de múltiplos turnos permite que o agente depure iterativamente redimensionamentos de tensores e permutações de canais até produzir um modelo estruturalmente sólido.

3. Integração Arquitetural Just-in-Time (JIT)

O GenAutoML emprega um pipeline de Orquestração Baseada em Reflexão para integrar novos modelos em um ambiente de otimização ao vivo sem reinicializações do sistema:

• Troca a Quente (Hot-Swapping): Usando importlib.reload do Python, o sistema atualiza o cache de módulos em tempo real.
• Invocação Consciente de Assinatura: O sistema utiliza introspecção de tempo de execução (inspect.signature) para combinar tensores de execução com os argumentos do módulo gerado.
• Projeção Agnóstica de Forma: Se o LLM gerar um modelo com contagens de canais ocultos arbitrárias, uma camada de projeção ($\hat{Y} = W_{proj} \cdot M_{gen}(\hat{X}) + b_{proj}$) faz a ponte matemática entre as características latentes e as dimensões alvo necessárias, evitando falhas catastróficas.

4. Fortalecimento Estatístico via Dyn-RevIN

Para lidar com a não estacionariedade e explosão de gradiente em dados industriais voláteis:

• O framework envolve a lógica gerada pelo LLM dentro de uma camada de Normalização de Instância Reversível Dinâmica (Dyn-RevIN).
• Esta camada desacopla a lógica arquitetural não confiável das restrições de estacionariedade estatística. Ela normaliza os dados de entrada para uma distribuição estacionária antes que o modelo os processe e desnormaliza a saída para o domínio do sinal original.
• Isso atua como um "guarda-corpo de segurança", garantindo a convergência mesmo se a arquitetura gerada estiver mal escalonada.

Principais Contribuições

1. Síntese Neural Agêntica com Reflexão em Sandbox: Uma interface inovadora que traduz necessidades semânticas em código PyTorch executável, validado através de um loop de depuração autônomo que garante a validade matemática antes da implantação.
2. Injeção Arquitetural em Tempo de Execução: Um pipeline que permite "Trocas a Quente" de módulos neurais gerados em loops de otimização baseados em Optuna ativos, eliminando a necessidade de reinicializações do sistema e permitindo a validação em tempo real.
3. Fortalecimento Matemático (Dyn-RevIN): A integração de um framework de Normalização de Instância Reversível Dinâmica que impõe estacionariedade no manifold de entrada-saída, estabilizando o treinamento para sinais não estacionários.
4. Pipeline Conversacional de Ponta a Ponta: Um fluxo de trabalho que permite aos usuários fazer upload de conjuntos de dados, realizar análise exploratória de dados via um agente de DataFrame Pandas e solicitar designs de arquitetura customizados, todos validados em uma sandbox federada.

Resultados Experimentais

O framework foi avaliado em três benchmarks multivariados: ETTh1, ETTm1 e Weather.

• Desempenho de Previsão: Modelos sintetizados pelo agente (ex: ResNet, Inception) alcançaram desempenho competitivo contra Transformers de estado da arte (SOTA) como TimesNet e CrossFormer. No conjunto de dados ETTm1, uma ResNet sintetizada (MAE = 0,532) aproximou-se de modelos lineares líderes.
• Detecção de Anomalias: Modelos sintetizados demonstraram sensibilidade superior. O ResNetBlock projetado pelo agente alcançou um gap de discriminação (MSE Anômalo / MSE Limpo) de 265x no ETTh1, superando significativamente o TimesNet (33x) e o DLinear (~8x).
• Latência de Inferência e Eficiência:
  • Embora modelos de fundação massivos (ex: Chronos-T5-Mini) alcancem alta precisão, eles sofrem com alta latência (~988 ms/amostra).
  • O WaveInterferenceNet gerado pelo agente alcançou uma latência de inferência de <0,01 ms por amostra, representando uma aceleração de ~100.000x sobre os modelos de fundação.
  • O custo de busca foi mínimo: o WaveInterferenceNet exigiu apenas ~2 minutos de ajuste de GPU (5 tentativas de Optuna) comparado a tempos significativamente maiores para baselines tradicionais.
• Estabilidade e Reprodutibilidade:
  • Convergência de Variância Zero: Ao contrário dos baselines padrão (ex: DLinear) que mostraram extrema sensibilidade a sementes aleatórias (flutuação de MAE $\sigma = 0,760$), o WaveInterferenceNet sintetizado pelo agente manteve variância zero ($\sigma = 0,000$) através de testes independentes quando o determinismo da semente foi aplicado.
  • Estudos de Ablação: O estudo confirmou que o Dyn-RevIN é crítico para conjuntos de dados voláteis (melhorando o MAE em ~94% no ETTh1), mas pode às vezes mascarar sinais periódicos em conjuntos de dados estáveis (Weather), validando a necessidade de uma busca automatizada e dirigida por agentes para determinar as configurações ideais.

Significância e Alegações

O artigo posiciona o GenAutoML não meramente como uma ferramenta para maximizar a precisão preditiva bruta, mas como um framework para síntese determinística implantável na borda (edge-deployable).

• Mudança de Paradigma: Ele move o campo da "busca de modelos massivos" para a "Engenharia Neural Agêntica", priorizando arquiteturas ultra-leves (menos de 1M de parâmetros) que trocam frações marginais de precisão por latências de inferência de microssegundos e características de implantação altamente estáveis.
• Adequação para Missões Críticas de Segurança: Ao priorizar a convergência determinística de variância zero sobre a precisão bruta, o framework produz arquiteturas unicamente adequadas para implantações de IA de Borda com recursos limitados e de segurança crítica (ex: sensores industriais embarcados).
• Criatividade Semântica: O framework demonstra a capacidade de sintetizar topologias genuinamente novas (ex: WaveInterferenceNet usando projeções trigonométricas) baseadas em diretrizes abstratas de linguagem natural, indo além da repetição de motivos padrão como ResNets ou LSTMs.

Os autores concluem que, embora o framework dependa dos tempos de resposta da API do LLM (uma limitação atual), ele consegue unir com sucesso o potencial criativo da IA generativa aos rigorosos requisitos de estabilidade da análise de séries temporais industriais.