Technische Samenvatting: GenAutoML

Probleemstelling

Het ontwerpen van neurale architecturen voor multivariate tijdreeksvoorspelling en anomaliedetectie in industriële omgevingen (bijv. bewaking van elektriciteitsnetten, IoT) wordt gehinderd door twee primaire uitdagingen: het Stationariteitsprobleem en de beperkingen van huidige Automated Machine Learning (AutoML) systemen.

1. De Stationariteitsparadox: Real-world datasets (zoals ETTh1, ETTm1 en Weather benchmarks) vertonen niet-stationaire kenmerken en complexe temporele afhankelijkheden. Traditionele deep learning-modellen (LSTMs, Transformers) worstelen vaak met deze distributies, terwijl handmatig architectuurontwerp vertrouwt op statische inductieve biases die inadequaat kunnen zijn.
2. Beperkingen van Bestaande AutoML/NAS: Huidige Neural Architecture Search (NAS) frameworks vertrouwen op vooraf gedefinieerde, statische zoekruimtes. Ze missen "Semantische Creativiteit", wat betekent dat ze geen nieuwe structurele componenten (bijv. aangepaste temporal mixing layers) kunnen uitvinden buiten vaste interconnectiepatronen. Bovendien is de "design-to-deployment" kloof aanzienlijk; het integreren van een nieuw model vereist vaak een volledige systeemherstart.
3. Edge AI Beperkingen: Hoewel Time-Series Foundation Models (TSFMs) zoals Chronos een hoge nauwkeurigheid bieden, maken hun enorme parameteraantallen (100M+) en hoge inferentielatentie ze ongeschikt voor hulpbron-beperkte, real-time Edge AI-implementaties.

Methodologie: GenAutoML Framework

GenAutoML is een agentic framework dat het paradigma verschuift van "model zoeken" naar "Agentic Neural Engineering." Het maakt gebruik van Large Language Models (LLMs) als autonome "Neural Architects" om natuurlijke taalvereisten te vertalen naar uitvoerbare PyTorch-code. Het framework werkt via een closed-loop architectuur bestaande uit vier kerncomponenten:

1. Agentic Neural Synthesis (De Semantische Interface)

De kernmotor gebruikt een LLM (specifiek Llama 3-70B) om natuurlijke taalrestricties te interpreteren en neurale module-definities te genereren.

• Structureel Geometrisch Contract: De agent wordt beperkt tot het genereren van modules die een 3D-inputtensor ($B \times L \times D$) accepteren en een voorspellings-tensor ($B \times H \times D$) teruggeven, wat compatibiliteit met downstream pipelines garandeert.
• Dynamische Registry: De gegenereerde code wordt direct geschreven naar een dynamische registry, waardoor het systeem complexe structuren kan "uitvinden" (bijv. multi-scale Inception blocks) op basis van gebruikersbeschrijvingen.

2. Sandboxed Reflection Loop

Om code-hallucinaties en dimensie-mismatches die gebruikelijk zijn bij zero-shot LLM-generatie te mitigeren:

• De gegenereerde architectuur wordt geïsoleerd in een veilige execution sandbox.
• De agent instantieert het model en voert een gesimuleerde forward pass uit met dummy-tensors.
• Als de outputvorm niet overeenkomt met de verwachte horizon of er fouten optreden (bijv. traceback logs), voert het systeem deze fouten terug naar de LLM als een aanvullende prompt.
• Deze multi-turn feedback loop stelt de agent in staat om iteratief te debuggen op tensor-reshapes en kanaalpermutaties totdat een structureel gezonde modellen is geproduceerd.

3. Just-In-Time (JIT) Architecturale Integratie

GenAutoML maakt gebruik van een Reflection-based Orchestration pipeline om nieuwe modellen te integreren in een live optimalisatieomgeving zonder systeemherstarts:

• Hot-Swapping: Gebruikmakend van Python's importlib.reload, werkt het systeem de module cache in real-time bij.
• Signature-Aware Invocation: Het systeem gebruikt runtime-introspectie (inspect.signature) om runtime-tensors te matchen met de argumenten van de gegenereerde module.
• Shape-Agnostic Projectie: Als de LLM een model genereert met willekeurige verborgen kanaalaantallen, overbrugt een projectielaag ($\hat{Y} = W_{proj} \cdot M_{gen}(\hat{X}) + b_{proj}$) mathematisch de latente kenmerken naar de vereiste doeldimensies, wat catastrofale fouten voorkomt.

4. Statistische Hardening via Dynamische RevIN

Om niet-stationariteit en gradiëntexplosie in volatiele industriële data aan te pakken:

• Het framework omhult de door de LLM gegenereerde logica binnen een Dynamic Reversible Instance Normalization (Dyn-RevIN) laag.
• Deze laag ontkoppelt de onbetrouwbare architecturale logica van statistische stationariteitsrestricties. Het normaliseert de inputdata naar een stationaire distributie voordat het model het verwerkt, en denormaliseert de output naar het originele signaaldomein.
• Dit fungeert als een "safety guardrail", die convergentie garandeert zelfs als de gegenereerde architectuur slecht geschaald is.

Belangrijkste Bijdragen

1. Agentic Neural Synthesis met Sandboxed Reflection: Een nieuwe interface die semantische behoeften vertaalt naar uitvoerbare PyTorch-code, gevalideerd via een autonome debugging loop die de wiskundige validiteit waarborgt vóór deployment.
2. Runtime Architecturale Injectie: Een pipeline die "Hot-Swaps" van gegenereerde neurale modules mogelijk maakt in actieve Optuna-gebaseerde optimalisatielussen, waardoor systeemherstarts worden geëlimineerd en real-time validatie mogelijk wordt.
3. Mathematische Hardening (Dyn-RevIN): De integratie van een Dynamic Reversible Instance Normalization framework dat stationariteit afdwingt op de input-output manifold, wat de training van niet-stationaire signalen stabiliseert.
4. End-to-End Conversationeel Pipeline: Een workflow waarmee gebruikers datasets kunnen uploaden, exploratieve data-analyse kunnen uitvoeren via een Pandas DataFrame agent, en aangepaste architectuurontwerpen kunnen aanvragen, die allemaal gevalideerd worden in een federated sandbox.

Experimentele Resultaten

Het framework werd geëvalueerd op drie multivariate benchmarks: ETTh1, ETTm1, en Weather.

• Voorspellingsprestaties: Agent-gesynthetiseerde modellen (bijv. ResNet, Inception) behaalden concurrerende prestaties ten opzichte van SOTA Transformers zoals TimesNet en CrossFormer. Op de ETTm1 dataset benaderde een gesynthetiseerde ResNet (MAE = 0.532) de leidende lineaire modellen nauwgezet.
• Anomaliedetectie: Gesynthetiseerde modellen vertoonden superieure sensitiviteit. De door de agent ontworpen ResNetBlock bereikte een discriminatiekloof (Anomalous MSE / Clean MSE) van 265x op ETTh1, wat aanzienlijk beter is dan TimesNet (33x) en DLinear (~8x).
• Inference Latency & Efficiëntie:
  • Hoewel massieve foundation models (bijv. Chronos-T5-Mini) een hoge nauwkeurigheid bereiken, lijden ze onder een hoge latentie (~988 ms/sample).
  • De door de agent gegenereerde WaveInterferenceNet bereikte een inferentielatentie van <0.01 ms per sample, wat een snelheidswinst van ~100.000x vertegenwoordigt ten opzichte van foundation models.
  • De zoekkosten waren minimaal: WaveInterferenceNet vereiste slechts ~2 minuten GPU-tuning tijd (5 Optuna trials) vergeleken met aanzienlijk langere tijden voor traditionele baselines.
• Stabiliteit en Reproduceerbaarheid:
  • Zero-Variance Convergentie: In tegen tegenover standaard baselines (bijv. DLinear) die extreme gevoeligheid vertoonden voor random seeds (MAE fluctuatie $\sigma = 0.760$), behield de door de agent gesynthetiseerde WaveInterferenceNet een zero variance ($\sigma = 0.000$) over onafhankelijke trials wanneer seed-determinisme werd afgedwongen.
  • Ablatie Studies: De studie bevestigde dat Dyn-RevIN cruciaal is voor volatiele datasets (verbetering van MAE met ~94% op ETTh1), maar soms periodieke signalen in stabiele datasets (Weather) kan maskeren, wat de noodzaak voor een geautomatiseerde, agent-gestuurde zoekopdracht om optimale configuraties te bepalen, valideert.

Betekenis en Claims

Het paper positioneert GenAutoML niet enkel als een tool voor het maximaliseren van ruwe voorspellende nauwkeurigheid, maar als een framework voor deterministische, edge-deploybare synthese.

• Paradigmaverschuiving: Het verplaatst het veld van "massale modelzoektochten" naar "Agentic Neural Engineering", waarbij prioriteit wordt gegeven aan ultra-lichtgewicht architecturen (onder 1M parameters) die marginale fracties van nauwkeurigheid inruilen voor microseconde inferentielatenties en zeer stabiele deployment-kenmerken.
• Geschiktheid voor Veiligheidskritische Toepassingen: Door prioriteit te geven aan hoogst deterministische, zero-variance convergentie boven ruwe nauwkeurigheid, levert het framework architecturen op die uniek geschikt zijn voor veiligheidskritische, hulpbron-beperkte Edge AI-implementaties (bijv. embedded industriële sensoren).
• Semantische Creativiteit: Het framework demonstreert het vermogen om genuanceerde nieuwe topologieën te synthetiseren (bijv. WaveInterferenceNet met trigonometrische projecties) op basis van abstracte natuurlijke taalinstructies, waarbij het verder gaat dan de herhaling van standaard motieven zoals ResNets of LSTMs.

De auteurs concluderen dat hoewel het framework afhankelijk is van de reactietijden van de LLM API (een huidige beperking), het er succesvol in slaagt de kloof te overbruggen tussen het creatieve potentieel van generatieve AI en de rigoureuze stabiliteitseisen van industriële tijdreeksanalyse.