Technische Samenvatting: Over de Afwegingen van Generatieve Modellen op het Apparaat in Federatieve Systemen voor Voorspellend Onderhoud

1. Probleemstelling

Het artikel behandelt de implementatie van systemen voor Voorspellend Onderhoud (PdM) binnen omgevingen van het Industrial Internet of Things (IIoT). Hoewel Anomalie Detectie (AD) cruciaal is voor het verschuiven van onderhoud van reactieve naar proactieve strategieën, staan traditionele gecentraliseerde benaderingen in industriële omgevingen voor drie primaire belemmeringen:

1. Data-eigendom en Vertrouwelijkheid: Sensorstromen bevatten vaak gevoelige operationele data, wat centralisatie onuitvoerbaar maakt vanwege intellectuele eigendomsrechten en compliance-beperkingen (bijv. AVG/GDPR).
2. Data-heterogeniteit (Non-IID): Industriële activa opereren onder uiteenlopende omstandigheden (leeftijd, belasting, omgeving), wat resulteert in niet-identiek en onafhankelijk verdeelde (non-IID) data. Het aggregeren van deze divergente distributies leidt vaak tot "mode-averaging", waarbij een globaal model faalt in het vastleggen van specifieke lokale dynamieken.
3. Beperkte Resources: Edge-apparaten en gateways hebben beperkte bandbreedte, rekenkracht en energie, waardoor de frequente transmissie van grote parameters van generatieve modellen (vaak miljoenen parameters) verbiedend is.

Hoewel Federated Learning (FL) een oplossing biedt door collaboratieve training mogelijk te maken zonder uitwisseling van ruwe data, blijft de toepassing ervan op ongezuperviseerde generatieve modellen (VAE's, GAN's, Diffusiemodellen) voor tijdreeks-AD onderbelicht. Bestaande FL-methoden gaan vaak uit van gesuperviseerde taken waarbij het scheiden van representatieleren van classificatie voor de hand ligt; deze scheiding is minder duidelijk in ongesuperviseerde generatieve modellering, waarbij de volledige architectuur bijdraagt aan reconstructie en anomalie-scoring.

2. Methodologie

2.1 Gecentraliseerd Architecturaal Perspectief

De auteurs stellen een unified raamwerk voor om drie families van generatieve modellen te analyseren: Variational Autoencoders (VAE's), Generative Adversarial Networks (GAN's) en Denoising Diffusion Probabilistic Models (DDPM's). Zij ontleden deze architecturen in twee functionele componenten:

• Analyse-component ($\phi$): Maakt hoge-dimensionale observaties af op latente of gescoorde representaties (bijv. VAE-encoder, GAN-discriminator/critic, DDPM U-Net-encoder).
• Synthese-component ($\theta$): Reconstructeert of genereert data uit representaties (bijv. VAE-decoder, GAN-generator, DDPM U-Net-decoder).

2.2 Paradigma van Partial Federation

Op basis van deze ontleding introduceert het artikel een strategie van Partial Federation. In plaats van alle parameters te delen (Full Federation) of geïsoleerd te trainen (Independent Learning), worden de modelparameters gepartitioneerd:

• Gedeelde Parameters ($w_{share}$): Gecommuniceerd tussen clients en de server.
• Privé Parameters ($w_{priv}$): Lokaal behouden op de client.

Deze aanpak maakt specifieke federatiebeleid mogelijk:

• Encoder/Discriminator Federatie: Alleen de analyse-component wordt gedeeld.
• Decoder/Generator Federatie: Alleen de synthese-component wordt gedeeld.

Deze strategie beoogt een balans te vinden tussen wereldwijde kennisontdekking en lokale personalisatie, communicatie-overhead te verminderen en instabiliteit (bijv. mode collapse) te mitigeren die wordt veroorzaakt door het aggregeren van heterogene generatieve modellen.

2.3 Experimentele Opstelling

• Datasets:
  • ARAMIS: Een primaire benchmark voor PdM met persistente anomalieën en degradatieprocessen. Gebruikt voor tijdsbewuste metrieken.
  • SWaT: Een Secure Water Treatment-dataset gebruikt voor cross-domein validatie van standaard detectiemetrieken.
• Geëvalueerde Modellen:
  • LSTM-VAE: Gebruikt LSTM-lagen voor temporele afhankelijkheden.
  • TAnoWGAN: Een variant van de Wasserstein GAN met gradiëntstraffen voor stabiliteit.
  • FedSW-TSAD: Een federatieve hypernetwerkbenadering met Sobolev–Wasserstein-beperkingen.
  • TAnoDDPM: Een op 1D U-Net gebaseerd Diffusiemodel.
• Metrieken:
  • Standaard: F1-score, Precisie, Recall, PR-AUC.
  • Tijdsbewust (PdM-specifiek): Gemiddelde tijdsoffset voor vroege detectie ($\Delta t_{FP}$) en late detectie ($\Delta t_{FN}$), en een kostenfunctie die late detectie zwaarder bestraft.
• Communicatie-analyse: Gekwantificeerd via overgedragen parameters, dataverkeer (MB) en latentie per ronde.

3. Belangrijkste Bijdragen

1. Gestructureerde Review en Probleemformulering: Het artikel benadrukt de kloof tussen recente vooruitgang in generatieve AD (VAE, GAN, DDPM) en hun beperkte studie onder federatieve PdM-opstellingen.
2. Gecentraliseerd Architecturaal Perspectief: Het introduceert een gemeenschappelijke ontleding in analyse/synthese voor VAE's, GAN's en DDPM's, waardoor een consistente vergelijking mogelijk wordt van volledige, partiële en lokale trainingsstrategieën over heterogene modelfamilies heen.
3. Systematisch Partial-Federation Raamwerk: De auteurs ontwikkelen een raamwerk om de effecten van gedeelde versus privé architecturale partitionering onafhankelijk te analyseren van optimizer-specifieke personalisatiemechanismen.
4. Uitgebreide Empirische Studie: Uitbreidend op eerder conferentiewerk, biedt het artikel een vergelijkende analyse van VAE-, GAN- en DDPM-benaderingen, waarbij deze worden geëvalueerd tegen tijdsbewuste PdM-metrieken en communicatiekosten.
5. Implementatie-gerichte Analyse: De studie kwantificeert communicatie-overhead en leidt praktische richtlijnen af voor architectuurselectie in resource-beperkte industriële IoT-netwerken.

4. Resultaten

4.1 Prestaties op ARAMIS (PdM-instelling)

• Gecentraliseerd versus Independent: Onafhankelijke lokale training levert slechte prestaties op (bijv. daalt de LSTM-VAE F1-score van 0,952 naar 0,753), wat de noodzaak van collaboratie bevestigt. Full Federation herstelt het grootste deel van de gecentraliseerde prestaties.
• Modelrobustheid:
  • VAE en DDPM: Deze modellen tonen superieure robuustheid en stabiliteit in federatieve instellingen in vergelijking met GAN's.
  • GAN's (TAnoWGAN, FedSW-TSAD): Hoewel Full Federation de stabiliteit van GAN's verbetert ten opzichte van onafhankelijke training, blijven ze minder robuust dan VAE- en DDPM-alternatieven. Partial-federationstrategieën degraderen over het algemeen de GAN-prestaties, waarschijnlijk vanwege de fragiliteit van het adversariale evenwicht bij het ontkoppelen van generator- en critic-updates.
• Partial Federation-strategieën:
  • VAE: Presteert het beste bij het delen van de Encoder (Analyse). Dit aligneert de latente ruimte-mapping over clients heen, terwijl lokale decoders zich kunnen specialiseren in sensor-specifieke ruis.
  • DDPM: Presteert het beste bij het delen van de Decoder (Synthese). Dit stelt de federatie in staat om overeenstemming te bereiken over de fundamentele signaalgeneratiestructuur, terwijl de encoder (feature-extractie) lokaal blijft voor personalisatie. Opmerkelijk is dat de configuratie van DDPM met gedeelde decoder de Full Federation overtrof in F1-score (0,885 versus 0,875).
  • GAN's: Zowel het delen van de Encoder als de Decoder resulteerde in lagere F1-scores in vergelijking met Full Federation.

4.2 Tijd- en Kostenanalyse

• Detectielatentie: TAnoWGAN vertoonde de hoogste tijdsoffsets en detectievertragingen, vooral in partial-federation-opstellingen. LSTM-VAE leverde de meest betrouwbare en snelle detectiesignalen.
• Kostenefficiëntie: LSTM-VAE en TAnoDDPM (specifiek met gedeelde decoder) handhaafden de laagste misalignementkosten, die nauw aansloten bij gecentraliseerde baselines.

4.3 Communicatie-overhead

• Partial federation verminderde de communicatie-lading met ongeveer 50% in vergelijking met Full Federation.
• FedSW-TSAD toonde het grootste reductiepotentieel (tot 90% in Encoder-only-opstellingen) omdat de predictor-component lokaal blijft in partiële opstellingen, terwijl deze in Full Federation wordt overgedragen.
• Ondanks de overhead verminderden partial-federationstrategieën de latentie per ronde aanzienlijk (bijv. van ~6s naar ~3s op een 10 Mbps-link) terwijl ze een hoge detectienauwkeurigheid behielden.

4.4 Cross-Domein Validatie (SWaT)

Resultaten op de SWaT-dataset bevestigden de kwalitatieve trends die in ARAMIS werden waargenomen:

• Onafhankelijke training presteerde slechter dan collaboratieve training.
• VAE's profiteerden meer van het delen van de analyse-component.
• DDPM's profiteerden meer van het delen van de synthese-component.
• Op GAN gebaseerde modellen bleven minder robuust dan VAE- en DDPM-configuraties.

5. Betekenis en Claims

Het artikel beweert dat Federated Learning de generatieve training succesvol stabiliseert op gedistribueerde, non-IID tijdreeksdata, waarbij het grootste deel van de bruikbaarheid van gecentraliseerde training wordt hersteld zonder het delen van ruwe data.

Belangrijke bevindingen met betrekking tot de betekenis zijn:

• Geen Universele Architectuur: Geen enkele architectuur is universeel optimaal, maar er ontstaan duidelijke trends: VAE's bieden de hoogste stabiliteit en de laagste implementatiekosten, terwijl DDPM's superieur potentieel tonen onder omstandigheden met beperkte bandbreedte bij gebruik van partial federation (specifiek gedeelde decoder).
• Beperkingen van GAN's: Onder de geteste configuraties waren op GAN gebaseerde baselines minder effectief dan VAE- en DDPM-alternatieven in federatieve TSAD. De auteurs merken op dat dit specifiek is voor de geselecteerde architecturen en trainingsopstellingen, en geen algemene conclusie voor alle op GAN gebaseerde methoden.
• Partial Federation als Personalisatie: De voorgestelde aanpak is niet louter een compressietechniek, maar een personalisatie-ontvanger. Het delen van de Encoder komt VAE's ten goede, terwijl het delen van de Decoder DDPM's ten goede komt.
• Praktische Richtlijnen: De studie biedt concrete richtlijnen voor het selecteren van architecturen en federatiebeleid in industriële IoT, en suggereert dat LSTM-VAE en TAnoDDPM de meest betrouwbare en kosteneffectieve keuzes zijn, capable om de communicatie-overhead met ~50% te verminderen terwijl ze hoge F1-scores en lage detectie-offsets bereiken.

De auteurs stellen nederig dat ze geen formeel monotoon-convergentiestelling claimen voor deze niet-convexe federatieve doelen, maar eerder structurele interpretaties en empirisch bewijs bieden met betrekking tot stabiliteit, bruikbaarheid en communicatie-efficiëntie.