Technische Samenvatting: Kalman Prototypical Networks voor Few-Shot Foutdetectie in Combined Cycle Gas Turbines

1. Probleemstelling

Combined-cycle gas-turbines (CCGT's) zijn cruciaal voor de moderne elektriciteitsopwekking vanwege hun hoge efficiëntie en verminderde milieu-impact. De complexe thermo-fluïdale en mechanische interacties maken foutdetectie echter uitdagend, met name voor zeldzame gebeurtenissen zoals lekken in de buizen van de Heat Recovery Steam Generator (HRSG). De belangrijkste flessenhals voor het implementeren van datagestuurde diagnostische systemen is het gebrek aan nauwkeurig gelabelde foutgegevens. Reële fouten komen zelden voor, data is vaak vertrouwelijk en handmatige labeling is arbeidsintensief. Bijgevolg hebben traditionele supervised learning-methoden, die vertrouwen op uitgebreide gelabelde datasets, moeite met deze door data beperkte industriële omgevingen. Hoewel Few-Shot Learning (FSL) een oplossing biedt door modellen in staat te stellen te generaliseren vanuit minimale voorbeelden, lijden bestaande metriek-gebaseerde FSL-methoden (bijv. Prototypical Networks) aan episodische variantie. In deze methoden fluctueren de klasse-prototypes, berekend uit kleine support sets, aanzienlijk tussen trainingsepisoden, wat leidt tot instabiele embeddings en verminderde robuustheid bij implementatie in de echte wereld.

2. Methodologie: Kalman Prototypical Network (KPN)

De auteurs stellen het Kalman Prototypical Network (KPN) voor, een metriek-gebaseerd FSL-framework dat is ontworpen om klasse-representaties te stabiliseren door de evolutie van prototypes te modelleren als een latent stochastisch proces.

Kernconcept

De methode behandelt de sequentie van klasse-prototypes $\{p^{(t)}_k\}$ over trainingsepisoden $t$ als een tijdreeks gegenereerd door een latent dynamisch systeem. In plaats van de ruwe, ruizige gemiddelden van de support set embeddings voor elke episode te gebruiken, past KPN een Kalman-filter toe om een gedemondeerde, temporeel consistente prototype $\hat{p}^{(t)}_k$ te schatten.

Technische Implementatie

1. State Space Model:

   • Latente Toestand: De ware klasse-prototype $\hat{p}^{(t)}_k$ wordt gemodelleerd als een latente toestand.
   • Observatie: De geobserveerde prototype $p^{(t)}_k$ (berekend uit de support set) wordt behandeld als een ruizige meting van de latente toestand.
   • Dynamiek: Het systeem gaat uit van een discrete-tijd lineair Gaussisch model waarbij de state transition en observation matrices identiteitsmatrices zijn ($F=H=I$). De procesruis-covariantie ($Q$) en de observatie-ruis-covariantie ($R$) zijn instelbare parameters.

2. Recursieve Update:
   Tijdens de training, voor elke episode $t$ en klasse $k$:

   • Voorspelling: De prior-schatting wordt bijgewerkt op basis van de vorige gefilterde toestand.
   • Update: De Kalman-gain $K^{(t)}_k$ wordt berekend om de prior-schatting optimaal te mengen met de nieuwe observatie $p^{(t)}_k$, wat effectief de trajectorie van de prototype in de embedding-ruimte gladstrijkt.

3. Classificatie:
   Query-samples worden geclassificeerd op basis van de kwadratische Euclidische afstand tot de Kalman-gefilterde prototypes, in plaats van de ruwe episodische gemiddelden. De verliesfunctie minimaliseert de negatieve log-likelihood over query-labels, waarbij de parameters $\theta$ van het embedding-netwerk worden bijgewerkt via gradiëntafdaling, terwijl de Kalman-parameters ofwel vaststaan of apart worden afgestemd.

Datageneratie

Om het gebrek aan reële gelabelde foutgegevens aan te pakken, hebben de auteurs gebruikgemaakt van een high-fidelity Modelica/Dymola dynamische simulatie van een offshore CCGT-systeem. Deze simulatie genereerde synthetische multi-sensor tijdreeksdata die het volgende vertegenwoordigt:

• Normale operationele dynamiek met belastingoscillaties.
• Progressieve lekfouten in de Once-Through Steam Generators (OTSG), gesimuleerd door de grootte van de lekopening in de loop van de tijd te vergroten.
  De dataset bestaat uit vijf 1-week tijdreeksen (met een resolutie van 1 uur), waarvan er drie de normale operatie vertegenwoordigen en twee de ontwikkelende lekken.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

1. Nieuw Framework: De voorstel van het Kalman Prototypical Network (KPN), dat de evolutie van prototypes modelleert als een latente stochastische toestand om episodische variantie te verminderen en de robuustheid in embedding-representatie te verbeteren.
2. Gebruik van Synthetische Datasets: De generatie en het gebruik van uitgebreide synthetische datasets uit een high-fidelity dynamisch model van een bestaande offshore CCGT, waarbij realistische transiënte condities en progressieve lek-anomalieën worden gesimuleerd.
3. Uitgebreide Evaluatie: Een uitgebreide prestatieanalyse waarbij KPN wordt vergeleken met state-of-the-art FSL-baselines (Prototypical Networks, Matching Networks, Relation Networks en MAML) over verschillende support- en query-configuraties.

4. Experimentele Resultaten

De voorgestelde methode is geëvalueerd tegen vier baselines (ProtoNet, MatchingNet, RelationNet, MAML) met behulp van 2-way classificatietaken op de synthetische CCGT-dataset.

• Nauwkeurigheid en Stabiliteit: KPN behaalde consequent de hoogste nauwkeurigheid met de laagste variantie over alle geteste configuraties.
  • In de 4-shot setting behaalde KPN 90,51% ± 2,01%, waarmee het MatchingNet (89,16%) en Prototypical Network (85,57%) versloeg.
  • In de 6-shot setting behield KPN ~90,42% nauwkeurigheid met een significant lagere variantie (±2,77%) vergeleken met ProtoNet (±5,00%).
• Query-grootte Robuustheid: KPN behield een hoge nauwkeurigheid (>90%) bij variërende query-groottes (5 tot 25 per klasse), wat stabiliteit demonstreert waar baselines een hogere gevoeligheid voor steekproefomvang vertoonden.
• Parametergevoeligheid: Het systeem vertoonde optimale prestaties met een matige procesruis ($q=10^{-3}$) en observatie-ruis ($r=10^{-3}$), wat wijst op een balans tussen adaptiviteit en temporele smoothing.
• Trainingsdynamiek:
  • Trajectie-analyse: Visualisatie van prototype-trajecten in de PCA-ruimte toonde aan dat KPN gladdere, meer onderscheidende klasse-scheidingen produceerde vergeleken met de verspreide, oscillerende trajecten van standaard Prototypical Networks.
  • Convergentie: KPN vertoonde snellere convergentie en gladdere verliesdynamiek tijdens de training, waardoor de ruis geassocieerd met episodische sampling werd verminderd.

5. Betekenis en Claims

Het artikel beweert dat het KPN-framework een kritieke barrière aanpakt voor de inzet van FSL in industriële omgevingen: de instabiliteit van klasse-representaties veroorzaakt door beperkte data. Door Kalman-filtering te integreren, stabiliseert de methode het leerproces, wat leidt tot:

• Verbeterde Generalisatie: Verbeterd vermogen om fouten accuraat te classificeren, zelfs met zeer weinig gelabelde voorbeelden (low-shot regimes).
• Robuustheid: Verminderde gevoeligheid voor de stochasticiteit van support set sampling en variërende operationele condities.
• Praktische Toepasbaarheid: De aanpak wordt gepresenteerd als zeer geschikt voor reële CCGT-foutdetectie waar gelabelde data beperkt is, wat een pad biedt naar betrouwbare anomaliedetectie zonder de prohibitieve kosten van uitgebreide datalabeling.

De auteurs concluderen dat hoewel KPN een minimale computationele overhead toevoegt (verwaarloosbaar vergeleken met embedding-berekeningen), het statistisch optimale schattingen oplevert onder Gaussische ruis-aannames, wat het een robuuste oplossing maakt voor veiligheidskritische industriële diagnostiek. Toekomstig werk suggereert de exploratie van adaptieve filterstrategieën en uitbreidingen naar multiclass ongebalanceerde settings.