Using the SEKF to Transfer NN Models of Dynamical Systems with Limited Data

Dit artikel presenteert een methode die de Subset Extended Kalman Filter (SEKF) gebruikt om vooraf getrainde neurale netwerken aan te passen aan nieuwe dynamische systemen met beperkte data, waardoor slechts 1% van de oorspronkelijke trainingsdata nodig is voor effectieve finetuning.

De kern

De "Slimme Leerling": Hoe je een AI helpt met weinig gegevens

Stel je voor dat je een zeer getalenteerde kok hebt die een perfecte soepreceptuur heeft geleerd door duizenden liters soep te koken in een grote fabriek. Deze kok is een neuraal netwerk (een soort kunstmatige intelligentie) die de dynamiek van de soep perfect begrijpt.

Nu wil je diezelfde soep maken, maar dan in een heel klein keukentje met een heel andere kachel. Het probleem? Je hebt niet de tijd of het geld om duizenden liters soep te koken om de nieuwe kachel te leren kennen. Je hebt misschien maar één of twee potten soep om te experimenteren.

Als je een nieuwe, onervaren kok (een AI die vanaf nul begint) zou sturen, zou die waarschijnlijk failliet gaan voordat hij iets goed had. Maar wat als je de ervaren fabriekskok naar je kleine keuken stuurt? Die weet al hoe soep werkt; hij hoeft alleen maar een paar kleine aanpassingen te maken voor jouw specifieke kachel.

Dit is precies wat dit wetenschappelijke artikel doet. Het onderzoekt hoe je een voorgeladen AI-model (de fabriekskok) kunt aanpassen aan een nieuw, vergelijkbaar systeem met zeer weinig nieuwe data.

Het Probleem: "Te veel leerwerk, te weinig tijd"

In de echte wereld (zoals in fabrieken of ziekenhuizen) is het vaak te duur, te gevaarlijk of te tijdrovend om enorme hoeveelheden data te verzamelen om een nieuw systeem te leren. Traditionele AI-modellen hebben echter enorme hoeveelheden data nodig om goed te werken. Zonder genoeg data "leren ze niet" of "leren ze het verkeerde" (ze onthouden de training maar begrijpen het niet echt).

De Oplossing: De "Subset Extended Kalman Filter" (SEKF)

De auteurs gebruiken een slimme wiskundige techniek genaamd de Subset Extended Kalman Filter (SEKF).

Laten we dit vergelijken met het instellen van een oude radio:

1. De Traditionele Methode (Gradient Descent): Dit is alsof je de knoppen van de radio volledig losdraait en ze willekeurig weer instelt terwijl je probeert een zender te vinden. Je draait hard aan alles, maar het kost veel tijd en je raakt de goede instelling misschien kwijt.
2. De Nieuwe Methode (SEKF): Dit is alsof je de radio al op de juiste frequentie hebt staan (van de fabriekskok). Je draait nu heel voorzichtig en gericht aan slechts een paar specifieke knoppen om het geluid scherp te krijgen. De SEKF is slim genoeg om te weten: "Wees voorzichtig, we hebben maar weinig luistermomenten, dus verdraai de knoppen niet te hard."

Het geheim van de SEKF is dat het onzekerheid meet. Het zegt eigenlijk: "We weten al veel van de oude machine, dus we gaan uit van die kennis. Maar als de nieuwe metingen iets anders zeggen, passen we heel voorzichtig aan, zonder het hele systeem te resetten."

Wat hebben ze ontdekt? (De 4 belangrijkste lessen)

1. Kleine aanpassingen zijn genoeg
Het onderzoek toont aan dat je de AI niet hoeft te herschrijven. Je hoeft alleen maar heel kleine "tweelingen" aan de parameters te maken.

• Vergelijking: Het is alsof je een perfect gebakken taart hebt. Je hoeft de hele taart niet opnieuw te bakken; je hoeft alleen de glazuurkleur iets aan te passen voor een ander feestje. De auteurs vonden dat de nieuwe AI-modellen nog steeds 99% leken op de oude modellen.

2. Minder data, beter resultaat
Met de nieuwe methode kon de AI net zo goed presteren als een model dat met duizenden data-punten was getraind, maar dan met slechts 1% van de data.

• Vergelijking: Een student die een jaar lang een taal heeft geleerd (de bron-AI) kan in één week een nieuwe, vergelijkbare taal leren (de doel-AI) als hij de basis al kent. Een student die vanaf nul begint, heeft daar jaren voor nodig.

3. Geen "overleren" (Overfitting)
Als je te weinig data hebt, neigt een AI ertoe om de data uit het hoofd te leren in plaats van de regels te begrijpen. Dit heet "overfitting".

• Vergelijking: Een student die alleen maar de antwoorden van één proefwerk uit het hoofd leert, faalt op het echte examen. De SEKF methode zorgt ervoor dat de AI "niet te veel" aanpast aan de kleine dataset, waardoor hij op het echte examen (nieuwe situaties) beter presteert. Het houdt de AI "nuchter".

4. Vergeet de "laagjes"-regel uit de computerwereld
In de wereld van beeldherkenning (zoals gezichten herkennen) is het gebruikelijk om de eerste lagen van een AI (die lijnen en vormen zien) "vast te zetten" en alleen de laatste lagen aan te passen.

• De verrassing: Bij dynamische systemen (zoals een veer die beweegt of een reactor die warmte regelt) werkt dit niet. De aanpassingen moeten overal in het netwerk plaatsvinden, niet alleen aan het einde.
• Vergelijking: Bij het herkennen van een hond is de vorm van een oor (eerste laag) altijd hetzelfde. Maar bij een veer die trilt, moet je misschien de manier waarop de veer buigt, de snelheid en de wrijving allemaal een beetje aanpassen. Het hele systeem moet samenwerken.

Waarom is dit belangrijk voor de echte wereld?

Stel je voor dat je een nieuwe chemische fabriek opent. Je hebt een simulatie van hoe het werkt, maar de echte fabriek is net iets anders (andere temperatuur, andere materialen).

• Vroeger: Je moest maandenlang data verzamelen om een nieuw model te bouwen.
• Nu: Je neemt het model van de simulatie, past het met de SEKF-methode aan op basis van een paar uur echte data, en je hebt direct een betrouwbaar model.

Dit bespaart tijd, geld en maakt het mogelijk om slimme systemen in te zetten op plekken waar data schaars is, zoals in de gezondheidszorg of bij gevaarlijke industriële processen.

Conclusie in één zin

Je hoeft niet elke keer het wiel opnieuw uit te vinden; met de juiste wiskundige hulpmiddelen (SEKF) kun je een ervaren "AI-expert" snel en veilig aanpassen aan een nieuwe situatie, zelfs als je maar heel weinig nieuwe informatie hebt.

Technische samenvatting

Titel

Gebruik van de Subset Extended Kalman Filter (SEKF) voor het aanpassen van voorgeprogrammeerde neurale netwerkmodellen van dynamische systemen met beperkte data.

1. Het Probleem

Data-gedreven modellen, zoals Kunstmatige Neurale Netwerken (ANN), zijn krachtige tools voor het benaderen van complexe dynamische systemen. Echter, hun praktische toepassing, vooral in industriële settings, wordt beperkt door drie fundamentele uitdagingen:

• Data-schaarste: Het verzamelen van voldoende trainingsdata is vaak onhaalbaar vanwege kosten, veiligheidsrisico's of tijdsbeperkingen.
• Slechtere generalisatie: Modellen presteren vaak slecht buiten het bereik van de trainingsdata of wanneer de operationele condities veranderen.
• Beperkte Transfer Learning strategieën: Bestaande methoden voor transfer learning (vaak gebruikt in computer vision) vertrouwen op het "bevriezen" van vroege lagen en het aanpassen van latere lagen. Dit werkt goed voor beeldherkenning (waar lagen hiërarchische features coderen), maar is niet direct toepasbaar op dynamische systemen. Bij dynamische systemen is er geen duidelijke hiërarchie van features, en het is onduidelijk welke parameters aangepast moeten worden. Bovendien missen veel bestaande methoden een probabilistisch kader om overfitting te voorkomen bij zeer beperkte datasets.

2. Methodologie

De auteurs stellen een transfer learning-framework voor dat gebaseerd is op Bayesiaanse inferentie en de Subset Extended Kalman Filter (SEKF).

• Bayesiaanse Formulering: Het probleem wordt geformuleerd als het schatten van de parameters van het doelsysteem ($\pi_T$) gegeven een voorgeprogrammeerd bronmodel ($\pi_S$). De bronparameters fungeren als een Gaussische prior ($p(\pi) = \mathcal{N}(\pi_S, P_0)$).
• SEKF als Optimisatie: In plaats van traditionele gradiënt-based methoden (zoals Adam of L-BFGS) die alleen de loss minimaliseren, gebruikt de SEKF de parameters als "toestanden" in een filter.
  • Procesruis ($Q$): Controleert hoe ver de parameters van de bronwaarde mogen afwijken (regularisatie).
  • Meetruis ($R$): Weegt de betrouwbaarheid van de nieuwe observaties.
  • Subset-mechanisme: Om de hoge rekentijd van een volledige Kalman-filter (die $O(n^3)$ complexiteit heeft voor de covariantiematrix) te omzeilen, worden bij elke stap slechts een subset van de parameters bijgewerkt. Dit maakt het toepasbaar op neurale netwerken.
• Experimentele Opstelling: De methode wordt getest op twee systemen:
  1. Een gedempte veer-massa-systeem (simulatie).
  2. Een TCLab (Temperature Control Lab) systeem (simulatie naar realiteit).
     In beide gevallen wordt een model getraind op een bron-systeem en vervolgens aangepast aan een doel-systeem met slechts 1% van de oorspronkelijke trainingsdata.

3. Belangrijkste Bijdragen

• Probabilistische Transfer Learning: Het introduceren van SEKF als een principieel kader voor transfer learning bij dynamische systemen, waarbij overfitting wordt tegengegaan door de inherente regularisatie van de Bayesiaanse prior.
• Inzicht in Parameteraanpassing: Het weerleggen van de heuristiek uit computer vision (dat alleen de laatste lagen aangepast moeten worden). De studie toont aan dat bij dynamische systemen kleine aanpassingen gedistribueerd over het hele netwerk nodig zijn, ongeacht de laag.
• Efficiëntie met weinig data: Het aantonen dat een voorgeprogrammeerd model met slechts 1% van de data kan worden gefinetuned om een nauwkeurigheid te bereiken die vergelijkbaar is met het oorspronkelijke model.

4. Resultaten

De experimentele validatie leverde de volgende cruciale bevindingen op:

• Superieure Prestaties bij Data-schaarste: Finetuning met SEKF (en andere methoden) presteert aanzienlijk beter dan het opnieuw trainen van een model vanaf willekeurige initialisatie wanneer de dataset klein is. Bij het gedempte veer-systeem is het verschil het grootst bij zeer kleine datasets (bijv. 10 samples).
• Kleine Parameterveranderingen: De aangepaste parameters blijven zeer dicht bij de bronparameters. De cosine similarity tussen bron- en doelparameters ligt consistent boven de 0,99. Dit bevestigt dat dynamische systemen met vergelijkbare dynamica in een klein gebied van de parameter-ruimte liggen.
• Gedistribueerde Aanpassing: In tegenstelling tot computer vision, waar alleen de output-lagen worden aangepast, tonen de resultaten aan dat gewichtsveranderingen bij dynamische systemen over alle lagen verspreid zijn.
  • Adam: Kleine, uniforme updates over veel parameters.
  • L-BFGS: Grotere updates geconcentreerd in minder parameters.
  • SEKF: Zeer selectieve updates, beperkt tot specifieke neuronen, maar wel verspreid over het netwerk.
• Regularisatie en Generalisatie: Finetuning leidt tot een kleiner verschil tussen trainings- en testfout (Train-Test Gap) dan opnieuw trainen. Dit betekent dat finetuning overfitting effectief onderdrukt.
• Optimizers en Convergentie: Hoewel SEKF meer rekentijd vereist dan gradiënt-methoden (vooral bij opnieuw trainen), is het generalisatievermogen (train-test gap) statistisch niet significant verschillend tussen de optimizers. De keuze van de optimizer heeft dus meer invloed op de rekentijd dan op de uiteindelijke modelkwaliteit.

5. Betekenis en Conclusie

Deze studie biedt een robuust kader voor het ontwikkelen van data-gedreven modellen in omgevingen waar data beperkt is (bijv. industriële processen, veiligheidskritieke systemen).

• Praktische Implicatie: Het is niet nodig om een nieuw model vanaf nul te trainen. Het is effectiever om een hoogwaardig bronmodel te gebruiken en dit met minimale data (zoals 1%) aan te passen via finetuning.
• Strategische Richting: Voor dynamische systemen moeten alle lagen van een neurale netwerk worden meegenomen in de aanpassing, in plaats van lagen te bevriezen.
• Online Adaptatie: Een specifiek voordeel van SEKF is de mogelijkheid tot sequentiële verwerking. Dit maakt online adaptatie mogelijk tijdens de normale bedrijfsvoering, zonder dat er grote batches data verzameld moeten worden voor discrete hertrainingscycli.

Kortom, de paper toont aan dat transfer learning voor dynamische systemen succesvol is als het wordt benaderd als een Bayesiaanse schattingsprobleem met kleine, maar gedistribueerde parameteraanpassingen, wat leidt tot modellen die zowel data-efficiënt als robuust zijn.