Technische Samenvatting: Identificatie van Expliciete Parsimonie Stuksgewijze Polynoomrelaties in Industriële Tijdsreeksen

1. Probleemstelling

Het artikel adresseert de uitdaging om niet-lineaire relaties te identificeren uit industriële tijdsreeksdata, specifiek voor toepassingen zoals digitale tweelingen, regelingontwerp en anomaliedetectie. Hoewel Deep Neural Networks (DNN's) breed worden gebruikt vanwege hun universele benaderingseigenschappen, betogen de auteurs dat ze vaak ongeschikt zijn voor industriële contexten vanwege drie specifieke beperkingen:

1. Onvolledige Trainingsdata: Industriële apparatuur opereert in diverse contexten die niet volledig vertegenwoordigd zijn in trainingssets, wat leidt tot hoge risico's van overfitting, met name bij DNN's met veel parameters.
2. Verplichte Verklaarbaarheid: Industriële operators vereisen modellen die overeenkomen met natuurwetten en toelaten tot root-cause-analyse van anomalieën. DNN's, met hun "black box"-karakter en honderdduizenden parameters, falen hierin zonder tijdrovende post-hoc analyse.
3. Inherent Parsimonie: Industriële systemen worden geregeerd door natuurwetten die structureel parsimonieus zijn. Modellen die deze sparsiteit niet afdwingen, zijn vatbaar voor slechte generalisatie op onbekende contexten.

De specifieke technische kloof die wordt aangepakt, is de overgang van impliciete stuksgewijze polynoommodellen (die strakke residuen bieden voor anomaliedetectie maar geen expliciete voorspellingsfunctie $\hat{y} = f(x)$ opleveren) naar expliciete parsimonie stuksgewijze polynoomrepresentaties. Expliciete modellen zijn vereist voor taken zoals het ontwerpen van virtuele sensoren of vooraansturende regeling.

2. Methodologie

2.1. Fundament: Impliciete Stuksgewijze Representatie

De aanpak bouwt voort op een eerder voorgesteld algoritme [3] dat een set van $n_m$ spaarzame multivariate polynomen $\{P_\kappa\}_{\kappa=1}^{n_m}$ identificeert. Deze polynomen definiëren een impliciete relatie waarbij het residu wordt geminimaliseerd als:
$$e(x, y) := \min_{\kappa=1}^{n_m} |y - P_\kappa(x)|$$
In deze impliciete vorm is, voor een gegeven feature-vector $x$, het label $y$ dicht bij een van de polynomen in de set, maar wordt de specifieke polynoomindex niet expliciet gemapt als een functie van $x$ op een manier die directe voorspelling toelaat zonder het oplossen van de minimalisatie opnieuw.

2.2. Voorgestelde Heuristiek: Expliciete Stuksgewijze Constructie

Om een expliciete voorspeller $\hat{y}$ af te leiden, stelt het artikel een "stemmingsgebaseerde" aggregatiestrategie voor. De kerngedachte is het construeren van een set expliciete stuksgewijze kaarten die de feature-ruimte partitioneren en de meest geschikte polynoom uit de impliciete set toewijzen aan elk gebied.

Stap 1: Partitioneren van Triples
Een partitioneringstriplet $\xi = (\pi, n_d, x_c)$ wordt gedefinieerd, bestaande uit:

• Een polynoom $\pi: \mathbb{R}^n \to \mathbb{R}$.
• Een geheel getal $n_d \ge 2$ (aantal sub-gebieden).
• Een centrum $x_c \in \mathbb{R}^n$.
  Deze triplet partitioneert de feature-ruimte in $n_d$ gebieden op basis van de quantielen van $\pi(x - x_c)$.

Stap 2: Constructie van Eén Stemmer
Voor een gegeven triplet $\xi$, wijst het algoritme de "beste" polynoom $P_{\kappa}$ toe aan elk gebied $R^{(i)}_\xi$ door de Mean Absolute Error (MAE) binnen dat gebied te minimaliseren. Dit creëert een enkele expliciete voorspeller (stemmer):
$$P_\xi(x) := P_{\kappa_\xi(\sigma_\xi(x))}(x)$$
waarbij $\sigma_\xi(x)$ $x$ mapt naar zijn gebiedsindex.

Stap 3: Aggregatie via Iteratieve Stemmerselectie
Omdat een enkele willekeurige partitionering suboptimaal kan zijn, genereert het algoritme een set van $n_V$ stemmers iteratief:

1. Initialisatie met een willekeurig triplet $\xi^{(1)}$ (centrum op 0, willekeurig polynoom).
2. Bereken de voorspellingsfout $\epsilon^{(j)}$ van het huidige ensemble (gemiddelde van $j$ stemmers).
3. Genereer een nieuwe kandidaat-triplet $\xi^{(j+1)}$ door:
   • Een nieuw centrum $x_c$ willekeurig te selecteren uit de top 5% van de samples met de hoogste huidige residuen.
   • Een willekeurig polynoom $\pi$ te genereren met een vast graad en aantal actieve monomen.
4. Acceptatiecriterium: De nieuwe stemmer wordt alleen toegevoegd aan het ensemble als de fout van het nieuwe ensemble voldoet aan een contractievoorwaarde: $\epsilon^{(j+1)} \le \gamma_c \times \epsilon^{(j)}$, waarbij $\gamma_c \in (0, 1)$.
5. Het proces stopt wanneer het maximum aantal pogingen is bereikt.

De uiteindelijke expliciete voorspelling is het gemiddelde van alle geaccepteerde stemmers:
$$\hat{y} := \frac{1}{n_V} \sum_{\ell=1}^{n_V} P_{\xi^{(\ell)}}(x)$$

3. Belangrijkste Bijdragen

1. Heuristische Afleiding: Het artikel presenteert een nieuwe heuristiek om impliciete spaarzame polynoomresiduen om te zetten in expliciete stuksgewijze polynoomvoorspellers met behulp van een partitioneringstriplet en een stemmingsaggregatiemechanisme.
2. Proof of Concept (6-assige Robot): De methode is gevalideerd op een 6-assige Staubli TX2-90 manipulator. Het algoritme slaagde erin expliciete modellen te identificeren voor alle zes koppelassen, wat schaalbaarheid naar hoogdimensionale feature-ruimtes ($n=18$) aantoont.
3. Generalisatiestudie (4-assige Robot): Een dedicated experiment op een 4-assige robot (Staubli TS0-80) testte generalisatie naar "onbekende contexten" (trajecten met aanzienlijk grotere uitwijkingen dan de trainingsdata). Dit benadrukte de robuustheid van de parsimonie aanpak in vergelijking met DNN's.
4. Vergelijkende Analyse: De studie biedt een rigoureuze vergelijking met state-of-the-art DNN-architecturen (MLP, CNN, Transformer) met betrekking tot voorspellingsnauwkeurigheid, generalisatiekloven, computationele complexiteit en trainingstijd.

4. Experimentele Resultaten

4.1. Use-Case 1: 6-assige Robot (Schaalbaarheid & Prestaties)

• Nauwkeurigheid: Op het testdataset bereikten de voorgestelde expliciete stuksgewijze polynoom (xpwpol) modellen genormaliseerde residuen (nMAE/nMSE) die vergelijkbaar waren met DNN's voor de eerste drie assen. Voor assen 4–6 waren de residuen iets hoger maar bleven binnen dezelfde orde van grootte.
• Generalisatie: De xpwpol modellen vertoonden opmerkelijk lage generalisatiekloven ($\alpha_c \approx 0.00 - 0.11$), wat wijst op minimaal overfitting. In tegenstelling hiermee vertoonden DNN's significante kloven (tot $\alpha_c \approx 2.31$), met trainingsresiduen die veel lager waren dan testresiduen, wat overfitting bevestigt.
• Complexiteit: De xpwpol modellen gebruikten maximaal ~700 actieve coëfficiënten (monomen). DNN's vereisten tussen de 14.000 en ~800.000 trainbare parameters.
• Berekeningstijd: Modelfitting voor xpwpol duurde seconden (bijv. 35s tot 173s) op een standaard CPU. DNN-training vereiste uren (2u+) zelfs met GPU-versnelling.

4.2. Use-Case 2: 4-assige Robot (Generalisatie naar Onbekende Contexten)

• Opzet: Training werd uitgevoerd op trajecten met "kleine uitwijkingen", terwijl testen werd gedaan op trajecten met "grote uitwijkingen" (een significante distributieverandering).
• Resultaten:
  • DNN's: Het Transformer-model faalde in generalisatie, met massale fouttoenames op de testset met grote uitwijkingen (bijv. nMAE die sprong van 0,08 naar 1,38 voor As 1).
  • xpwpol: De parsimonie modellen behielden robuuste prestaties op de eerste drie assen, met lage nMAE-waarden (bijv. 0,10 tot 0,37) ondanks de contextverschuiving.
  • Uitzondering: Voor As 4 worstelden zowel het DNN als het xpwpol-model, wat suggereert dat specifieke fysische dynamieken van die as niet goed werden vastgelegd door de beschikbare data of modelstructuur.
• Observatie: De xpwpol modellen vereisten in dit scenario slechts één partitioneringstriplet ($n_V=1$), gebruikmakend van polynomen van de eerste graad, en presteerden toch beter dan DNN's in generalisatie.

5. Betekenis en Claims

Het artikel claimt dat het voorgestelde kader een haalbaar alternatief biedt voor DNN's voor industriële tijdsreeksmodellering, met name wanneer:

• Data schaars of onvolledig is: De parsimonie aard van de modellen vermindert het risico van overfitting op specifieke trainingscontexten.
• Verklaarbaarheid cruciaal is: De expliciete stuksgewijze structuur stelt operators in staat voorspellingen terug te traceren naar specifieke subsets van sensoren en fysische relaties, wat root-cause-analyse faciliteert.
• Berekeningsmiddelen beperkt zijn: De methode bereikt fitting in seconden op standaard hardware, in tegenstelling tot de uren die voor DNN's nodig zijn.
• Generalisatie van het grootste belang is: Het "No Free Lunch"-theorema wordt erkend; de voorgestelde methode presteert niet universeel beter dan DNN's op alle metrieken (bijv. ruwe nauwkeurigheid op sommige assen was iets lager), maar presteert aanzienlijk beter in generalisatie naar onbekende contexten en modelinterpreteerbaarheid.

De auteurs concluderen dat hoewel geen enkele oplossing perfect is voor alle use-cases, de voorgestelde expliciete parsimonie aanpak een robuuste, efficiënte en verklaarbare optie is die adoptie verdient in industriële omgevingen waar betrouwbaarheid en begrip van het model even belangrijk zijn als ruwe voorspellingskracht.