Technische Samenvatting: Tiny Machine-Learning Operations binnen Cyber-Fysieke Systemen

Probleemstelling

Machine-Learning Operations (MLOps) is volwassen aan het worden als discipline voor cloud-gecentreerde systemen, maar de toepassing ervan op TinyML—modellen die draaien op middelen-beperkte microcontrollers binnen Cyber-Fysieke Systemen (CPS)—blijft in de industriële praktijk slecht begrepen. In veiligheidskritische omgevingen, zoals de installatie van offshore windkabels, wordt de integratie van ML geconfronteerd met drie primaire barrières:

1. Beperkte Middelen: Modellen moeten passen binnen geheugenbudgetten op kilobyte-schaal (bijv. 32 kB op een ARM Cortex-M4).
2. Verklaarbaarheid & Veiligheid: "Black-box"-modellen kunnen niet voldoen aan de bewijsvoering die vereist is voor veiligheidskritische goedkeuring; beslissingen blijven vaak afhankelijk van menselijke experts vanwege een gebrek aan transparantie.
3. Data & Drift: Operationele data is ruisig, heterogeen en onderhevig aan concept drift (veranderende fysieke omstandigheden), waardoor standaard empirische risicominimalisatie onbetrouwbaar is.

Momenteel vertrouwen de meeste ingezette CPS op zware menselijke monitoring en reactieve diagnose. Bestaande voorspellende modellen zijn vaak niet beschikbaar, incompleet of onnauwkeurig, wat onzekerheid injecteert die de operationele betrouwbaarheid ondermijnt. De specifieke uitdaging die wordt aangepakt, is het ontwerpen van een end-to-end, kennis-gecentreerde TinyMLOps-pipeline die domeinfysica en expert-speculatie combineert met sensorstromen om verklaarbare, compacte modellen te leveren die op het apparaat zelf kunnen worden ingezet.

Methodologie

De auteurs hebben een industriële veldstudie uitgevoerd, gebaseerd op twee offshore windkabel-trogcampagnes: Kaskasi II (42 inter-array kabels, zandgrond) en South Fork Wind (12 kabels, harder/variabel gesteente). De studie maakte gebruik van een instrumentele casestudy-methode, waarbij het troggingsproces werd gebruikt als voertuig om het bredere fenomeen van het integreren van verklaarbare TinyML in veiligheidskritische CPS te begrijpen.

Data Engineering

De pipeline verwerkte 4,4 GB aan heterogene data uit vier bronnen:

• Dagelijkse voortgangsrapporten (DPR's).
• Trencher-instellingen (PLC-data).
• Hoge-frequentie sensorstromen (1 Hz, ~650 tags).
• Bodemlaaggegevens (geotechnische context).

De belangrijkste technische uitdagingen die werden aangepakt, omvatten semantische drift (het normaliseren van verwijzingen naar "diepte" versus "hoogte") en onbetrouwbare temporele labeling. De auteurs leidden actieve troggingsvensters direct af uit sensordata (monotone kilometerpunt-segmenten) in plaats van te vertrouwen op administratieve logs.

De TinyMLOps-pipeline

De voorgestelde architectuur scheidt dataconstructie van modeltraining om snelle kennisengineering te faciliteren:

1. Kennisgestuurde Feature Constructie: Expert-speculaties worden gecodeerd als configureerbare, vertraagde (lagged) feature-transformaties (bijv. vertraagde vensters van 3,6 minuten om de fysieke afstand tussen de voorwaartse gereedschappen en de kabelgeleider te compenseren). Features omvatten onder meer bodemlaag-proporties, instrument-belastingconsistentie en diepteveranderingen.
2. Interpreteerbare Modellering: Het systeem maakt gebruik van Logistische Regressie met optionele $\ell_1$-regularisatie. Deze keuze zorgt ervoor dat het model interpreteerbaar blijft (coëfficiënten dienen als audit-signalen) en past binnen de 32 kB geheugenvoetafdruk die vereist is voor on-device inferentie.
3. Labeling Strategie: In plaats van regressie op de ruwe belasting, classificeert het systeem "schadelijke belastingpieken". Een piek wordt gedefinieerd als een waarde die de voortschrijdende gemiddelde plus een gekalibreerd veelvoud (2–3$\sigma$) van de standaarddeviatie overschrijdt, waardoor zowel transiënte pieken als aanhoudende stijgingen worden gevangen.
4. Validatie Protocol: Om concept drift te behandelen, gebruikt de studie rolling temporal cross-validation. Modellen worden getraind op kabels die tot dan toe zijn gezien en geëvalueerd op de volgende, wat zorgt dat er geen data-lekkage vanuit de toekomst optreedt. Standardisatie-statistieken worden uitsluitend afgeleid van historische data.

Belangrijkste Bijdragen

1. Pipeline Architectuur: Een herbruikbare, configureerbare TinyMLOps-pipeline die domeinfysica, expert-speculatie en sensorstromen combineert in sub-32 kB modellen die inzetbaar zijn op ARM Cortex-M4.
2. Kennis-engineering Methode: Een systematische aanpak om expert-speculatie te coderen als testbare, vertraagde features. Dit transformeert impliciete operator-kennis in controleerbaar modelbewijs, waardoor het systeem hypothesen empirisch kan valideren of weerleggen.
3. Empirische Evaluatie: Een uitgebreide evaluatie op 4,4 GB aan real-world data die voorspellende prestaties en operationele impact aantoont.
4. Reproduceerbare Artefacten: Release van open-source code (Python/MicroPython) en een geannoteerde dataset om reproduceerbare kennisengineering in middelen-beperkte CPS te ondersteunen.

Resultaten

De studie werd geëvalueerd op de Kaskasi II-campagne en gevalideerd out-of-sample op de South Fork-campagne.

• Voorspellende Prestaties: De classifier anticipeert op schadelijke kabelgeleider-belastingpieken tot drie minuten vooraf met een AUC van 0,84 onder rolling temporal cross-validation.
• Impact van Kennisinjectie: Een ablatie-studie die de kennis-geïnformeerde pipeline vergeleek met een kennis-vrije baseline liet zien dat het injecteren van voorkennis de false-alarm rate halveerde bij een gelijkwaardige recall. Dit bevestigt dat de kennis-engineering methode, en niet alleen de modelklasse, de prestatiewinst drijft.
• Operationeel Voordeel: Het afspelen van modelaanbevelingen tegen opgenomen campagnes gaf een reductie van 11% in niet-productieve tijd aan.
• Kennisvalidatie:
  • Bevestigd: Het vergroten van de "Depth of Lowering" (DoL) verhoogt consistent het risico op pieken. Consistentie in instrumentbelasting (variantie) correleert ook met pieken.
  • Weerlegd: Veranderingen in de snelheid van de trencher (onmiddellijk of vertraagd) vertoonden geen consistent effect op de waarschijnlijkheid van pieken, wat een wijdverbreide overtuiging weerlegt.
  • Generalisatie: De bevestigde kennis (specifiek het DoL-effect) werd succesvol overgedragen naar de South Fork-campagne, die materieel andere bodemomstandigheden had, wat de externe validiteit van de aanpak bevestigt.

Betekenis en Claims

Het artikel claimt aan te tonen dat verklaarbare, kennis-gecentreerde TinyMLOps succesvol kan worden geëngineerd en ingezet binnen veiligheidskritische CPS om betrouwbare besluitvormingsondersteuning te bieden.

• Engineering Verschuiving: De studie betoogt dat in kennis-intensieve CPS de meest waardevolle MLOps-interface een declaratieve codering van domeinkennis (configureerbare features) is, in plaats van een traditionele model registry. Dit stelt niet-ML belanghebbenden in staat om experimenten aan te sturen en transformeert impliciete expertise in testbare hypothesen.
• Synergie van Beperkingen: De auteurs stellen dat verklaarbaarheid en middelen-zuinigheid elkaar versterken. Interpreteerbare, parameters-arme modellen zijn niet alleen controleerbaar voor veiligheid, maar zijn ook klein genoeg om on-device te draaien, waardoor latentie aan de kantoorzijde uit de control loop wordt verwijderd.
• Evaluatie Rigor: Het artikel benadrukt dat evaluatie in stromende CPS-data de drift moet respecteren. Conventionele willekeurige splitsingen zijn onvoldoende; rolling temporal cross-validation wordt gepresenteerd als het eerlijke protocol voor dergelijke omgevingen.

De auteurs concluderen dat hoewel de specifieke coëfficiënten mogelijk niet generaliseren over alle CPS-klassen, het pipeline-patroon—het integreren van physics-informed bias met rigoureuze, drift-bewuste engineering—een levensvatbaar pad is naar bredere, betrouwbare TinyMLOps-adoptie in Industrie 4.0. Zij erkennen beperkingen, waaronder het gebrek aan een live veldproef voor de schatting van het operationele voordeel en de noodzaak voor meer geformaliseerde methoden voor het ophalen van speculaties in toekomstig werk.