Learning Rewards, Not Labels: Adversarial Inverse Reinforcement Learning for Machinery Fault Detection

Dit artikel introduceert een nieuw raamwerk voor het detecteren van machinefouten dat Adversarial Inverse Reinforcement Learning gebruikt om direct uit gezonde operationele data een beloningsfunctie te leren, waardoor handmatige beloningsontwerp en foutlabels overbodig worden en robuuste, vroege detectie mogelijk is.

De kern

Stel je voor dat je een oude, trouwe auto hebt. Je wilt weten of er iets mis is met de motor, maar je hebt geen handleiding met een lijstje van alle mogelijke storingen en je hebt ook geen expert die elke dag langs komt om te kijken.

De meeste huidige computersystemen voor het opsporen van machinefouten werken als een vage gokspeler. Ze kijken naar één momentopname (bijvoorbeeld: "de motor trilt nu iets harder") en zeggen: "Is dit goed of slecht?". Ze vergeten echter dat machines niet op één moment stuk gaan; ze verslijten langzaam, dag na dag. Het is alsof je probeert te voorspellen of iemand ziek wordt door alleen naar één foto van hun gezicht te kijken, zonder te weten hoe ze er gisteren of vorige week uitzagen.

De auteurs van dit paper (Dhiraj Neupane en zijn team) hebben een slimme nieuwe aanpak bedacht, gebaseerd op kunstmatige intelligentie die leert door te kijken naar wat er wel goed gaat, in plaats van wat er fout gaat.

Hier is hoe hun methode werkt, vertaald naar alledaagse beelden:

1. De "Perfecte Dans" (In plaats van een lijstje fouten)

Stel je voor dat je een dansleraar bent die wil leren hoe een perfecte dans eruitziet. In plaats van een lijstje te maken van alle manieren waarop je niet mag dansen (wat onmogelijk is, want er zijn eindeloos veel manieren om fout te dansen), laat je de danser gewoon perfect dansen voor de camera.

De computer leert dan niet wat "fout" is, maar leert de ritme en flow van de perfecte dans. Dit noemen ze in de paper "Inverse Reinforcement Learning". De computer vraagt zich af: "Welke beloning (reward) zou een danser moeten krijgen om precies zo te bewegen?"

2. De "Vijandige Oefening" (Adversarial Learning)

Om dit te doen, gebruiken ze een soort spiegel-gevecht:

• De Danser (Generator): Een computerprogramma dat probeert de perfecte dans na te bootsen.
• De Kritische Jury (Discriminator): Een ander programma dat moet oordelen: "Is dit de echte, perfecte dans van de expert, of is dit een nep-dans die door de computer is verzonnen?"

De Jury probeert steeds beter te worden in het onderscheiden van "echt" en "nep". De Danser probeert steeds beter te worden in het nadoen van het echte ritme. Uiteindelijk leert de Jury precies welke bewegingen normaal en gezond zijn.

3. Het Alarm dat niet schreeuwt bij elke snee

Zodra de Jury het ritme van de gezonde machine kent, kan hij als alarm fungeren.

• Als de machine normaal draait, zegt de Jury: "Ja, dit past perfect in het ritme!" (Hoog score).
• Als de machine begint te slijten (bijvoorbeeld door een losse schroef of een barst), gaat de beweging uit het ritme. De Jury zegt: "Hé, dit past niet meer! Dit is raar!" (Lage score).

Het mooie is: de computer heeft nooit een voorbeeld van een defecte machine gezien. Hij weet alleen hoe het moet zijn. Als iets afwijkt van dat perfecte beeld, weet hij dat er iets mis is.

Wat leverde dit op?

De auteurs hebben hun systeem getest op echte data van machines die langzaam stukgingen (zoals een helikoptertandwiel).

• Andere systemen (de "gokkers") riepen vaak te vroeg alarm: "Oh, de trilling is net ietsje anders, misschien is hij kapot!" (Valse alarmen).
• Andere systemen waren te traag en merkten het pas als de machine al bijna volledig stuk was.
• Hun nieuwe systeem merkte het probleem op op het perfecte moment: vroeg genoeg om actie te ondernemen, maar niet zo vroeg dat het een onnodig alarm was. Het zag de subtiele veranderingen in het "ritme" van de machine voordat de machine echt begon te haperen.

De conclusie in één zin

In plaats van te proberen te raden wat er mis is met een machine (wat als een raadsel is), heeft deze nieuwe methode de machine geleerd hoe hij zich moet gedragen als hij gezond is. Zodra hij afwijkt van dat perfecte gedrag, weten we direct dat er iets aan de hand is, zonder dat we ooit een defecte machine hebben hoeven zien.

Het is alsof je een auto hebt die niet reageert op de geluiden van een kapotte motor, maar wel perfect weet hoe een gezonde motor moet klinken. Zodra het geluid ook maar een fractie afwijkt van dat perfecte geluid, weet de auto: "Hé, ik moet even naar de garage."

Technische samenvatting

Probleemstelling

Het detecteren van machinefouten (Machinery Fault Detection - MFD) is cruciaal voor industriële betrouwbaarheid, maar er bestaat een groot tekort aan gelabelde foutdata in de praktijk. Hoewel toezichtlering (supervised learning) dominant is, lijdt het onder dit gebrek aan labels.

Bestaande Reinforcement Learning (RL) benaderingen voor MFD hebben een fundamenteel tekort: ze reduceren het complexe, sequentiële proces van machine-degradatie tot een statisch "gokspel" (Contextual Bandits). In deze modellen worden sensorsamples als onafhankelijke toestanden behandeld, worden er één-op-één classificaties uitgevoerd en wordt de tijdscomponent (de discount factor $\gamma$) geneerd. Hierdoor wordt de inherente temporale structuur van foutprogressie genegeerd, wat leidt tot een gebrek aan vermogen om de geleidelijke opeenhoping van schade te detecteren.

Methodologie

De auteurs formuleren MFD als een Offline Inverse Reinforcement Learning (IRL) probleem. In plaats van een handmatig reward-systeem te ontwerpen of labels te gebruiken, leert het systeem de beloningsdynamiek direct uit gezonde operationele sequenties ("expert demonstrations").

De kern van de oplossing is een Adversarial Inverse Reinforcement Learning (AIRL) framework:

1. Constructie van Toestands-overgangen (State-Only Imitation Learning):
   Omdat industriële datasets vaak geen geregistreerde besturingssignalen bevatten, gebruiken de auteurs een "State-Only" aanpak. De genormaliseerde trillingssignalen worden opgedeeld in vaste vensters. De overgang van het huidige venster ($s_t$) naar het volgende venster ($s_{t+1}$) wordt behandeld als een "proxy-actie" ($a_t$). Dit stelt het model in staat om de plausibiliteit van de dynamiek te evalueren zonder expliciete acties.

2. Adversariaal Reward Leren:
   Het framework gebruikt een GAN-achtige architectuur met twee componenten:

   • Een Generator ($\pi$) die tracht de dynamiek van gezonde machines na te bootsen.
   • Een Discriminator ($D$) die onderscheid maakt tussen overgangen van de gezonde expert en die van de generator.

   De discriminator wordt gestructureerd als:
   $$D(s, a, s') = \sigma(r_\theta(s, a) + \gamma V_\phi(s') - V_\phi(s) - \log \pi(a|s))$$
   Hierdoor wordt de term $r_\theta(s, a)$ geforceerd om te fungeren als een robuuste reward-functie (of gezondheidsscore), losgekoppeld van de systeemdynamiek.

3. Anomalie-score:
   Na training fungeert de discriminator als een anomalie-score. Een hoge score wijst op een overgang die overeenkomt met gezonde dynamiek; een lage score duidt op afwijkingen. De definitieve anomalie-score voor een traject $\tau$ wordt berekend als het omgekeerde gemiddelde van de discriminator-vertrouwen:
   $$Score(\tau) = 1 - \frac{1}{T}\sum_{t=0}^{T} D(s_t, a_t, s_{t+1})$$
   Fouten worden geïdentificeerd wanneer deze score een dynamische drempelwaarde (bijv. Otsu's methode) overschrijdt.

Belangrijkste Bijdragen

• Eerste toepassing van AIRL op MFD: Dit is het eerste werk dat Adversarial Inverse Reinforcement Learning toepast op het detecteren van machinefouten.
• Label-vrije aanpak: Het systeem heeft geen foutlabels nodig en leert uitsluitend uit gezonde operationele data.
• Respect voor sequentiële structuur: In tegenstelling tot eerdere RL-methoden die als Contextual Bandits werken, behoudt dit model de tijdsafhankelijkheid en de sequentiële aard van degradatie door de discount factor en overgangen expliciet te modelleren.
• Interpreteerbaarheid: De geleerde reward-functie fungeert als een directe, interpreteerbare gezondheidsscore.

Resultaten

Het framework werd getest op drie "run-to-failure" benchmark datasets: HUMS2023 (helicopter versnellingsbak), IMS en XJTU-SY.

• Vroege detectie (HUMS2023): Het AIRL-model detecteerde de fout op Dag 22 (Bestand #163).
  • Dit ligt tussen de detectie van de FRESH filter (Dag 22, #127) en de officiële winnaar van de uitdaging (Dag 23, #175).
  • Het is significant vroeger dan de conservatieve "Ground Truth" van het HUMS-comité (Dag 24, #264).
  • Het vermijdt valse positieven die bij andere methoden (zoals Isolation Forest of Autoencoders) vaak optreden door te vroeg te alarmen.
• Vergelijking met baselines:
  • Statische methoden (IF, OCSVM, AE) gaven vaak te vroeg waarschuwingen.
  • Sequentiële modellen (LSTM-AE, LSTM-VAE) deden het beter, maar detecteerden nog steeds iets eerder dan AIRL.
  • De Contextual Bandit (CTQN) baseline faalde volledig en classificeerde de hele testset als normaal, wat bevestigt dat zonder modellering van toestands-overgangen ($\gamma=0$) de geleidelijke schade niet kan worden waargenomen.
• Consistentie: Na de detectie behield AIRL een stabiele anomalie-ratio van ongeveer 65%, wat wijst op een robuuste prestatie gedurende de degradatiefase.

Betekenis en Conclusie

Deze studie toont aan dat het leren van de dynamiek van gezondheid (via reward learning) superieur is aan het simpelweg classificeren van geïsoleerde observaties. Door de sequentiële redeneerkracht van RL te koppelen aan de temporale structuur van machinefouten, biedt AIRL een robuust en vroeg waarschuwingssysteem voor industriële toepassingen zonder de noodzaak van kostbare en zeldzame foutlabels. Dit opent nieuwe wegen voor data-gedreven diagnostiek in complexe industriële omgevingen.