TSFM in-context learning for time-series classification of bearing-health status

Deze paper introduceert een methode voor het classificeren van de gezondheidstoestand van lagers op basis van in-context learning met tijdreeks-fundamentmodellen, waardoor vibratiegegevens zonder fijnafstemming kunnen worden geanalyseerd en de weg vrijmaken voor schaalbare AI-onderhoudssystemen.

De kern

Titel: De "Super-leraar" die machineproblemen oplost zonder te studeren

Stel je voor dat je een enorme, superintelligente robot hebt die alles weet over tijd, ritmes en patronen. Deze robot is opgeleid met miljarden voorbeelden van alles wat er in de wereld gebeurt: van het weer en de beurskoersen tot het geluid van een trein en het hartslag van een patiënt. Laten we hem TSFM (Time-Series Foundation Model) noemen.

Normaal gesproken, als je deze robot iets nieuws wilt laten doen – bijvoorbeeld: "Herken of een lager in een machine kapot is" – moet je hem maandenlang laten studeren met duizenden voorbeelden van precies die ene machine. Dat is duur, tijdrovend en lastig als je een nieuwe machine krijgt.

Het nieuwe idee: "Kijk eens hoe ik het doe!"

In dit artikel vertellen de onderzoekers van Siemens hoe ze die robot een nieuwe truc hebben geleerd zonder hem opnieuw te laten studeren. Ze gebruiken een techniek die ze "in-context learning" noemen.

Hier is hoe het werkt, met een simpele analogie:

1. De "Gids" in plaats van de "Leerling"

Stel je voor dat je een nieuwe student (de robot) in een klaslokaal zet die nog nooit een machine heeft gezien. In plaats van hem een heel jaar te laten studeren, leg je hem een mapje voor met een paar voorbeelden.

• De voorbeelden: "Kijk, dit is hoe een gezond lager klinkt. Kijk, dit is hoe een lager klinkt met zand erin. Kijk, dit is een beschadigd buitenring."
• De vraag: "En nu, wat denk jij dat dit geluid is?"

De robot kijkt naar de voorbeelden in het mapje (de "context" of "prompt"), herkent het patroon en zegt: "Ah, dit lijkt op het voorbeeld van de beschadigde buitenring!"

Dit is wat de onderzoekers doen. Ze geven de AI een paar voorbeelden van gezonde en zieke lagers, en vragen hem dan om een nieuw, onbekend geluid te classificeren. De AI hoeft niet te worden aangepast of getraind; hij gebruikt gewoon zijn bestaande slimheid om de patronen te vergelijken.

2. Van trillingen naar een "muziekpartituur"

De machines die ze testen (servo-persen) trillen. Die trillingen zijn heel snel en ingewikkeld.

• De vertaling: De onderzoekers nemen die trillingen en zetten ze om in een soort "muziekpartituur" (een grafiek met frequenties).
• Het puzzelstukje: Ze maken van deze partituur een groot rooster van 60 rijen en 64 kolommen. Dit is het "geheime taal" dat de robot begrijpt.
• Het doel: De robot moet voorspellen of het geluid bij de categorie "Normaal", "Buitenring kapot", "Zand in het lager" of "Binnenring kapot" hoort.

3. Het resultaat: Net zo slim als een specialist

De onderzoekers hebben dit getest met een zeer grote robot (750 miljoen "hersencellen").

• De test: Ze gaven de robot 69 voorbeelden van verschillende lagers en vroegen hem om de rest te raden.
• Het resultaat: De robot had 97,5% van de gevallen goed!
• Vergelijking: Ze hebben dit vergeleken met een traditionele AI (een MLP), die speciaal voor deze taak was getraind. Die traditionele AI deed het ook goed (97,9%), maar die moest eerst maandenlang studeren. De nieuwe "Super-leraar" deed het bijna even goed, maar zonder dat hij daarvoor hoefde te studeren.

Waarom is dit zo'n groot nieuws?

Vroeger moest je voor elke nieuwe machine een nieuwe, dure AI bouwen. Dat is als elke keer dat je een nieuwe taal wilt leren, een nieuwe leraar moet inhuren die jarenlang studeren.

Met deze nieuwe methode:

1. Geen training nodig: Je kunt de AI direct gebruiken voor een nieuwe machine.
2. Schaalbaar: Het werkt voor elke machine, in elke fabriek, over de hele wereld.
3. Toekomstvisie: Dit is de stap naar "Software as a Service". Bedrijven kunnen gewoon een abonnement nemen op een AI-dienst die direct werkt, zonder dat ze zelf datawetenschappers in dienst hoeven te nemen.

Kortom:
De onderzoekers hebben een manier gevonden om een super-slimme AI te gebruiken als een slimme gids. Je geeft hem een paar voorbeelden ("Kijk, dit is ziek, dit is gezond"), en hij kan daarna direct nieuwe machines beoordelen, zonder dat hij ooit eerder die specifieke machine heeft gezien. Het is alsof je een polyglot vraagt om een nieuwe taal te spreken door hem alleen maar een paar zinnen te laten lezen in plaats van hem een heel jaar te laten studeren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TSFM in-context learning for time-series classification of bearing health status" in het Nederlands.

Probleemstelling

Traditionele onderhoudsstrategieën in sectoren zoals productie en energie zijn vaak reactief of gebaseerd op specifieke, handgemaakte regels. Hoewel AI-gedreven oplossingen voor voorspellend onderhoud (predictive maintenance) in opkomst zijn, lijden bestaande systemen onder twee grote beperkingen:

1. Gebrek aan schaalbaarheid: Modellen zijn vaak getraind op specifieke datasets voor één machine en kunnen moeilijk worden overgedragen naar andere machines of industriële contexten.
2. Aanpassingsvermogen: Het ontwikkelen van nieuwe modellen voor elke nieuwe asset vereist aanzienlijke tijd, data en expertise, wat de implementatie van brede AI-oplossingen belemmert.

Er is behoefte aan een methode die in staat is tot generalisatie over verschillende assets en bedrijfsomstandigheden zonder uitgebreide hertraining of fijnafstemming (fine-tuning).

Methodologie

De auteurs introduceren een nieuwe aanpak voor het classificeren van de gezondheidstoestand van lagers (specifiek in een servo-persmotor) op basis van trillingsdata, gebruikmakend van Time-Series Foundation Models (TSFMs) en In-Context Learning.

1. Architectuur: General Time Transformer (GTT)
De kern van de methode is de GTT-architectuur, een vooraf getraind foundation model dat is ontworpen voor probabilistische voorspelling.

• Het model gebruikt Transformer-encoderblokken met afwisselende temporele en kanaal-attentie.
• Het is getraind op een groot, cross-domein corpus (124 miljard datapunten) en kan "zero-shot" en "few-shot" prestaties leveren.
• In plaats van een standaard voorspellingshoofd, wordt een probabilistisch hoofd gebruikt (met een Gaussische mengverdeling) om de output-distributie te kalibreren.

2. Datapreprocessing

• Input: Ruwe trillingssignalen (48 kHz) worden omgezet naar het frequentiedomein via een Fast Fourier Transform (FFT).
• Structuur: Het spectrum wordt opgesplitst in $N=60$ datakanalen (covariaten). Per kanaal wordt het spectrum onderverdeeld in $M=64$ frequentie-subbands.
• Matrix: Dit resulteert in een $60 \times 64$ matrix per sample, die als input dient voor het TSFM.
• Doelvariabelen (Targets): Vier gezondheidsstatussen worden gedefinieerd: Normale werking, Buitenvlakfout, Zand in het lager (kunstmatig toegevoegd), en Binnenvlakfout. Deze worden one-hot encoded over een voorspellingshorizon van 64 tijdstappen.

3. In-Context Learning (Few-Shot Prompting)
In plaats van het model te fine-tunen, wordt de classificatie uitgevoerd via prompting:

• Een reeks voorbeelden (context) bestaande uit bekende covariaten en hun bijbehorende labels (targets) wordt aan het model gepresenteerd.
• Het model leert patronen uit deze beperkte set voorbeelden en voorspelt vervolgens de klasse van een nieuwe, onbekende covariaten-input binnen dezelfde voorspellingshorizon.
• De classificatie gebeurt via een "winner-takes-all"-regel op de laatste voorspellingstap, of via een Softmax-functie op de voorspelde intensiteiten.

Belangrijkste Bijdragen

• Nieuwe Paradigma voor Classificatie: Het paper toont aan dat TSFMs, oorspronkelijk ontworpen voor voorspelling, effectief kunnen worden gebruikt voor classificatie zonder fine-tuning, door het probleem te herschalen als een in-context learning taak.
• Pseudo-tijdreekspatronen: De transformatie van frequentiedomein-referentiesignalen naar pseudo-tijdreekspatronen maakt het mogelijk om TSFMs te gebruiken voor statische classificatietaken.
• Schaalbaarheid en Generalisatie: De methode demonstreert dat een model, getraind op een breed corpus, direct toepasbaar is op een specifieke industriële toepassing (lagers) die niet in de trainingsdata zat, zonder dat er een custom AI-model hoeft te worden gebouwd.
• Mogelijkheid voor SaaS: De aanpak vormt een stap richting "Model-as-a-Service" of "Software-as-a-Service" voor onderhoud, waarbij klanten geen eigen datawetenschappers nodig hebben om modellen te trainen.

Resultaten

De experimenten zijn uitgevoerd op een dataset van 280 bijna evenwichtige samples van een servo-persmotor.

• Prestaties: Met een volledige context van 4480 tijdstappen (ongeveer 70 voorbeelden) bereikte het GTT-model een classificatie-accuraatie van 97,5%.
• Vergelijking: Dit resultaat is vergelijkbaar met een traditionele baseline van een Multilayer Perceptron (MLP) die op dezelfde data was getraind (97,9% accurate).
• Robuustheid: Het model kon alle vier de klassen met hoge precisie en recall onderscheiden, zelfs tussen moeilijk te scheiden klassen (zoals "Normaal" vs. "Zand in lager" en "Buitenvlak" vs. "Binnenvlak").
• Aantal voorbeelden: De nauwkeurigheid steeg met het aantal voorbeelden in de context, wat de effectiviteit van few-shot learning bevestigt.

Betekenis en Toekomstperspectief

Dit werk markeert een significante verschuiving in de richting van adaptieve en generaliseerbare AI voor onderhoud.

• Efficiëntie: Het elimineert de tijd en kosten die nodig zijn voor het verzamelen van grote datasets en het trainen van specifieke modellen voor elke nieuwe machine.
• Flexibiliteit: De methode is flexibel toepasbaar op verschillende assets en fouttypen.
• Beperkingen: Een huidige beperking is de contextlengte van het model (4480 stappen). Dit beperkt het aantal klassen dat tegelijkertijd effectief kan worden geleerd; bij te veel klassen zouden er te weinig voorbeelden per klasse in de context passen, wat de nauwkeurigheid kan verlagen.

Concluderend bewijst dit paper dat foundation models voor tijdreeksen een krachtig alternatief kunnen zijn voor traditionele, op maat gemaakte AI-oplossingen in de industriële sector, met name voor voorspellend onderhoud.