🤖 AI

FISHER: A Foundation Model for Multi-Modal Industrial Signal Comprehensive Representation

Dit artikel introduceert FISHER, een foundation model voor multimodale industriële signaalrepresentatie dat dataheterogeniteit aanpakt door middel van nieuwe subbandmodellering en teacher-student zelfdistillatie, waarbij superieure diagnostische nauwkeurigheid en veelzijdigheid over 19 datasets wordt bereikt terwijl het grotere state-of-the-art modellen significant overtreft.

Oorspronkelijke auteurs: Pingyi Fan, Anbai Jiang, Shuwei Zhang, Xinhu Zheng, Zhiqiang Lv, Bing Han, Wenrui Liang, Junjie Li, Wei-Qiang Zhang, Yanmin Qian, Xie Chen, Jia Liu

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pingyi Fan, Anbai Jiang, Shuwei Zhang, Xinhu Zheng, Zhiqiang Lv, Bing Han, Wenrui Liang, Junjie Li, Wei-Qiang Zhang, Yanmin Qian, Xie Chen, Jia Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een fabrieksvloer voor als een gigantisch, lawaaierig orkest. Elke machine — pompen, tandwielen, motoren, transformatoren — speelt zijn eigen instrument. Soms spelen ze perfect in harmonie (normale werking), en soms knapt er een vioolsnaar of breekt er een drumstok (een defect).

Jarenlang was het voor ingenieurs een nachtmerrie om naar dit orkest te luisteren om het kapotte instrument te vinden. Dit is waarom:

Het "M5"-probleem: Het artikel noemt de chaos aan data het "M5-probleem". Dit betekent dat de data binnenkomt in Manierlijk veel vormen (geluid, trillingen, elektriciteit), op Manierlijk veel verschillende snelheden (sampling rates), met Manierlijk veel verschillende schalen, voor Manierlijk veel verschillende taken, en meestal met Misgelopen informatie over hoe een "defecte" machine eigenlijk klinkt.
De oude manier: Voorheen moesten ingenieurs voor elke machine een kleine, gespecialiseerde "luisteraar" bouwen. Als je een pomp wilde controleren, had je één model nodig. Voor een tandwiel een ander. Als de pomp van snelheid veranderde, ging het model kapot. Het was alsof je voor elk afzonderlijk woord in een boek een andere vertaler inhuurde.

Ontmoet FISHER: De Universele Vertaler

De auteurs creëerden FISHER, een "Foundation Model". Denk hier niet aan een gespecialiseerde monteur, maar aan een superintelligente, universele vertaler die de taal van elke machine kan begrijpen, ongeacht wat het is of hoe snel het draait.

Zo werkt FISHER, met behulp van enkele eenvoudige analogieën:

1. De "Lego-blokjes" Strategie (Het oplossen van het snelheidsprobleem)
Stel je voor dat je naar een foto van een zonsondergang kijkt.

Oude modellen probeerden elke foto even groot te maken. Als de foto een hoge resolutie had (snelle sampling rate), zouden ze de foto platdrukken om in een klein kader te passen, waardoor alle fijne details van de wolken verloren gingen.
FISHER is anders. Het realiseert zich dat een foto met een hoge resolutie gewoon een foto met een lage resolutie is, plus wat extra Lego-blokjes bovenop.
In plaats van de afbeelding plat te drukken, breekt FISHER de geluidsgolf op in "sub-banden" (zoals Lego-strips). Het analyseert eerst de laagfrequente strips en voegt dan de hoogfrequente strips toe. Op deze manier verliest het nooit de fijne details, zelfs niet als de machine op een superhoge snelheid opneemt. Het past zich op natuurlijke wijze aan de snelheid aan, zonder de data te hoeven herschalen.

2. De "Muziekschool" Training (De verrassende wending)
Je zou denken dat een model ontworpen om fabrieksmachines te repareren, getraind moet worden op fabrieksmachines.

De bewering van het artikel: Verrassend genoeg ontdekten de auteurs dat trainen op industriële data eigenlijk slechter was dan trainen op muziek en algemene audio.
De analogie: Stel je voor dat je een student wilt leren om een kapotte automotor te herkennen.
- Optie A: Laat de student 10 uur lang naar een automotor luisteren die grotendeels hetzelfde klinkt (stationair). De student raakt verveeld en leert heel weinig.
- Optie B: Laat de student 10.000 uur aan jazz, rock en klassieke muziek horen. De muziek heeft wilde veranderingen in tempo, ritme en toonhoogte.
- Het resultaat: De student die getraind is op muziek, leert veel beter om te luisteren naar patronen en veranderingen. Wanneer diegene eindelijk de automotor hoort, kan hij direct de "valse noot" spotten omdat hij zo goed is geworden in het luisteren naar complexe geluiden. Het artikel vond dat muziek en audio-data de perfecte "temporele variabiliteit" boden om het model te leren hoe het moet luisteren, wat het vervolgens toepaste op de fabrieksvloer.

3. De "Geen-Training" Superkracht
Normaal gesproken moeten AI-modellen worden "gefine-tuned" (opnieuw getraind) voor elke nieuwe taak.

FISHER's truc: De auteurs testten FISHER op 19 verschillende datasets die geluiden, trillingen, spanning en stroom bevatten. Ze gebruikten een "K-Nearest Neighbor"-methode, wat zoiets is als zeggen: "Lijkt dit nieuwe geluid op de geluiden die ik al eerder heb gezien?"
Het resultaat: FISHER hoefde niet opnieuw getraind te worden. Het keek simpelweg naar de nieuwe data en zei: "Ik weet wat dit is." Het versloeg 24 andere topmodellen, vaak met een fractie van de computerkracht (tot wel 16 keer minder), terwijl het een hogere nauwkeurigheid bereikte.

De "RMIS" Benchmark

Om te bewijzen dat dit geen toevalstreffer was, bouwden de auteurs een nieuwe testomgeving genaamd RMIS (Representation of M5 Industrial Signals). Het is als een gestandaardiseerde "rijbewijstest" voor industriële AI.

Het bevat 19 verschillende datasets.
Het test twee hoofdfuncties: Anomaly Detection (Is dit geluid vreemd?) en Fault Diagnosis (Wat is er precies kapot?).
De score: FISHER behaalde de hoogste score (62,23%) en versloeg het op één na beste model met een duidelijke marge.

De Kern van het Verhaal

Het artikel beweert dat door hoogfrequente data te behandelen als "extra lagen informatie" in plaats van een probleem dat opgelost moet worden, en door te trainen op diverse muziek/audio in plaats van saaie fabrieksdata, we een enkel, klein en efficiënt model kunnen bouwen dat de "taal" van elke industriële machine begrijpt. Het is een universele luisteraar die direct werkt, waardoor ingenieurs niet langer voor elke machine in de fabriek een nieuw model hoeven te bouwen.

Technische Samenvatting: FISHER – Een Foundation Model voor Multimodale Industriële Signaal-Representatie

1. Probleemdefinitie: De M5-uitdaging

Het artikel stelt dat de analyse van industriële signalen momenteel wordt belemmerd door extreme datatheterogeniteit, wat wordt gekarakteriseerd als het M5-probleem. Bestaande oplossingen vertrouwen op gespecialiseerde modellen die getraind zijn op kleinschalige datasets, welke een gebrek aan robuustheid en schaalbaarheid vertonen over verschillende machines, modaliteiten en taken. Het M5-probleem wordt gedefinieerd door vijf specifieke uitdagingen:

Multi-modaal: Signalen variëren tussen geluid, trilling, spanning en stroom.
Multi-sampling-rate: Sensor-samplingrates variëren sterk (van 3 kHz tot 100 kHz) om een balans te vinden tussen kosten en Nyquist-vereisten.
Multi-scale: Signaalkenmerken verschillen op basis van werkmechanismen (glijdend, roterend, statisch) en werkcondities.
Multi-task: Downstream-taken omvatten anomaliedetectie, foutdiagnose en de resterende levensduur (RUL) schatting.
Minimale fout (Minim fault): Foutgegevens zijn schaars en de klassenverdelingen zijn vaak ongebalanceerd.

De auteurs stellen dat de primaire flessenhals niet de hoeveelheid data is, maar de kwaliteit van de data. Industriële signalen zijn vaak stationair en vormen afzonderlijke clusters in de dataruimte, waardoor ze onvoldoende zijn voor het trainen van algemene foundation models via grootschalige pre-training alleen.

2. Methodologie: De FISHER-architectuur

Om het M5-probleem aan te pakken, stellen de auteurs FISHER voor (Foundation model for multi-modal Industrial Signal compreHEnsive Representation). De methodologie is gebouwd op een geprioriteerde roadmap die zich richt op drie pijlers: speciaal modelontwerp voor sampling rates, grootschalige pre-training met hoogwaardige data, en hoogwaardige representatie voor foutdetectie.

A. Sub-band Modellering (Aanpak van Multi-sampling-rate)

De kerninnovatie van FISHER is een nieuwe sub-band modelleringsbenadering die sampling rate-incrementen behandelt als geconcateneerde sub-band informatie, waardoor resampling overbodig wordt.

STFT Conversie: Signalen worden omgezet naar Short-Time Fourier Transform (STFT) spectrogrammen met een vaste tijd-frequentie resolutie ( $\Delta f = 1/t_{win}$ ), wat zorgt voor een constante frequentieresolutie ongeacht de ingangs-sampling rate.
Band Splitsing: Het spectrogram wordt gesplitst in sub-bands met een vaste bandbreedte ( $w$ ). Deze sub-bands worden behandeld als onafhankelijke bouwstenen.
Concatenatie: Het model verwerkt elke sub-band individueel met behulp van een Vision Transformer (ViT) encoder. De uiteindelijke signaalrepresentatie wordt gevormd door de [CLS] embeddings van alle sub-bands te concateneren.
Voordeel: Dit stelt het model in staat om de volledige signaalbandbreedte te benutten. Hogere sampling rates voegen simpelweg meer informatieve hoogfrequente sub-bands toe in plaats van het signaal te vervormen door middel van resampling.

B. SSL Pre-training Strategie

FISHER maakt gebruik van een teacher-student self-distillation framework:

Architectuur: Een student encoder ( $E_{stu}$ ) en een teacher encoder ( $E_{tea}$ ), waarbij de teacher een Exponential Moving Average (EMA) is van de student. Beiden maken gebruik van een ViT-structuur.
Masking Schema: De student verwerkt gemaskeerde sub-bands (met behulp van inverse block masking en mask cloning om meerdere views te genereren), terwijl de teacher de volledige sub-band verwerkt.
Loss Functie: De student wordt getraind om zijn representaties af te stemmen op de teacher op twee niveaus:
1. Sub-band niveau: Het afstemmen van [CLS] tokens.
2. Patch niveau: Het afstemmen van patch embeddings via een student decoder ( $D_{stu}$ ).
Databron: In tegen tegenspraak met de intuïtie dat domeinspecifieke data vereist is, wordt FISHER voorgetraind op audio- en muziekdata (Audioset, Freesound, MTG-Jamendo, Music4all, in totaal 17k uur). De auteurs beargumenteren dat deze datasets een grotere temporele variabiliteit en een vergelijkbare inductieve bias bieden, wat gunstiger is voor pre-training dan stationaire industriële signalen.

3. De RMIS Benchmark

Om foundation models uitgebreid te evalueren, introduceren de auteurs de RMIS (Representation of M5 Industrial Signals) benchmark.

Samenstelling: Deze bestaat uit 19 sub-datasets over vier modaliteiten (Geluid, Trilling, Spanning, Stroom).
Taken: Het dekt Anomaliedetectie (6 datasets, bijv. DCASE challenges) en Foutdiagnose (13 datasets, bijv. lager-, tandwiel- en motorfouten).
Evaluatieprotocol: Alle modellen worden geëvalueerd met behulp van k-Nearest Neighbor (KNN) inferentie zonder fine-tuning om zero-shot generalisatie te testen. Voor datasets zonder officiële splitsingen wordt een "sealed" train-test split gebruikt om informatielekkage vanuit zeer stationaire signalsegmenten te voorkomen.

4. Experimentele Resultaten

FISHER werd geëvalueerd tegenover 24 state-of-the-art (SOTA) encoders, inclusief spraak, audio, muziek, Large Audio Language Models (LALM) en tijdreeks-encoders.

Prestaties: FISHER behaalde een algemene RMIS-score van 62,23%, waarmee het de beste baseline (ECHO) met ten minste 1,56% versloeg en alle andere baselines met een aanzienlijke marge overtrof.
Efficiëntie: FISHER behaalt deze resultaten met aanzienlijk kleinere modelgroottes (tot 16x kleiner dan gangbare 90M parameter encoders). De "small" variant (22M parameters) presteert beter dan modellen met tot wel 2B parameters.
Veelzijdigheid: Het model toonde sterke prestaties bij zowel anomaliedetectie als foutdiagnose-taken, waarbij het met name uitblonk in scenario's met hoge sampling rates voor foutdiagnose, waar baselines doorgaans informatie verliezen tijdens resampling.
Schaalbaarheid: De prestatiewinst blijkt te schalen met de modelgrootte en het aantal gebruikte sub-bands.

5. Belangrijkste Bevindingen en Betekenis

Het artikel trekt twee cruciale conclusies op basis van hun experimenten:

Naadloze Adaptatie aan Sampling Rates: Het vermogen om variabele sampling rates inherent te verwerken (via sub-band modellering) zonder resampling is de belangrijkste drijfveer voor generalisatie. Hoogfrequente componenten zijn cruciaal voor industriële signaalanalyse, en resampling verdunt deze informatie vaak.
Data Curatie voor Pre-training: Audio- en muziekdata bieden superieure temporele variabiliteit voor het pre-trainen van foundation models vergeleken met stationaire industriële signalen. Een industrieel signaal foundation model vereist niet noodzakelijkerwijs training op industriële signalen om SOTA-prestaties te behalen; het toevoegen van industriële signalen aan de pre-training mix van audio/muziekdata kan de prestaties zelfs soms verslechteren vanwege problemen met de datakwaliteit.

Betekenis:
De auteurs beweren dat FISHER een doorbraak vertegenwoordigt in de industriële signaalanalyse door aan te tonen dat een foundation model kan generaliseren over modaliteiten, machines en taken zonder fine-tuning. Door het multi-sampling-rate probleem op te lossen en hoogwaardige externe data te gebruiken voor pre-training, biedt FISHER een schaalbare, efficiënte en veelzijdige oplossing die de ontwikkelingslast van het trainen van gespecialiseerde modellen voor elke unieke industriële scenario vermindert. Het werk is open-source gemaakt om de gemeenschap te dienen.