Toward Multimodal Industrial Fault Analysis: A Single-Speed Chain Conveyor Dataset with Audio and Vibration Signals

Deze paper introduceert een multimodaal dataset voor industriële foutanalyse, bestaande uit audio- en trillingssignalen van een kettingtransportband, dat is ontworpen om robuuste systemen voor foutdetectie en -classificatie onder diverse bedrijfsomstandigheden te ondersteunen.

De kern

Stel je voor dat je een oude, rammelende kettingbaan in een fabriek hebt. Normaal gesproken hoor je een gelijkmatig zoem-gezoem. Maar als er iets mis is, verandert dat geluid misschien in een piep, een gekraak of een vreemd gekletter. Tegelijkertijd trilt de machine op een heel specifieke manier.

Dit wetenschappelijke artikel introduceert een nieuwe "trainingsboek" voor computers, zodat ze deze veranderingen kunnen leren herkennen. Hier is wat het inhoudt, vertaald naar begrijpelijke taal:

1. Het Probleem: De "Stille Laboratorium" vs. De "Luidruchtige Fabriek"

Vroeger leerden computers machines te controleren met data uit schone, stille laboratoria. Dat is als een pianostemmer die alleen oefent in een geluidsdichte kamer. In de echte wereld is het echter een chaos: er is geluid van andere machines, vrachtwagens buiten, en de lucht is vol met ruis.

Bovendien keken de oude systemen vaak maar naar één zintuig: ofwel naar het geluid (audio), ofwel naar de trillingen (vibratie). Dat is alsof je een auto probeert te diagnosticeren terwijl je je ogen dichthoudt en alleen naar de motor luistert, of alleen naar de trillingen kijkt terwijl je je oren dichthoudt. Je mist belangrijke aanwijzingen!

2. De Oplossing: De "Super-Gevoelige" Dataset

De auteurs hebben een nieuwe dataset gemaakt, genaamd SSCC. Dit is geen simpele lijst met cijfers, maar een multimodale ervaring.

• Het Onderwerp: Een echte, werkende kettingbaan (zoals je ziet in supermarkten of fabrieken).
• De Zintuigen: Ze hebben 7 verschillende zintuigen tegelijkertijd gebruikt:
  • 3 Oren: Een dure professionele recorder, een iPhone en een Xiaomi-telefoon. Waarom zo veel? Omdat verschillende microfoons verschillende dingen horen, net zoals een mens en een hond verschillende geluiden opvangen.
  • 4 Trilzintuigen: Sensoren die de trillingen van de motor en de ketting meten, alsof ze de hartslag van de machine voelen.
• De Omgeving: Ze hebben de machine niet alleen in stilte laten draaien. Ze hebben echte fabrieksruis (opgenomen op locatie) via luidsprekers erbij gespeeld. Zo leren de computers om te gaan met de echte chaos van een fabriek.

3. De "Krankzinnige" Situaties (Fouten)

De dataset bevat niet alleen de machine in perfecte staat, maar ook vier specifieke manieren waarop hij stuk kan gaan:

1. Leunend (Lean): De rails staan scheef.
2. Droog (Dry): De ketting heeft geen vet meer (het kraakt).
3. Lekker (Loose): De ketting is te slap en rammelt.
4. Schroefval (Screwdrop): Er zit een vreemd voorwerp (zoals een schroef) in de ketting dat vastloopt.

4. Hoe Testen Ze Het? (De "Geheugenbank")

Om te zien of de computers echt slim zijn, gebruiken de auteurs een slimme testmethode:

• De "Alleen Normaal" Test: De computer krijgt alleen voorbeelden van een perfecte machine te zien. Vervolgens krijgt hij een nieuwe, onbekende situatie. Als de computer zegt: "Hé, dit klinkt niet als mijn geheugenbank van de perfecte machine!", dan is er een fout. Dit is als een leraar die alleen de perfecte spelling van woorden kent, en dan een fout in een tekst moet vinden zonder de juiste spelling te hoeven kennen.
• De "Klassieke" Test: De computer moet precies zeggen welk type fout het is (bijv. "Het is droog, niet lek").

5. Wat Vonden Ze? (De Verassende Resultaten)

• Geluid is vaak slimmer dan trillingen: Voor het opsporen van fouten (weten dat er iets mis is) bleek geluid vaak beter te werken. De trillingen zijn soms te sterk door de normale beweging van de machine, waardoor kleine foutjes verdwijnen. Geluid vangt die subtiele veranderingen beter op.
• Samenwerking wint: Als je het geluid én de trillingen combineert, wordt het systeem het allerbeste. Het is alsof je een detective bent die zowel naar getuigen (geluid) als naar vingerafdrukken (trillingen) kijkt. Samen weten ze meer dan apart.
• Verschillende fouten, verschillende zintuigen: Sommige fouten (zoals een vastlopende schroef) geven sterke trillingen, terwijl andere (zoals een slapende ketting) vooral geklaag en gerinkel maken. Een goed systeem moet beide kunnen horen.

Conclusie

Dit artikel is een nieuwe standaard voor het trainen van slimme machines. Het zegt: "Stop met trainen in stille kamers met één sensor. Gebruik echte geluiden, echte trillingen en echte fabrieksruis."

Met deze dataset kunnen we in de toekomst machines bouwen die niet alleen weten dat er iets mis is, maar ook precies weten wat er mis is, zelfs als het eromheen luidruchtig en chaotisch is. Het is een grote stap naar fabrieken die zichzelf kunnen controleren en repareren voordat er echt iets kapot gaat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Toward Multimodal Industrial Fault Analysis: A Single-Speed Chain Conveyor Dataset with Audio and Vibration Signals", geschreven in het Nederlands.

Probleemstelling

Industriële storingsanalyse is cruciaal voor het voorkomen van onverwachte uitval in geautomatiseerde productielijnen. Hoewel er een groeiende interesse is in datagedreven benaderingen, vertonen bestaande openbare datasets belangrijke beperkingen:

1. Beperkte scope: Veel datasets (zoals CWRU) focussen op geïsoleerde componenten (bijv. lagers of motoren) in plaats van complete systeemniveaus.
2. Enkele modaleiteit: De meeste datasets gebruiken slechts één type sensor (meestal trillingen of audio), waardoor complementaire informatie verloren gaat.
3. Onrealistische omstandigheden: Data wordt vaak verzameld in schone laboratoria zonder omgevingsruis, of ruis wordt synthetisch toegevoegd. Dit creëert een kloof tussen benchmark-evaluaties en de praktijk, waar gestructureerde industriële omgevingsruis onvermijdelijk is.

Methodologie en Dataset (SSCC)

Om deze beperkingen aan te pakken, introduceren de auteurs een nieuw multimodaal dataset voor een Single-Speed Chain Conveyor (SSCC)-systeem.

• Systeemopzet: Het dataset is verzameld op een experimenteel platform dat een complete kettingtransportband nabootst, inclusief een unidirectionele werking (geen gesloten lussen) zoals in echte fabrieken.
• Sensoren en Modaliteiten:
  • Audio: Opgenomen met drie verschillende apparaten (Zoom H5 recorder, iPhone 11, Xiaomi Mi 9 SE) om kanaaldiversiteit te creëren.
  • Trillingen: Opgevangen door een enkel-as sensor op de motor en een drie-as sensor aan het andere uiteinde van het systeem.
  • Totaal: 7 gesynchroniseerde kanalen (3 audio, 4 trillingen).
• Omgevingscondities:
  • Ruis: In plaats van synthetische ruis, wordt echte industriële omgevingsruis op locatie opgenomen en via luidsprekers tijdens de datacollectie hergeproduceerd.
  • Variabelen: Data is verzameld onder verschillende snelheden (5 niveaus), ladingen (licht, medium, zwaar) en ruiscondities (schoon vs. ruis).
• Fouttypes: Het dataset dekt normale werking en vier representatieve fouttypes:
  1. Lean: Misalignering van de geleiderail.
  2. Dry: Onvoldoende smering van de ketting.
  3. Loose: Overmatige sluiting van de kettingen.
  4. Screwdrop: Invasie van vreemde voorwerpen die verstopping veroorzaken.
• Dataset Statistieken: Het dataset bevat in totaal 6.669 samples (5-seconden clips).

Evaluatieprotocollen

De auteurs stellen gestandaardiseerde protocollen voor om eerlijke vergelijkingen mogelijk te maken:

1. Storingsdetectie (Unsupervised): Trainen alleen op normale data (zonder fouten) en testen op een "zero-shot" splitsing waarbij de testsnelheid niet in de training voorkomt. Dit evalueert de capaciteit om afwijkingen te detecteren zonder voorafgaande kennis van specifieke fouten.
2. Storingsclassificatie (Supervised): Een multi-class classificatietaken waarbij data van bepaalde snelheden en fouttypes volledig uit de trainingset wordt gehouden om generalisatie te testen.
3. Benchmarks: Er wordt een unified channel-wise kNN (k-Nearest Neighbors) framework gebruikt. Dit elimineert bias door taak-specifiek modeltraining; de prestaties meten de intrinsieke kwaliteit van de feature-embeddings van pre-trained modellen (zoals BEATs, CED, EAT, etc.).

Resultaten

De experimenten, uitgevoerd met zes pre-trained foundation modellen, tonen de volgende inzichten:

• Storingsdetectie:
  • Audio-gebaseerde methoden presteren over het algemeen beter dan trillingsmethoden, vooral omdat audio subtielere variaties in geluid vastlegt die door trillingen (die vaak gedomineerd worden door sterke periodieke componenten van de normale werking) worden gemaskeerd.
  • Fusie: Het combineren van audio en trillingen (late fusion) verbetert de prestaties vaak ten opzichte van alleen trillingen en komt in sommige gevallen overeen met of overtreft alleen audio.
• Storingsclassificatie:
  • Er is een complementair effect: Trillingen presteren beter bij screwdrop-fouten (impulsieve mechanische respons), terwijl audio beter presteert bij loose-fouten (wrijving en ratelgeluiden).
  • De multimodale fusie bereikt in de meeste gevallen de hoogste nauwkeurigheid, balanced accuracy en macro-F1 scores.
• Algemene prestatie: Hoewel eenvoudige kNN-baselines al redelijke resultaten leveren, blijft er aanzienlijke ruimte voor verbetering door geavanceerdere representatielering en fusiestrategieën.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste Multimodale SSCC Dataset: Het biedt een uniek dataset voor systeemniveau-foutanalyse op een transportband, inclusief gesynchroniseerde audio en trillingen.
2. Realistische Ruismodellerings: Door echte industriële omgevingsruis te integreren, biedt het dataset een robuustere benchmark voor evaluatie onder realistische omstandigheden.
3. Gestandaardiseerde Protocollen: Het introduceert uniforme evaluatieprotocollen voor zowel onbewaakte detectie als bewaakte classificatie, wat vergelijkbaarheid tussen verschillende methoden vergemakkelijkt.
4. Inzicht in Modaliteiten: Het werk demonstreert dat de effectiviteit van een sensormodaliteit afhankelijk is van de specifieke taak (detectie vs. classificatie) en het type fout, wat de noodzaak onderstreept van multimodale fusie.

Conclusie:
De SSCC-dataset fungeert als een praktische en uitbreidbare benchmark voor multimodale industriële storingsanalyse. Het benadrukt dat het combineren van audio en trillingen essentieel is voor het vastleggen van complementaire informatie, en biedt een solide basis voor toekomstig onderzoek naar robuuste representatielering in industriële omgevingen. De code en het dataset zijn openbaar beschikbaar.