ECHO: Frequency-aware Hierarchical Encoding for Variable-length Signals

Dit paper introduceert ECHO, een nieuw foundation model dat geavanceerde band-split architectuur en frequentie-positional embeddings combineert om variabele lengte signaalanalyses op willekeurige samplefrequenties mogelijk te maken, wat leidt tot state-of-the-art prestaties in machine-anomaliedetectie en foutclassificatie.

De kern

Stel je voor dat je een machine kunt laten "praten". Een motor, een ventilator of een tandwielkast maakt geluiden en trillingen. Als alles goed gaat, klinkt het als een rustig, regelmatig gefluister. Maar als er iets mis is met een lager of een tandwiel, verandert dat geluid in een schreeuw of een piep.

De uitdaging voor ingenieurs is: hoe bouw je een computer die dit "gefluister" en die "schreeuw" kan begrijpen, ongeacht of de machine langzaam of snel draait, of ongeacht hoe groot of klein de geluidsopname is?

Hier komt ECHO in het spel. Het is een slimme, vooraf getrainde "super-oor" voor machines. Laten we kijken hoe het werkt, met een paar leuke vergelijkingen.

1. Het probleem: De "Vaste Foto" vs. De "Levende Film"

Oude slimme systemen (foundation models) werken vaak als een fotograaf die alleen foto's van exact hetzelfde formaat kan maken.

• Het probleem: Als je een geluidsopname van een machine maakt, kan die 1 seconde duren of 10 minuten. De geluidskwaliteit (de "sample rate") kan ook verschillen, afhankelijk van de microfoon.
• De oude oplossing: Je moest de lange opname knippen (zodat hij korter wordt) of het geluid vertragen/versnellen (resampling). Dit is alsof je een lange film in stukjes knipt en de scènes in elkaar plakt; je verliest de flow en de details.

ECHO's oplossing: ECHO is als een slimme cameraman die een film maakt in plaats van foto's. Hij kan kijken naar een korte clip of een lange film, zonder dat hij hoeft te knippen of te vervormen. Hij past zich automatisch aan de lengte van het verhaal aan.

2. De Magische Truc: Het "Frequentie-Boek"

Geluid bestaat uit verschillende tonen: lage bassen (zoals een donder) en hoge piepjes (zoals een muis).

• De oude manier: Kijk naar het hele geluid als één grote, rommelige soep.
• De ECHO-methode (Band-Splitting): Stel je voor dat je een dik boek hebt. In plaats van het hele boek door te lezen, splits ECHO het boek op in hoofdstukken.
  • Hoofdstuk 1: De lage tonen.
  • Hoofdstuk 2: De mid-tonen.
  • Hoofdstuk 3: De hoge tonen.

Elk hoofdstuk wordt apart bestudeerd. Dit is belangrijk omdat een defect in een lager vaak een specifiek "hoofdstuk" (frequentie) heeft dat verandert. Door ze apart te bekijken, ziet ECHO de details veel scherper.

3. De "Rolband" (Sliding Patches)

Nu we het geluid in hoofdstukken hebben verdeeld, hoe leest ECHO ze dan?

• Oude methode: Je neemt een stukje van het boek, plakt er een label op en gooit het weg. Dan neem je het volgende stukje. Er kunnen gaten vallen tussen de stukjes.
• ECHO's methode: ECHO gebruikt een rolband. Hij schuift een raam over het geluid, maar hij laat de helft van het vorige raam overlappen met het nieuwe.
  • Vergelijking: Stel je voor dat je door een lange tunnel loopt. In plaats van te springen van de ene muur naar de andere, loop je rustig door, waarbij je blikveld steeds een beetje verschuift. Zo mis je nooit een detail en zie je hoe de dingen in elkaar overlopen.

4. Waarom is dit zo slim? (De "Super-Oor")

ECHO is getraind op duizenden uren van geluiden van allerlei machines. Het heeft geleerd om patronen te herkennen die voor mensen onhoorbaar zijn.

• Ongeacht de snelheid: Of de machine nu draait op 1000 toeren of 5000, ECHO begrijpt het. Het is alsof je een liedje herkent, of het nu langzaam of snel wordt afgespeeld.
• Ongeacht de lengte: Of je nu 1 seconde geluid hebt of een uur, ECHO kan het analyseren zonder het te hoeven knippen.

Wat levert dit op?

In de praktijk betekent dit dat fabrieken minder machines hoeven stil te leggen voor controle.

1. Vroegtijdige waarschuwing: ECHO hoort een klein piepje dat aangeeft dat een lager bijna stuk is, lang voordat de machine echt stopt.
2. Alles-in-één: Je hoeft niet voor elke machine een nieuw computerprogramma te schrijven. ECHO is een "basismodel" dat voor bijna elke machine werkt.

Samenvatting in één zin

ECHO is een slimme computer die geluiden van machines niet als statische foto's ziet, maar als een vloeiende film, die hij in logische hoofdstukken verdeelt om zo elk klein defect te kunnen horen, ongeacht hoe snel de machine draait of hoe lang de opname is.

Het is alsof we aan machines een vertaler hebben gegeven die ons vertelt: "Hé, ik voel me niet helemaal lekker, mijn linkerlager begint te piepen," voordat het echt misgaat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ECHO: FREQUENCY-AWARE HIERARCHICAL ENCODING FOR VARIABLE-LENGTH SIGNALS" in het Nederlands.

Probleemstelling

Bestaande pre-getrainde fundamentele modellen (foundation models) voor audio, visie en taal hebben indrukwekkende resultaten geboekt, maar hun potentie voor algemene machine-signaalmodellering met willekeurige sample rates blijft onderbelicht. In industriële toepassingen (zoals akoestische emissies, trillingen en sensors) zijn er twee specifieke uitdagingen waar huidige modellen (vaak gebaseerd op Vision Transformers of ViT) tegenaan lopen:

1. Vaste invoerformaten en ruimtelijke modellering: Huidige ViT-modellen vereisen spectrogrammen van een vaste grootte en gebruiken 2D-positiële embeddings (uit beeldverwerking) om ruimtelijke relaties tussen patches te leren. Dit breekt de natuurlijke tijdssequentiële aard van audio en vereist bijsnijden (truncation) of interpolatie voor variabel lengte-signaal, wat informatie verliest.
2. Vaste sample rates: Modellen worden getraind op een specifieke sample rate. Invoer met een hogere of lagere sample rate moet worden hersampled, wat onvermijdelijk leidt tot informatieverlies en suboptimale prestaties.

Methodologie: Het ECHO-architectuur

De auteurs stellen ECHO (Frequency-Aware Hierarchical Encoding for Variable-Length Signals) voor. Dit is een fundamenteel model dat is ontworpen om robuuste representaties te leren voor variabel lange signalen onder willekeurige sample rates. De architectuur bestaat uit vier kerncomponenten:

1. Spectrogram Extractie:

   • Het input golfvorm wordt omgezet naar een magnitude spectrogram via een Short-Time Fourier Transform (STFT).
   • Belangrijk: De tijdsduur van het venster en de stapgrootte worden in seconden gedefinieerd. Hierdoor is het aantal tijdsframes in het spectrogram onafhankelijk van de sample rate ($f_s$), wat zorgt voor consistentie tussen verschillende invoers.

2. Frequentie-bewuste Sub-band Splitsing met Positiële Encoding:

   • Het spectrogram wordt uniform gesplitst in frequentie-sub-banden (zonder overlap). Het aantal sub-banden is evenredig met de sample rate.
   • Voor elke sub-band wordt een relatieve frequentie positiële embedding berekend. Deze encoding zorgt ervoor dat sub-banden met dezelfde relatieve frequentiepositie (onafhankelijk van de absolute sample rate) consistente posities krijgen. Dit lost het probleem van variabele sample rates op.

3. Tijdsgebonden Schuivende Patches (Sliding Patches):

   • In plaats van vaste patches (zoals bij beeldverwerking), gebruikt ECHO een schuivend venster binnen elke sub-band.
   • Een venster met lengte $L$ schuift over de tijdsas met een stapgrootte van $L/2$ (50% overlap).
   • Dit maakt het mogelijk om signalen van variabele lengte te verwerken zonder bijsnijden of opvullen (padding), en maakt het model direct toepasbaar op streaming-scenario's.

4. Hiërarchische Encoding:

   • Elke sub-band wordt verwerkt door een ViT-achterkant (backbone). Een leerbare CLS-token (classification token) wordt aan het begin van elke sub-band-sequentie toegevoegd.
   • De CLS-token vat de informatie van die specifieke sub-band samen.
   • De uiteindelijke embedding is de concatenatie van alle CLS-tokens van de verschillende sub-banden, wat een hiërarchische weergave van het volledige spectrum biedt.

Training: Het model wordt getraind met een Teacher-Student framework (gebaseerd op EAT). De student leert van de teacher (bijgewerkt via Exponential Moving Average) door twee zelf-supervisie doelen: globale alignering (gemiddelde van de teacher vs. CLS-token van de student) en frame-level alignering op gemaskerde posities.

Belangrijkste Bijdragen

1. Frequentie-bewuste splitsstrategie: Een methode om spectrogrammen op te splitsen in sub-banden met relatieve frequentie-embeddings, specifiek ontworpen voor willekeurige sample rates.
2. Schuivende patch-ontwerp: Een mechanisme dat variabel lange invoer ondersteunt zonder verlies van tijdsfideliteit, ideaal voor streaming.
3. Schaalbaar trainingsframework: Een unificatie van diverse machine-signaalmodi (akoestisch, trilling) in één representatieruimte.
4. SIREN Benchmark: De auteurs hebben een nieuwe open-source benchmark genaamd SIREN (SIgnal Representation EvaluatioN toolkit) gelanceerd om fundamentele modellen voor machine signalen eerlijk te evalueren.

Resultaten

ECHO is geëvalueerd op de SIREN-benchmark, die data uit de DCASE Task 2 challenges (2020–2025) en industriële datasets (zoals MAFAULDA, CWRU, IIEE, IICA) omvat.

• Algemene Prestaties: ECHO bereikte de State-of-the-Art (SOTA) prestaties met een gemiddelde score van 77,65% op de SIREN-benchmark. Dit is een verbetering van +0,79% ten opzichte van de sterke concurrent FISHER (76,86%) en significant beter dan traditionele modellen zoals BEATs en CED.
• Foutclassificatie: ECHO presteerde het beste bij foutclassificatie (93,19% nauwkeurigheid), wat aantoont dat het splitsen in frequentie-sub-banden robuust is over verschillende sample rates en modaliteiten.
• Vergelijking met FISHER: Hoewel FISHER ook band-splitting gebruikt, presteert ECHO beter dankzij de integratie van frequentie-positiële encoding en de schuivende patch-strategie.
• Schalbaarheid: Vergelijkingen tussen de "Small" en "Tiny" versies van ECHO tonen aan dat het vergroten van het model leidt tot consistente verbeteringen, wat aangeeft dat de architectuur goed schaalbaar is.

Betekenis en Impact

Dit werk is significant voor de industriële monitoring en voorspellend onderhoud (predictive maintenance):

• Universele Toepasbaarheid: ECHO kan signalen verwerken van verschillende sensoren (microfoons, versnellingsmeters) met willekeurige sample rates zonder dat hersampling nodig is, wat informatiebehoud garandeert.
• Streaming Capabiliteit: Door het gebruik van schuivende patches is het model natuurtuurlijk geschikt voor real-time monitoring van machines.
• Generalisatie: Het model toont sterke generalisatievermogen over verschillende machines, bedrijfsomstandigheden en defecttypes, zelfs in situaties met weinig gelabelde data (few-shot learning).
• Open Science: De publicatie van zowel het model als de SIREN-benchmark stimuleert verdere onderzoek in het veld van machine-signaalmodellering en biedt een standaard voor toekomstige vergelijkingen.

Kortom, ECHO biedt een fundamentele doorbraak in het modelleren van industriële signalen door de beperkingen van vaste sample rates en statische invoerformaten te overwinnen.