Two kinds of robustness are not the same: disentangling fault tolerance and low-SNR robustness in multi-domain event detection on real data

Technische Samenvatting: Ontrafeling van Fouttolerantie en Lage-SNR-robuustheid in Multi-Domein Event Detectie

Probleemstelling
Betrouwbare eventdetectie is cruciaal voor het monitoren van geïnduceerde seismiciteit bij CO2-opslag (CCS) en geothermische operaties, evenals voor industriële conditiebewaking. In de praktijk worden twee verschillende faalmodi aangetroffen: sensorverlies (kanalen die uitvallen door koppelingsproblemen of instrumentfouten) en een lage signaal-ruisverhouding (SNR) (events die begraven liggen in achtergrondruis). Hoewel deze condities vaak gelijktijdig optreden, betoogt dit artikel dat het om twee verschillende uitdagingen gaat met verschillende oorzaken. De huidige literatuur combineert deze twee typen robuustheid vaak, waarbij prestatiewinst wordt toegeschreven aan architecturale complexiteit (bijv. redundante paden, aandachtmechanismen) zonder causale isolatie. Deze verwarring brengt het risico met zich mee dat middelen verkeerd worden toegewezen, aangezien architecturale redundantie een permanente computationele kostenpost met zich meebrengt, terwijl training-gebaseerde oplossingen draagbaar en lichtgewicht kunnen zijn.

Methodologie
Om deze factoren te ontrafelen, hebben de auteurs een uniforme, multi-domein benchmark en een causaal evaluatiekader geconstrueerd:

1. Uniforme Benchmark: Drie fysiek verschillende real-world datasets werden in kaart gebracht naar een gemeenschappelijke representatie ($C=8$ kanalen, $T=256$ samples):

   • Seismisch: Hi-net golfvormen (NIED).
   • Borehole DAS: Utah FORGE 2024 data (Neubrex).
   • Industriële Vibratie: MAFAULDA machinefoutdatabase.
     De benchmark waarborgt lekvrije splitsingen (per bestand voor DAS) en gebruikt ruis-relatieve normalisatie om dominantie van amplitude door een enkele modaliteit te voorkomen.

2. Modellen en Architecturen:

   • CEPHALON: Een doelbewust redundante, bio-geïnspireerde architectuur bestaande uit een gedeelde trunk (Channel Mixture-of-Experts + adaptieve graaf), acht parallelle armen (OAN-8), drie redundante classificatiekoppen (tri-cardiac) en een domein-adversariële tak.
   • Baselines: Drie standaard detectoren (Plain 1D CNN, Temporal Convolutional Network, Compact Transformer) getraind met een identiek recept als CEPHALON.

3. Trainingsrecept (De Variabele):

   • Sensor-Dropout Training: Een gestructureerde augmentatie waarbij voor elk trainingsmonster een willekeurige subset van kanalen op nul wordt gezet (Bernoulli-masker, $p=0.2$), waarbij gegarandeerd wordt dat ten minste één kanaal overblijft. Dit wordt op alle modellen toegepast.
   • Ablatie-strategie: De studie houdt het trainingsrecept vast over de architecturen heen om architecturale effecten te testen, en houdt de architectuur vast terwijl het sensor-dropout recept wordt verwijderd om effecten van het recept te testen.

4. Evaluatieprotocollen:

   • Sensorverlies: Progressieve verwijdering van inputkanalen ($k=0$ tot $7$).
   • Lage SNR: Toevoeging van Gaussische ruis om doel-SNRs te bereiken (tot -10 dB).
   • Mechanisme-ablaties: Het uitschakelen van interne redundantie tijdens inferentie (1 arm, 1 kop) versus het volledig verwijderen van het sensor-dropout recept ("vanilla" model).
   • Cross-Domain Transfer: Leave-one-domain-out (LODO) en few-shot adaptatie tests.

Belangrijkste Resultaten

• Prestaties op Schone Data: Alle modellen behalen bijna perfecte prestaties (AUC $\approx$ 0.99–1.00) op schone data, wat aangeeft dat verschillen pas optreden onder stress.
• Sensorverlies-robuustheid (Recept-gestuurd):
  • Eenvoudige baselines getraind met sensor-dropout zijn even robuust als, of robuuster dan, de redundante CEPHALON-architectuur wanneer sensoren verloren gaan.
  • Wanneer 4 van de 8 kanalen zijn verwijderd, behouden sensor-dropout modellen een hoge AUC ($\approx$ 0.98), terwijl "vanilla" modellen (zonder dropout) significant dalen (naar $\approx$ 0.74).
  • Conclusie: Fouttolerantie voor ontbrekende sensoren is een eigenschap van het trainingsrecept, niet van architecturale redundantie.
• Lage-SNR-robuustheid (Interactie tussen Recept + Architectuur):
  • Onder additieve ruis degradeert CEPHALON geleidelijk (AUC 0.939 bij -2.5 dB), terwijl convolutionele baselines instorten (AUC $\approx$ 0.53–0.57).
  • Isolatie van Mechanismen:
    • Redundantie-Uit: Het uitschakelen van de interne redundantie van CEPHALON tijdens inferentie vermindert de prestaties slechts marginaal (AUC daalt van 0.899 naar 0.853 bij -5 dB).
    • Recept-Uit: Het verwijderen van de sensor-dropout training van CEPHALON veroorzaakt een catastrofale daling (AUC daalt van 0.899 naar 0.603 bij -5 dB), waardoor het dicht bij de baseline-niveaus komt.
  • Conclusie: Lage-SNR-robuustheid wordt primair gedreven door het sensor-dropout trainingsrecept, waarbij architecturale redundantie slechts een secundaire, minder belangrijke rol speelt.
• Cross-Domain Transfer: Zero-shot transfer tussen deze verschillende domeinen faalt (AUC $\approx$ 0.24). Echter, few-shot adaptatie (met gebruik van $K=5$ gelabelde target-voorbeelden) maakt snelle convergentie naar in-domein prestaties mogelijk, wat de bruikbaarheid van de gedeelde representatie voor adaptatie valideert, in plaats van zero-shot generalisatie.

Betekenis en Claims
Het artikel claimt een causale ontrafeling te bieden van twee robuustheidseigenschappen die routinematig worden verward in de monitoringsliteratuur. De belangrijkste bijdragen zijn:

1. Herformulering van Robuustheid: Het toont aan dat robuustheid tegen sensorverlies en lage SNR grotendeels wordt "gekocht" door het trainingsrecept (sensor-dropout) in plaats van door zware, redundante architecturen. Dit suggereert dat lichtgewicht detectoren een veld-waardige robuustheid goedkoop kunnen bereiken als ze correct getraind zijn.
2. Causaal Bewijs: Door ablaties met dezelfde architectuur te gebruiken, tonen de auteurs aan dat architecturale redundantie niet de primaire bron van lage-SNR-robuustheid is. Het "recept" (augmentatie) is de dominante factor, terwijl redundantie slechts een marginaal secundair voordeel biedt en specifieke Tier-2 fouttolerantie (geleidelijke degradatie bij falen van interne componenten).
3. Praktische Implicatie: Voor veldmonitoring (CCS, geothermisch, industrieel) moeten beoefenaars prioriteit geven aan het trainingsrecept (sensor-dropout) boven architecturale complexiteit. De redundante architectuur (CEPHALON) biedt een residu-voordeel, met name in DAS-toepassingen, maar het artikel stelt dat deze afweging expliciet geëvalueerd moet worden in plaats van als noodzakelijk te worden verondersteld.
4. Reproduceerbaarheid: De auteurs stellen een volledige, genummerde, reproduceerbare pipeline beschikbaar, waardoor elke figuur en tabel uit de studie geregenereerd kan worden.

Het artikel sluit bescheiden af met de opmerking dat hoewel de resultaten robuust zijn tegen witte en roze ruis, evaluatie tegen opgenomen, niet-stationaire veldruis een noodzakelijke toekomstige stap blijft. Het benadrukt dat het "recept" de sleutel tot robuustheid is, wat de aanname uitdaagt dat architecturale complexiteit de primaire drijfveer is van betrouwbaarheid in real-world sensing.