Molten mark classification using multi-scale directional cross-scale attention fusion

Technische Samenvatting: Classificatie van Gesmolten Merken middels Multi-Scale Directional Cross-Scale Attention Fusion

Probleemstelling
Bij onderzoek naar elektrische branden is het onderscheid tussen kortsluitingsparels (veroorzaakt door elektrische bogen) en hittevlekken (veroorzaakt door externe vlammen) cruciaal voor het vaststellen van de brandhaarden en het toewijzen van aansprakelijkheid. Traditionele methoden vertrouwen op metallografische analyse van draaddoorsneden, wat kostbare apparatuur, aanzienlijke handmatige arbeid voor voorbewerking (snijden, polijsten) en tijdrovende analyse vereist. Hoewel recente deep learning-benaderingen met Convolutional Neural Networks (CNN's) veelbelovend zijn gebleken, kampen zij met inherente beperkingen. CNN's maken gebruik van vaste kernelgroottes en lokale receptieve velden, waardoor ze minder effectief zijn in het vastleggen van de complexe interactie tussen lokale texturen (bijv. oppervlakteglans) en globale morfologische kenmerken (bijv. randenscherpte) die nodig zijn voor nauwkeurige classificatie. Bovendien lijden afbeeldingen van echte brandplaatsen vaak aan degradatie (onscherpte, ruis, contaminatie), waarbij modellen met een vast receptief veld moeite hebben om de prestaties te behouden.

Methodologie
De auteurs stellen een nieuwe classificatiearchitectuur voor die een Swin Transformer-backbone integreert met een gemodificeerd Bi-directioneel Feature Pyramid Network (BiFPN) neck, verbeterd door een Directional Cross-Scale Attention (DCSA) module.

1. Backbone (Multi-Scale Extractie): Het systeem maakt gebruik van een Swin Transformer om hiërarchische visuele kenmerken te extraheren op vier verschillende resolutieniveaus ($C_1$ tot $C_4$). Dit stelt het model in staat om fijnmazige lokale texturele details vast te leggen op hoge resoluties en globale morfologische context op lagere resoluties. Deze kenmerken worden via $1\times1$ convoluties geprojecteerd naar een gemeenschappelijke kanaaldimensie ($d=256$).
2. Neck (DCSA-verbeterde BiFPN): In plaats van de standaard scalaire gewogen sommatie in de BiFPN-fusienodes, introduceren de auteurs de DCSA-module. Deze module voert bidirectionele featurefusie uit (top-down en bottom-up) terwijl kenmerken adaptief worden hergekalibreerd op basis van cross-scale afhankelijkheden:
   • Top-Down Pad: Propageert globale context van grove naar fijne schalen. De DCSA-module ($DCSA_{td}$) past kanaalattentie toe (gebaseerd op global average pooling van geconcateneerde inputs) en ruimtelijke attentie (gebaseerd op cross-scale gelijkenis en een ruimtelijke map-generator) toe op het huidige-schaal kenmerk. Een gated residual mechanisme fuseert de geattendeerde kenmerken adaptief met het geupsampled grove kenmerk, waardoor de intensiteit van de propagatie van de globale context wordt gecontroleerd.
   • Bottom-Up Pad: Propageert lokale details van fijne naar grove schalen. De DCSA-module ($DCSA_{bu}$) verwerkt drie inputs: het gedownsamplede bottom-up kenmerk, het huidige-schaal backbone-kenmerk en het top-down intermediaire kenmerk. Het maakt gebruik van een gedeeld FC-netwerk voor kanaalattentie en een SoftMax-genormaliseerde ruimtelijke attentie-mechanisme om de meest informatieve input op elke ruimtelijke locatie te selecteren, wat redundante feature-accumulatie voorkomt.
3. Classificatiekop: De gefuseerde kenmerken van alle vier de schalen worden geaggregeerd via Global Average Pooling (GAP), geconcateneerd en door een fusienetwerk van volledig verbonden lagen (1024 $\to$ 512 $\to$ 256) geleid met laagnormalisatie, ReLU en dropout, gevolgd door een lineaire classifier voor binaire output.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Dit is de eerste studie die multi-scale feature fusie met een Swin Transformer en BiFPN specifiek toepast voor de classificatie van gesmolten merken.
• DCSA-module: De auteurs stellen de DCSA-module voor, die de standaard scalaire weging in BiFPN-nodes vervangt door richting-bewuste kanaal- en ruimtelijke attentie. Dit stelt het netwerk in staat om selectief relevante kanalen en ruimtelijke regio's te benadrukken die geconditioneerd zijn door kenmerken van verschillende resolatieniveaus, waarmee de beperking van bestaande BiFPN's wordt aangepakt die alle kanalen en ruimtelijke locaties als gelijk behandelen.
• Robuuste Dataset: De studie verhoogt de praktische bruikbaarheid door laboratoriumgegenereerde monsters aan te vullen met een dataset van gesmolten merken verzameld van werkelijke elektrische brandscènes, die vaak gecontamineerd en gedegradeerd zijn.
• Uitgebreide Validatie: De methode wordt gevalideerd door middel van uitgebreide vergelijkende experimenten, ablatie-studies en kwalitatieve analyses (GradCAM en t-SNE).

Experimentele Resultaten
De voorgestelde methode werd geëvalueerd op een dataset bestaande uit 18.750 trainingsafbeeldingen en 4.905 testafbeeldingen (inclusief zowel laboratorium- als echte brandscène-data).

• Prestaties op Standaard Dataset: Het voorgestelde model behaalde een F1-score van 0,9613 en een Matthews Correlation Coefficient (MCC) van 0,9257. Dit vertegenwoordigt een verbetering van respectievelijk 2,26 en 4,02 procentpunten ten opzichte van de best presterende baseline (Swin Transformer). Het model behield een evenwichtige precisie (0,9633) en recall (0,9593), waarmee het superieur was aan CNN-gebaseerde modellen (VGG16, EfficientNet) en andere Transformer-varianten (ViT, DeiT).
• Robuustheid tegen Degradatie: Op een gedegradeerde testdataset (simulatie van onscherpte, ruis en compressie) vertoonde het voorgestelde model een superieure robuustheid, met slechts een afname in nauwkeurigheid van 2,88%. In contrast hiermee leden CNN-gebaseerde modellen een gemiddelde afname in nauwkeurigheid van ongeveer 15,75%, waarbij de precisie vaak instortte door hun afhankelijkheid van fijne texturen. Het voorgestelde model behield een MCC van 0,8681, wat de baselines aanzienlijk overtrof.
• Ablatie-studies: Het verwijderen van ofwel de top-down of de bottom-up DCSA-paden, of het isoleren van kanaal/ruimtelijke attentie, resulteerde in prestatieverlies, wat bevestigt dat de volledige integratie van cross-scale conditionering en bidirectionele flow essentieel is voor optimale prestaties.
• Kwalitatieve Analyse: GradCAM-visualisaties toonden aan dat het voorgestelde model zich uitsluitend richt op de gebieden met gesmolten merken, waarbij het achtergrondinterferentie (bijv. roosterlijnen, roet) effectief onderdrukt waar baseline-modellen faalden. t-SNE-visualisaties lieten zien dat het model fijnmazige sub-clusters binnen klassen leert, waarbij diverse draadtypen en morfologieën van elkaar worden onderscheiden.

Betekenis
Het artikel beweert dat de voorgestelde methode de kritieke beperkingen van bestaande CNN-gebaseerde benaderingen effectief aanpakt door zowel lokale als globale kenmerken te benutten via multi-scale fusie. Door de introductie van de DCSA-module benadrukt de methode selectief onderscheidende signalen die prominent kunnen zijn op één schaal maar subtiel op een andere. De resultaten tonen aan dat deze aanpak niet alleen een state-of-the-art nauwkeurigheid bereikt, maar ook de robuustheid biedt die nodig is voor real-world brandonderzoeksscenario's waar de beeldkwaliteit vaak compromitterend is. De studie suggereert dat deze architectuur een levensvatbaar, geautomatiseerd alternatief biedt voor arbeidsintensieve metallografische analyse, wat potentieel de efficiëntie en betrouwbaarheid van de bepaling van de oorzaak van elektrische branden kan verbeteren.