A Deformable Attention-Based Detection Transformer with Cross-Scale Feature Fusion for Industrial Coil Spring Inspection

Probleemstelling

De automatische visuele inspectie van locomotiefveer (coil springs) in de spoorwegindustrie staat voor aanzienlijke uitdagingen die de toepassing van bestaande objectdetectiemodellen beperken:

1. Morfologische Diversiteit: Defecten variëren sterk in vorm, van dunne lineaire scheuren en vertakte patronen tot onregelmatige corrosieplekken en diffuse ontkolingszones.
2. Schalingsvariatie: Defecten kunnen microscopisch klein zijn (enkele pixels) of grote oppervlakten beslaan, wat detectie vereist over een breed scala aan resoluties.
3. Complexe Achtergronden: De spiraalvormige geometrie van de veren, reflecties op het metaal en occlusie (overlappende veren) creëren een complexe visuele omgeving met hoge intra-klassen variabiliteit.
4. Eisen aan Real-time Verwerking: Industriële toepassingen vereisen hoge doorvoersnelheden (real-time) voor efficiënte productie- en onderhoudsprocessen, wat vaak in strijd is met de hoge rekenkracht die geavanceerde modellen nodig hebben.

Traditionele handmatige inspectie is subjectief, vatbaar voor vermoeidheid en heeft een lage doorvoer, terwijl bestaande diepe leermodellen (zoals YOLO of standaard DETR) moeite hebben met de specifieke combinatie van kleine, onregelmatige defecten en real-time eisen.

Methodologie: MSD-DETR

Het paper introduceert MSD-DETR (Multi-Scale Deformable Detection Transformer), een nieuw detectieframework dat is gebaseerd op RT-DETR maar is geoptimaliseerd voor industriële toepassingen. De architectuur bestaat uit vier hoofdcomponenten:

1. Backbone met Structurele Re-parameterisatie:

   • In plaats van standaard convolutielagen, gebruikt de backbone blokken die zijn ontworpen volgens het RepVGG-paradigma.
   • Tijdens training: De blokken hebben een multi-branch topologie (een 3x3 convolutie, een 1x1 convolutie en een identiteitsverbinding) om de leercapaciteit en diversiteit van features te maximaliseren.
   • Tijdens inferentie: Deze branches worden wiskundig samengevoegd tot één enkele 3x3 convolutie. Dit behoudt de prestaties van het complexe model tijdens het trainen, maar elimineert de rekenkosten tijdens het gebruik, waardoor real-time snelheid behouden blijft.

2. Verbeterd Deformable Attention Mechanisme:

   • In plaats van globale self-attention (die kwadratisch schaalt met de beeldgrootte), gebruikt het model deformable attention.
   • Dit mechanisme leert offset-predicties om slechts een klein aantal steekproeven (sampling points) te nemen op relevante locaties in het beeld.
   • Dit stelt het model in staat zich dynamisch te focussen op defectgebieden, ongeacht hun vorm of locatie, en vermindert de rekenlast aanzienlijk.
   • Het is uitgebreid naar multi-scale attention, zodat het model tegelijkertijd kan kijken naar features op verschillende resoluties.

3. Bidirectionele Cross-Scale Feature Fusion:

   • Een "neck"-architectuur die top-down (semantische informatie van hoge lagen) en bottom-up (detailinformatie van lage lagen) paden combineert.
   • Deze paden worden verrijkt met GSConv (Ghost Shuffle Convolution) modules en VoVGSCSP blokken. Deze lichtgewicht modules zorgen voor efficiënte feature-transformatie en aggregatie zonder de doorvoer te vertragen.
   • Dit zorgt voor een robuuste representatie van zowel kleine als grote defecten.

4. Transformer Decoder:

   • Gebruikt leerbare object queries en cross-attention met de encoder-features om uiteindelijk de classificatie en bounding box-coördinaten te voorspellen, zonder de noodzaak van NMS (Non-Maximum Suppression) post-processing.

Belangrijkste Bijdragen

1. Structuur Re-parameterisatie: Een strategie die de leercapaciteit tijdens training verhoogt via multi-branch netwerken, maar de inferentie-efficiëntie behoudt door deze om te zetten in single-path netwerken.
2. Content-Adaptieve Sampling: Een deformable attention mechanisme dat zich aanpast aan de morfologische onregelmatigheid van defecten, waardoor het model beter presteert bij complexe vormen en kleine details.
3. Efficiënte Multi-Resolutie Aggregatie: Een nieuwe feature fusion architectuur die GSConv en VoVGSCSP integreert om informatie over alle schalen effectief te combineren zonder rekenkundige overbelasting.

Resultaten

De methode is getest op een speciaal voor dit paper samengesteld dataset van 5.000 afbeeldingen met 12.847 defecten (5 categorieën: oppervlakscheuren, corrosie, ontkoling, krassen en putjes).

• Prestaties: MSD-DETR bereikte een mAP@0.5 van 92,4% met een doorvoersnelheid van 98 FPS (frames per seconde).
• Vergelijking met State-of-the-Art:
  • Het presteerde 3,1% beter dan YOLOv8-L (88,2% mAP).
  • Het presteerde 2,8% beter dan de baseline RT-DETR (89,1% mAP).
  • Het overtrof ook geavanceerde modellen zoals DINO en Deformable DETR.
• Efficiëntie: Ondanks de verbeterde nauwkeurigheid bleef de inferentiesnelheid vergelijkbaar met de baseline (98 FPS vs 114 FPS voor RT-DETR), wat voldoet aan real-time eisen.
• Ablatie Studies: Experimenten bevestigden dat elk van de drie innovaties (re-parameterisatie, deformable attention, cross-scale fusion) een positieve bijdrage levert en dat ze synergetisch werken.
• Generalisatie: Het model toonde sterke prestaties bij zero-shot transfer naar een ander dataset (NEU-DET staaloppervlakdefecten), wat wijst op robuuste feature-lering.

Significantie

Dit onderzoek stelt een nieuwe benchmark neer voor de automatische kwaliteitsinspectie van industriële veercomponenten. De voorgestelde oplossing lost het fundamentele dilemma op tussen hoge detectienauwkeurigheid (vooral voor kleine en onregelmatige defecten) en de noodzaak van real-time verwerking in productielijnen.

Door betrouwbare defectdetectie mogelijk te maken, ondersteunt MSD-DETR de implementatie van condition-based maintenance strategieën. Dit kan leiden tot:

• Verhoogde veiligheid door vroegtijdige detectie van kritieke defecten (zoals vermoeiingsscheuren) die tot rampzalige uitval kunnen leiden.
• Gereduceerde levenscycluskosten door geoptimaliseerde vervangingsintervallen en het voorkomen van ongeplande stilstand.
• Een schaalbaar, automatisch alternatief voor subjectieve en arbeidsintensieve handmatige inspectie.