Technische Samenvatting: Multi-Schaal Tensoriële Sommatie en Dimensionale Reductie-Gestuurde Neuronale Netwerk voor Randdetectie

1. Probleemstelling

Randdetectie is een fundamentele laag-niveau taak in computerzicht die cruciaal is voor downstream-toepassingen zoals beeldsegmentatie, verbetering en intelligent vervoer. Ondanks aanzienlijke vooruitgang via deep learning, staan bestaande methoden voor drie primaire uitdagingen:

1. Afweging tussen Efficiëntie en Kwaliteit: Het behalen van hoge kwalitatieve resultaten vereist vaak diepe, complexe netwerken met grote receptieve velden, wat leidt tot hoge rekenkosten en redundante parameters.
2. Afhankelijkheid van Nabewerking: State-of-the-art (SOTA) methoden vertrouwen frequent op non-maximum suppression (NMS) of morfologische schema's om de scherpte van het resultaat te waarborgen, wat complexiteit toevoegt aan het inferentieproces.
3. Afhankelijkheid van Transfer Learning: Huidige top-presterende modellen zijn vaak afhankelijk van vooraf trainen of transfer learning om uitdagende datasets zoals BSDS500 effectief te verwerken.
4. Data Kenmerken: Benchmark-datasets lijden aan labelonzekerheid (door meerdere annotaties) en class-imbalance (randen versus geen-randen), wat robuuste verwerking van ruis en redundantie vereist.

2. Methodologie: MTS-DR-Net

De auteurs stellen MTS-DR-Net voor, een nieuw architectuurontwerp dat randkenmerken efficiënt extrahert door eerst redundante informatie te verwijderen in plaats van direct noodzakelijke kenmerken te extraheren. Het netwerk bestaat uit twee hoofdcomponenten: een MTS-DR Ruggegraat en een Verfijningsnetwerk.

2.1. MTS-DR Ruggegraat

De ruggegraat is ontworpen om "noodzakelijke deelruimten" (relevante randinformatie) te identificeren en behouden, terwijl homogene kenmerken worden verwijderd.

• Multi-Schaal Tensoriële Sommatie (MTS) Laag: Geïnspireerd door Tucker-decompositie en gegeneraliseerde tensor-sommatie, vervangt de MTS-laag complexe CNN- of Transformer-blokken. Deze werkt op patch-gebaseerde kenmerkkaarten met variërende venstergroottes (bijv. 8, 16, 32, 64) om grote receptieve velden te bereiken vanaf de eerste lagen. Het voert een leerbare lineaire mapping uit via tensor-sommatie:
  $$MTS(X) = \sum_{sc=1}^{SC} f^{-1}_{w_{sc}} \left( \sum_{t=1}^{T} f_{w_{sc}}(X) \times_1 A^{(t,sc)}_1 \times_2 \dots \times_J A^{(t,sc)}_J \right)$$
• Multi-Head Gate (MHG) Laag: Om non-lineariteit in te voeren zonder traditionele activatiefuncties (zoals ReLU), gebruikt de MHG-laag een gated-operatie. Het splitst kenmerkkaarten in heads, past geleerde lineaire mappingen ($g_1, g_2$) toe via $1\times1$ en $3\times3$ convoluties, gevolgd door element-voor-element vermenigvuldiging. Dit benadert de kromming van de signaalruimte.
• Dimensionale Reductie Mechanisme: Een MTS-DR-blok past sequentieel een MTS-laag toe (compressie van dimensies), een MHG-laag (non-lineariteit) en een tweede MTS-laag (herstel van dimensies). De uiteindelijke output van de ruggegraat is een kenmerkkaart $\tilde{X}$ gegenereerd door de sigmoid-gated input af te trekken van de originele input:
  $$\tilde{X} = X - \text{Sigmoid}(X) \otimes X$$
  Deze operatie onderdrukt effectief redundante kenmerken en benadrukt discontinuïteiten.

2.2. Verfijningsnetwerk

De output van de ruggegraat wordt gevoed in een lichtgewicht, U-vormig verfijningsnetwerk.

• Architectuur: Het maakt gebruik van een encoder-decoder structuur met drie schalen. De encoder downsamples kenmerken, terwijl de decoder ze upsamples.
• Zijdelingse Fusie: Kenmerken van drie schalen worden gefuseerd met behulp van een Conditionele Convolutionele (CondConv) laag met vier experts om het leervermogen op elke schaal te versterken.
• Output: Het netwerk produceert drie zij-outputs en een finale gefuseerde randkaart via een $1\times1$ convolutie en Sigmoid-activatie, waardoor waarschijnlijkheidskaarten worden gegenereerd variërend van 0 tot 1.

2.3. Verliesfunctie

Om labelonzekerheid en class-imbalance aan te pakken, hanteert het model een Gewogen Binair Cross-Entropy (WBCE) verlies.

• Het balanceert positieve (rand) en negatieve (geen-rand) pixels met behulp van gewichten $\alpha$ en $\beta$.
• Een drempelwaarde $\eta$ wordt geïntroduceerd om onzekerheid in ground-truth annotaties te mitigeren (pixels met dubbelzinnige labels worden genegeerd).
• Het totale verlies is de som van de WBCE van de drie zij-outputs en de finale gefuseerde output.

3. Belangrijkste Bijdragen

1. Pionierende Tensoriële Sommatie: Dit werk is het eerste dat een tensoriële sommatiestrategie specifiek voor randdetectietaken gebruikt, dienend als een compact alternatief voor complexe diepe structuren.
2. Benadering Eerst Redundantie: In tegenstelling tot conventionele methoden die kenmerken direct extraheren, verwijdert het voorgestelde model eerst onnodige kenmerken via dimensionale reductie, waardoor het netwerk zich richt op relevante deelruimten.
3. Efficiëntie zonder Nabewerking: De MTS-DR-Net bereikt tegelijkertijd hoge precisie en efficiëntie zonder NMS of andere nabewerkingsstappen te vereisen.
4. Prestaties zonder Transfer Learning: Het model overtreft eerdere SOTA-methoden op benchmark-datasets, zelfs zonder gebruik van transfer learning of vooraf trainen.

4. Experimentele Resultaten

Het model werd geëvalueerd op de BSDS500 en BIPEDv2 datasets, met vergelijking tegen TEED, PiDiNet, DexiNed en XYW-Net.

• BSDS500: De MTS-DR-2 variant behaalde de beste Optimal Dataset Scale (ODS) van 0.744 en Optimal Image Scale (OIS) van 0.758 (Dunne instelling), en presteerde beter dan XYW-Net met 1,9% in ODS. De lichtgewicht MTS-DR-3 variant behaalde vergelijkbare prestaties als XYW-Net met 40,9% minder parameters en 56,9% lagere GFLOPs.
• BIPEDv2: Het model behaalde een gemiddelde IOU van 0.6038 en gemiddelde Precisie van 0.8689. De MTS-DR-2 variant behaalde de beste ODS (0.903) en OIS (0.909).
• Ablatie Studies:
  • Schaalbaarheid: Het verhogen van het aantal MTS-DR-blokken ($M$) en kanalen ($C$) verbeterde de prestaties, maar kleinere configuraties (MTS-DR-3) bleven zeer competitief.
  • Compressieverhouding (CR): Een lagere compressieverhouding (0,2) leverde iets betere ODS/OIS-scores op met verminderde rekencomplexiteit vergeleken met 0,4.
• Kwalitatieve Analyse: Visuele resultaten geven aan dat de MTS-DR-ruggegraat succesvol homogene kenmerken verwijdert, wat resulteert in randkaarten met rijkere details en minder ruis in vergelijking met concurrenten.

5. Betekenis en Claims

Het artikel stelt dat MTS-DR-Net een significante verschuiving in de architectuur voor randdetectie vertegenwoordigt door multi-schaal tensoriële sommatie te benutten om grote receptieve velden vroeg in het netwerk te bereiken. De primaire betekenis ligt in:

• Eliminatie van Redundantie: Door zich te richten op dimensionale reductie om noodzakelijke deelruimten te isoleren, vermijdt het netwerk de rekenlast van het verwerken van irrelevante kenmerken.
• Eenvoud en Robuustheid: De methode bereikt SOTA-prestaties zonder de noodzaak van complexe vooraf trainingspijplijnen of morfologische nabewerkingsoperaties.
• Efficiëntie: Het toont aan dat hoogwaardige randdetectie kan worden bereikt met aanzienlijk minder parameters en lagere rekenkosten (GFLOPs) dan bestaande deep learning-benaderingen, waardoor het geschikt is voor omgevingen met beperkte middelen.

De auteurs concluderen dat de multi-schaal tensoriële sommatiefactorisatie-operator een levensvatbaar en efficiënt alternatief is voor complexe DNN-structuren in randdetectietaken.