A self-supervised learning approach to deep filter banks for texture recognition

Technische Samenvatting: Een Zelftoezichthoudende Leerbenadering voor Diepe Filterbanken voor Textuherkenning

Probleemstelling
Textuherkenning in computervisie staat voor aanzienlijke uitdagingingen in real-world toepassingen, voornamelijk door de schaarste aan gelabelde trainingsdata, hoge interklassen gelijkenis en intraklassen dissimilariteit. Hoewel diep leren het veld heeft vooruitgebracht, falen standaard "off-the-shelf" Convolutional Neural Networks (CNN's) vaak om voldoende informatie uit beperkte datasets te extraheren. Huidige state-of-the-art oplossingen vertrouwen vaak op zelftoezichthoudende pre-training met behulp van Masked Autoencoders (MAE's) gecombineerd met Vision Transformers (ViT's). Deze architecturen zijn echter rekenkundig intensief en vertrouwen op attention-mechanismen om lange-afstand afhankelijkheden te vangen. De auteurs betogen dat voor textuurafbeeldingen, waar relevante informatie is samengeperst binnen lokale gebieden rondom elke pixel, het vangen van lange-afstand afhankelijkheid mogelijk onnodig is, wat suggereert dat lichtere, op convolutie gebaseerde benaderingen efficiënter kunnen zijn.

Methodologie
Het voorgestelde raamwerk vervangt de rekenkundig zware ViT-gebaseerde pre-training door een diepe convolutie-autoencoder binnen een zelftoezichthoudende leerpijplijn. De methodologie bestaat uit vier primaire modules:

1. Zelftoezichthoudende Pre-training (Autoencoder):
   Het model maakt gebruik van een U-Net-achtige encoder-decoder architectuur. Er worden twee pre-training strategieën onderzocht:

   • Identiteitsmapping: De input en het doeloutput zijn hetzelfde beeld.
   • Ruisverwijdering: De input is een versie van het beeld met ruis, en het netwerk leert het origineel te reconstrueren.
     De architectuur maakt gebruik van standaard convolutieblokken met ReLU-activering, max pooling voor downsampling en skip-verbindingen om ruimtelijke informatie te behouden. De output van de bottleneck-laag dient als de geleerde kenmerkrepresentatie.

2. CNN Kenmerkextractie:
   De voorgeöorde encoder wordt gebruikt als kenmerkextractor. Lokale kenmerken worden geëxtraheerd uit specifieke convolutielagen (specifiek de laatste lagen van blokken 5 en 6 van een EfficientNet-B5 backbone).

3. Fisher Vector (FV) Encodering:
   Om de lokale kenmerken te aggregeren, maakt de methode gebruik van Fisher Vector encodering gekoppeld aan een Gaussische Mixture Model (GMM). Het GMM wordt getraind op de geaggregeerde lokale kenmerken om de verdeling van visuele woorden te modelleren. De Fisher Vector wordt berekend als de gradiënt van de log-waarschijnlijkheid van de data met betrekking tot de GMM-paramaters, genormaliseerd door de Fisher Informatie Matrix. Dit proces vangt statistieken van hogere orde van de diepe kenmerken.

4. Predictor:
   De uiteindelijke kenmerkrepresentatie is een concatenatie van de zelftoezichthoudende bottleneck-kenmerken (SSL) en de genormaliseerde Fisher Vectors (FV). De auteurs passen L2- en power-normalisatie toe op de FV-kenmerken. Classificatie wordt uitgevoerd met een Support Vector Machine (SVM) met een Bhattacharyya-coëfficiënt kernel, wat efficiënte lineaire classificatie mogelijk maakt na een specifieke transformatie van de kenmerkvectoren.

Belangrijkste Bijdragen

• Architectuur: Voorstel van een diepe convolutie-encoder-decoder architectuur voor zelftoezichthoudende kenmerkextractie in textuherkenning, waarmee de rekenkundige overhead van Vision Transformers wordt vermeden.
• Hybride Model: Introductie van een textuherkenningsmodel dat zelftoezichthoudende CNN-kenmerken combineert met Fisher Vector pooling.
• Prestatie: Demonstratie van state-of-the-art of concurrerende resultaten op standaard textuurdatabases (Flickr Material Database, Describable Textures Dataset en KTH-TIPS2-b) met verminderde rekenkundige complexiteit.
• Praktische Toepassing: Succesvolle toepassing van het model op de identificatie van Braziliaanse plantensoorten uit afbeeldingen van bladoppervlakken, waarbij eerder gerapporteerde resultaten worden overtroffen.

Experimentele Resultaten
De methode werd geëvalueerd op vijf textuurdatasets: KTH-TIPS2-b, FMD, DTD, UIUC en UMD, evenals een praktische 1200Tex-dataset voor plantensoortidentificatie.

• Metrische Prestatie: Op de FMD-dataset bereikte het voorgestelde FVAE-model (Fisher Vector + Autoencoder) een nauwkeurigheid van 92,9 ± 0,4%, wat beter presteerde dan de baseline EfficientNet-B5 (87,4%) en andere state-of-the-art methoden zoals RADAM (88,7%) en DSRNet (86,0%).
• Kenmerkanalyse: Experimenten toonden aan dat het gebruik van alleen Fisher-kenmerken iets betere metrieken opleverde dan het combineren ervan met volledig verbonden (FC) kenmerken, waarschijnlijk omdat de op GMM gebaseerde statistische procedure de distributie-eigenaardigheden van de diepe kenmerken beter vastlegt.
• Efficiëntie: De benadering bereikte hoge nauwkeurigheid met een "eenvoudige en zeer efficiënte" pre-trainingfase, waarmee de hypothese wordt gevalideerd dat complexe attention-mechanismen niet strikt noodzakelijk zijn voor textuurtaken.

Betekenis en Beweringen
Het artikel stelt dat Vision Transformers weliswaar effectief zijn voor taken die het modelleren van verre gebieden binnen een afbeelding vereisen, maar niet altijd de optimale keuze zijn voor textuherkenning, waar lokale kenmerken domineren. De studie toont aan dat "U-Net-achtige" convolutie-architecturen rijke diepe representaties van ongelabelde afbeeldingen kunnen bieden met relatief lage rekenkosten.

De auteurs concluderen dat hun werk de potentie van efficiënte convolutie-architecturen in zelftoezichthoudende kaders benadrukt, met name in scenario's waar pre-training data beperkt is. Zij suggereren dat toekomstig onderzoek andere zelftoezichthoudende paradigma's (zoals contrastief leren) moet aanpassen aan efficiënte CNN-backbones en moet onderzoeken hoe andere state-of-the-art textuuranalysemodellen kunnen profiteren van vergelijkbare pre-trainingfasen. Het werk beoogt de beperkingen van de huidige literatuur met betrekking tot rekenkundige efficiëntie in zelftoezichthoudend leren aan te pakken zonder classificatienauwkeurigheid op te offeren.