Beyond Nearest Neighbor Interpolation in Data Augmentation

Technische Samenvatting: Voorbij Nearest Neighbor Interpolatie in Data Augmentatie

Probleemstelling
Huidige deep learning-pipelines voor semantische segmentatie en objectdetectie vertrouwen sterk op data-augmentatie om de generalisatie van modellen te verbeteren. Standaard geometrische transformaties maken echter doorgaans gebruik van Nearest-Neighbor Interpolatie (NNI of NPI) voor categorische labels (masks) om ongedefinieerde pixelwaarden te vermijden, terwijl voorbeeldbeelden hogere-orde methoden (bijv. bilineair, bicubisch) gebruiken. De auteur betoogt dat deze afhankelijkheid van NNI twee kritieke risico's introduceert:

1. Verergering van Annotatiefouten: De afhankelijkheid van NNI van afrondingsfuncties creëert zware "gezaagde rand"-artefacten, wat leidt tot mismatches tussen klassengrenzen en objectgrenzen, waardoor bestaande imperfecties in pixelniveau-annotaties worden verergerd.
2. Verlies van Structurele Detail: Waar NNI ongedefinieerde labels vermijdt, negeert het het risico op degradatie van hoogfrequente structurele details. Omgekeerd introduceren standaard Extra Pixel Interpolatie (EPI)-algoritmen (bilineair, bicubisch) die voor beelden worden gebruikt, laagdoorlaatfiltereffecten die structurele details in geannoteerde gebieden kunnen degraderen.

Bestaande literatuur heeft onzekerheid in annotaties of labelruis aangepakt, maar heeft het specifieke negatieve effect van NNI op de prestaties van segmentatiemodellen of de potentiële voordelen van het toepassen van EPI-algoritmen op categorische labels tijdens augmentatie niet voldoende onderzocht.

Methodologie
De auteur stelt een gewijzigde data-augmentatiepipeline voor die de standaard NNI voor masks vervangt door EPI-algoritmen, gekoppeld aan een mechanisme om de resulterende ongedefinieerde categorische labels te verwerken.

• Gewijzigde Geometrische Transformatie: De standaard imwarp-functie is gewijzigd om het gebruik van EPI-algoritmen (Bilineair en Bicubisch) voor het transformeren van categorische masks mogelijk te maken, in plaats van beperkt te zijn tot NNI.
• Op Gemiddelde Gebaseerde Klasfiltering (Globale Filter - GF): Om het risico op het genereren van "ongewenste" pixelwaarden (ongedefinieerde labels) bij het gebruik van EPI op masks te mitigeren, is een filtermechanisme direct geïntegreerd in het augmentatieproces. Voor binaire segmentatie gebruikt deze Globale Filter het gemiddelde ($\mu$) van de gepixelde waarden van het getransformeerde masker als drempel:
  • Als een pixelwaarde $P(x,y) > \mu$, wordt deze ingesteld op de voorgrondklasse (255).
  • Als $P(x,y) \le \mu$, wordt deze ingesteld op de achtergrondklasse (0).
  • Originele 0- of 255-waarden worden behouden.
  • Opmerking: Het artikel erkent dat deze implementatie is getest op binaire taken, maar suggereert dat deze kan worden uitgebreid naar meerklasse-scenario's via klassespecifieke drempelwaarden.
• Offline Augmentatiepipeline: Een offline pipeline is geïmplementeerd om interpolatiespecifieke geaugmenteerde datasets te genereren. Dit maakte een gecontroleerde kwantitatieve beoordeling van laagdoorlaatfiltereffecten mogelijk. De pipeline genereerde twee geaugmenteerde kopieën voor elke originele trainingsafbeelding.
• Datasets en Modellen:
  • Semantische Segmentatie: Geëvalueerd op drie medische beeldvormingsdatasets (Borsthistologie, MRI-hersenen, Colonpoliepen) met behulp van U-Net, SegNet en DeepLabV3+ (met ResNet50-ruggengraat).
  • Objectdetectie: Geëvalueerd op XBAT+-datasets (identificatie van Batterij-WEEE) met behulp van YOLOv26.
• Evaluatie: De prestaties werden gemeten met behulp van Nauwkeurigheid, Recall, Precisie, Intersection over Union (IoU), F1-score (BF1), meanBFScore, Dice-score en mAP@50. De resultaten werden geanalyseerd via ruwe scores en ranggebaseerde sommen om prestatieverschillen te visualiseren.

Belangrijkste Bijdragen

1. Afwijzing van NNI voor Masks: Het werk daagt het routinematige gebruik van NNI voor mask-augmentatie uit en toont aan dat het niet de enige oplossing is voor ongedefinieerde labels en vaak de prestaties verslechtert door annotatiefouten te verergeren.
2. Geïntegreerd Filtermechanisme: Het voorstellen van een intern, op gemiddelde gebaseerd filtermechanisme (GF) dat het veilig gebruik van EPI-algoritmen op categorische labels mogelijk maakt zonder ongedefinieerde klassen te produceren.
3. Offline Augmentatiekader: Het creëren van een offline pipeline om interpolatiespecifieke trainingsdata te genereren en op te slaan, waardoor een directe vergelijking mogelijk wordt van hoe verschillende interpolatiemethoden (NPI vs. EPI) de modelprestaties en het behoud van structurele details beïnvloeden.
4. Uitgebreide Empirische Analyse: Een systematische evaluatie over meerdere architecturen (U-Net, SegNet, DeepLabV3+, YOLOv26) en diverse datasets (medisch en industrieel) om de optimale interpolatiestrategie te bepalen.

Experimentele Resultaten
De studie leverde gemengde maar inzagevolle resultaten op, afhankelijk van de architectuur en de taak:

• Semantische Segmentatie:
  • U-Net en SegNet: De BIC_BIC-configuratie (Bicubische interpolatie voor zowel afbeeldingen als masks) presteerde over het algemeen beter dan de traditionele NEA_NEA (Nearest-Neighbor voor beide) op de meeste metrieken (Nauwkeurigheid, Dice, IoU, meanBFScore), met name op de Hersenen- en Colon-datasets. Kwalitatieve resultaten toonden aan dat BIC_BIC-masks compacter waren en dichter bij de ground truth lagen, terwijl NEA_NEA vals-positieve gebieden introduceerde.
  • DeepLabV3+: De resultaten waren minder eenduidig. Hoewel ranggebaseerde sommen soms NEA_NEA bevoordeelden, gaven tabellen met ruwe scores aan dat hybride configuraties (bijv. NEA_BIL of NEA_BIC) vaak de beste prestaties behaalden, wat suggereert dat de optimale strategie afhankelijk is van de architectuur.
• Objectdetectie (YOLOv26):
  • Bicubische (BIC) augmentatie leverde de hoogste mAP@50 en Precisie op voor zowel RGBD- als HQD-datasets, wat resulteerde in zekerere en schonere detecties.
  • Bilineaire (BIL) augmentatie leverde consequent de hoogste Recall op, waarbij meer objecten werden gedetecteerd maar met iets lagere precisie vergeleken met BIC.
  • NEA presteerde over het algemeen lager dan EPI-methoden op het gebied van mAP en Precisie.

Betekenis en Claims
Het artikel claimt dat de keuze van het interpolatiealgoritme in geometrische transformaties geen neutrale voorverwerkingsstap is, maar een kritieke factor die de modelprestaties beïnvloedt.

• Prestatiewinst: De studie toont aan dat het overstappen van NNI naar EPI-algoritmen, wanneer gecombineerd met passende filtering, prestatiewinst kan opleveren over meerdere kwantitatieve metrieken.
• Behoud van Structuur: Het voorgestelde kader draagt bij aan het verminderen van de verergering van annotatiefouten en het behoud van hoogfrequente structurele details binnen geannoteerde gebieden.
• Contextafhankelijke Optimalisatie: Het werk benadrukt dat de "beste" interpolatiestrategie niet universeel is; deze hangt af van de specifieke CNN-architectuur en datasetkenmerken. Bijvoorbeeld, terwijl U-Net en SegNet significant profiteerden van volledige EPI (BIC_BIC), vertoonde DeepLabV3+ wisselende resultaten, en YOLOv26 toonde een afweging tussen Precisie (bevoordeeld door BIC) en Recall (bevoordeeld door BIL).
• Toekomstige Toepasbaarheid: De auteur concludeert dat het voorgestelde kader uitbreidbaar is naar andere modelarchitecturen en beeldvormingsdatasets, en pleit voor flexibele interpolatiekeuzes in data-augmentatiepipelines in plaats van te defaulten naar nearest-neighbor interpolatie.