Leveraging Dissimilarity Invariance as a Robust Anchor for Learning with Noisy Labels

Technische Samenvatting: Het benutten van dissimilariteitsinvariantie als een robuust anker voor leren met ruisige labels

Probleemstelling
Deep learning-modellen behalen een hoge prestatie bij visuele herkenning, maar lijden onder aanzienlijke degradatie wanneer trainingslabels corrupt zijn door ruis. Bestaande benaderingen falen vaak omdat ruisige labels de semantische structuur van data verstoren, met name de geleerde gelijkenissen tussen monsters. De auteurs observeren dat semantische gelijkenis (positieve paren) inherent fragiel is onder labelruis; incorrecte labels verstoren de paarwijze gelijkenissen ernstig, wat leidt tot foutieve affiniteitsuitlijning en het voorkomen dat het model betekenisvolle relaties leert. Daartegenover identificeert het artikel een onderonderzocht fenomeen waarbij de semantische dissimilariteit tussen ongerelateerde monsters (negatieve paren) opmerkelijk stabiel blijft, ondanks toenemende ruispercentages.

Methodologie: NegScale
Om de fragiliteit van gelijkenis aan te pakken, stellen de auteurs NegScale voor, een plug-and-play framework dat de focus van het leren verschuift van fragiele gelijkenis naar robuuste dissimilariteit. Het framework werkt door gebruik te maken van "Dissimilariteitsinvariantie" als een robuust anker. NegScale bestaat uit twee primaire modules:

1. Structured Negative Orthogonality Penalty (SNOP):
   Deze module dwingt orthogonaliteit af tussen negatieve paren (semantisch ongerelateerde monsters) binnen elk minibatch. Het opereert op het principe dat dissimilariteit monsters zich in verschillende subruimtes moeten bevinden. SNOP bestaat uit twee componenten:

   • Global Orthogonality Loss ($L_{global}$): Moedigt de set genormaliseerde verschilvectoren tussen negatieve paren aan om een identiteitsmatrix te benaderen, wat zorgt voor globale repulsie.
   • Local Orthogonality Loss ($L_{local}$): Een betrouwbaarheidsgewogen straf die direct de innerlijke productuitlijning tussen negatieve paren bestraft. Deze loss wijst hogere straffen toe aan paren die betrokken zijn bij monsters met een lage betrouwbaarheid (potentieel ruisig), waardoor sterkere dissimilariteitsrestricties worden afgedwongen waar ze het meest nodig zijn.

2. Dissimilarity-Calibrated Similarity Adjustment (DCSA):
   Deze module onderdrukt spuriaat gelijkenis veroorzaakt door foutief gelabelde positieve paren. Het gebruikt de stabiele dissimilariteitspatronen als ankers om zachte bovengrenzen op te leggen aan de gelijkenis van positieve paren.

   • Voor elk positief paar wordt een adaptieve kalibratiefactor ($\delta_{ij}$) berekend op basis van de nabijheid van het paar tot negatieve monsters.
   • Als een positief paar verstrengeld is met ongerelateerde monsters (hoge $\delta_{ij}$), wordt de gelijkenis ervan beperkt.
   • De loss functie straft positieve paren die een gelijkenis vertonen die de zachte bovengrens ($1 - \delta_{ij}$) overschrijdt, waardoor het model voorkomt dat het valse associaties internaliseert.

De totale objectieffunctie combineert de oorspronkelijke loss ($L_{org}$) met de SNOP- en DCSA-losses, gebalanceerd door coëfficiënten $\lambda$ en $\mu$. De methode vereist geen externe data of pre-training en kan naadloos worden geïntegreerd in bestaande pipelines.

Belangrijkste Bijdragen

• Dissimilariteitsinvariantie: Het artikel identificeert en analyseert formeel het fenomeen waarbij de semantische dissimilariteit tussen ongerelateerde monsters stabiel blijft onder labelruis, in contrast met de volatiliteit van semantische gelijkenis.
• NegScale Framework: De auteurs stellen een nieuw framework voor dat deze invariantie gebruikt om robuuste dissimilariteit te modelleren en spuriaat gelijkenis te onderdrukken.
• Theoretische Analyse: Het artikel biedt theoretische bewijzen die aantonen dat de verwachte variatie in gelijkenis voor negatieve paren kleiner is dan voor positieve paren onder symmetrische ruis. Het stelt verder grenzen vast die aantonen dat NegScale feature-perturbaties en marge-erosie veroorzaakt door ruisige labels mitigeert.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat NegScale consistent beter presteert dan state-of-the-art baselines op zowel synthetische ruisbenchmarks (CIFAR-10/100) als real-world ruisige datasets (CIFAR-10N, CIFAR-100N, Animal-10N, WebVision).

Experimentele Resultaten

• Synthetische Ruis: Op CIFAR-10 en CIFAR-100 met symmetrische, paar- en instantie-afhankelijke ruis, bereikt NegScale (gecombineerd met de RoLR-baseline) nieuwe state-of-the-art resultaten. Met name op CIFAR-100 met 80% ruis verbetert het de nauwkeurigheid met 3,6% ten opzichte van RankMatch.
• Real-World Ruis: De methode vertoont superieure robuustheid op real-world ruisige datasets, waarbij het concurrerende benaderingen overtreft op CIFAR-10N, Animal-10N en WebVision. Op mini-WebVision en ILSVRC12 overtreft het de hybride methode UNICON met meer dan 3% in top-1 nauwkeurigheid.
• Plug-and-Play Capaciteit: Het integreren van NegScale met andere methoden (DivideMix, RankMatch, ANNE) verhoogt consequent hun prestaties, wat de brede toepasbaarheid bevestigt.
• Ablatie-studies: Het verwijderen van ofwel SNOP of DCSA leidt tot significante prestatiedalingen, met name onder hoge ruisratio's, wat de noodzaak van beide componenten valideert. Gevoeligheidsanalyse bevestigt dat gebalanceerde regularisatiegewichten en zorgvuldig gekalibreerde drempels voor negatieve paarselectie cruciaal zijn voor optimale prestaties.

Betekenis
Het artikel beweert dat door de focus te verschuiven van fragiele gelijkenis naar robuuste dissimilariteit, modellen betrouwbaar patronen kunnen leren en benutten om prestaties onder ruisige supervisie te verbeteren. De betekenis ligt in het bieden van een theoretische en praktische fundering voor het gebruik van "negatieve" relaties als een stabiel anker, wat een eenvoudige maar effectieve mechanisme biedt om de structurele verstoringen veroorzaakt door labelruis te corrigeren zonder complexe monsterafselectie of externe data te vereisen.