Technische Samenvatting: Ordinale Adaptieve Correctie (ORDAC)

Probleemstelling

Het artikel behandelt de kritieke uitdaging van ruis in labels bij ordinale beeldclassificatie. Bij taken zoals leeftijdschatting en het gradueren van ziekteernst zijn klassengrenzen vaak vaag, waardoor het labelproces foutgevoelig is. In tegenstelling tot nominale classificatie, waar fouten discreet zijn, hebben ordinale fouten een semantische afstand (bijvoorbeeld: het verkeerd classificeren van leeftijd 20 als 25 is minder ernstig dan het verkeerd classificeren als 60).

Bestaande benaderingen voor ruis in labels vallen over het algemeen in twee categorieën:

1. Modelgericht: Het ontwerpen van ruisbestendige verliesfuncties of regularisatie.
2. Datagericht (Steekproefselectie): Het identificeren en verwerpen van potentieel ruisachtige steekproeven (bijvoorbeeld CASSOR, ICDF).

De auteurs betogen dat steekproefselectie suboptimaal is voor ordinale data omdat het potentieel waardevolle informatie over kenmerken verwijdert die in verkeerd gelabelde instanties zit. Bovendien ontbreken bij standaard methoden voor ordinale regressie expliciete mechanismen om onjuiste rangannotaties te verwerken, wat leidt tot verslechterde prestaties en betrouwbaarheid. Er is een specifiek gat in methoden die ruis in labels kunnen corrigeren in plaats van te verwijderen, door de inherente onzekerheid van ordinale data adaptief te modelleren.

Methodologie: ORDinal Adaptive Correction (ORDAC)

De voorgestelde oplossing is ORDAC, een datagericht raamwerk dat gebruikmaakt van Label Distribution Learning (LDL). In plaats van een label als een enkele discrete waarde te behandelen, stelt ORDAC elk label voor als een Gaussische verdeling gekenmerkt door een gemiddelde ($\mu$) en een standaardafwijking ($\sigma$). Het gemiddelde vertegenwoordigt de labelwaarde, terwijl de standaardafwijking de onzekerheid van het model kwantificeert.

Kernwerkstroom

Het raamwerk werkt iteratief met behulp van een K-voudige cross-training strategie om te voorkomen dat het model wordt beïnvloed door zijn eigen zelfverzekerde maar potentieel onjuiste voorspellingen:

1. Initialisatie:

   • De dataset wordt opgesplitst in $K$ vouwen.
   • $K$ identieke Fixed-form LDL (FLDL) modellen worden geïnitieerd.
   • Het label van elke steekproef wordt geïnitieerd als een Gaussische verdeling $N(\mu_i, \sigma_i^2)$, waarbij $\mu_i$ het ruisachtige label is en $\sigma_i$ een vaste constante is die een uniforme initiële onzekerheid voorstelt.

2. Warm-up Fase:

   • Alle $K$ modellen worden gelijktijdig getraind op hun respectieve trainingssets voor een gespecificeerd aantal epochs ($E_{corr}$) om initiële kenmerkrepresentaties te leren op de ruisachtige data.

3. Iteratieve Correctiefase:

   • Na de warm-up wordt het adaptieve correctiemechanisme geactiveerd.
   • Voor elke vouw voorspelt het model, getraind op de overige $K-1$ vouwen, de labels van de vastgehouden validatievouw.
   • Deze voorspellingen worden gebruikt om de labelverdelingen ($\mu$ en $\sigma$) van de validatiesteekproeven bij te werken.
   • De bijgewerkte verdelingen worden vervolgens teruggepropageerd naar de trainingssets van de andere modellen voor de volgende epoch.

Het Adaptieve Correctiemechanisme

Het updateproces bestaat uit twee fasen die op elke steekproef in de validatievouw worden toegepast:

1. Klasgewijze Voorspellingsdebiasing:

   • Ordinale modellen ontwikkelen vaak een bias naar klassen in het midden van de rangorde door verliesfuncties en data-ongelijkheid.
   • Om dit tegen te gaan, worden de voorspellingen van het model verschoven om de klasgewijze voorspellingen opnieuw te centreren rond het ware klasselabel.
   • De verschoven voorspelling $\hat{y}^{shifted}_i$ wordt berekend als: $\hat{y}^{shifted}_i = \hat{y}_i - (\text{mean}_{\mu_i} - \mu_i)$.

2. Steekproefgewijze Verdeling Update:

   • Een correctiecoëfficiënt $\lambda^{corr}_i$ wordt berekend op basis van modelvertrouwen ($\gamma_i$) en klassenfrequentie ($\pi_{\mu_i}$) om ervoor te zorgen dat zeldzame klassen voorzichtiger worden gecorrigeerd.
   • Update Standaardafwijking ($\sigma$): Als de voorspellingsfout $|e_i|$ groter is dan de huidige onzekerheid $\sigma_i$, wordt de onzekerheid verhoogd (wat wijst op een waarschijnlijk ruisachtig label). Als de fout klein is, neemt de onzekerheid af.
     • $\sigma^{new}_i = \sigma_i + \alpha_i \times (|e_i| - \sigma_i)$
   • Update Gemiddelde ($\mu$): Het gemiddelde wordt verschoven in de richting van de gedebiasde voorspelling.
     • $\mu^{new}_i = \mu_i + \beta_i \times e_i$
   • Hierbij zijn $\alpha_i$ en $\beta_i$ steekproefspecifieke leersnelheden afgeleid van basissnelheden $\alpha_{base}$ en $\beta_{base}$.

Varianties

De auteurs introduceren twee varianten om het gedrag van het raamwerk te analyseren:

• ORDACC (Correct): Genereert na training een statische, opgeschoonde dataset. Een nieuw model wordt vanaf nul getraind op deze dataset zonder verdere online correcties.
• ORDACR (Remove): Bouwt voort op ORDACC maar verwijdert steekproeven die na correctie nog steeds zeer onzeker zijn (waar $\sigma^{new}_i \geq \sigma^{initial}_i$), en behandelt deze als uitschieters.

Experimentele Resultaten

De methode werd geëvalueerd op twee benchmark-datasets: Adience (leeftijdschatting) en Diabetic Retinopathy (DR) (ziektesernst). Experimenten omvatten het injecteren van asymmetrische Gaussische ruis met rates van $\tau \in \{0.2, 0.4\}$.

Belangrijkste Bevindingen

• Prestaties onder Ruis: ORDAC en zijn varianten presteerden aanzienlijk beter dan standaard baselines (CORAL, DLDL-v2) en state-of-the-art steekproefselectiemethoden (CASSOR) over alle ruisniveaus heen.
  • Voorbeeld: Op Adience met 40% ruis, verlaagde ORDACR de Mean Absolute Error (MAE) van 0,86 (DLDL-v2) naar 0,62 en verhoogde de Recall van 0,37 naar 0,49.
• Intrinsieke Ruiscorrectie: Zelfs zonder geïnjecteerde ruis ($\tau=0$) presteerde ORDAC beter dan baselines. Dit suggereert dat de originele datasets inherente labelruis bevatten (bijvoorbeeld zelfrapporteringsfouten in Adience) die de methode succesvol identificeerde en corrigeerde.
• Correctie versus Selectie: Hoewel steekproefselectie (CASSOR) goed presteerde, behaalde ORDACR over het algemeen betere resultaten, vooral bij hogere ruisniveaus, wat aantoont dat het corrigeren van labels data-efficiënter is dan het verwijderen ervan.
• Ablatiestudies:
  • Het verwijderen van de stap voor klasgewijze debiasing veroorzaakte dat het correctieproces instortte naar de meerderheidsklasse in het midden, wat de prestaties aanzienlijk verslechterde.
  • Hyperparameteranalyse toonde aan dat een kleine $\alpha_{base}$ (0,2) en een grote $\beta_{base}$ (0,8) de beste resultaten opleverden, wat aangeeft dat het model conservatief moet zijn in het updaten van onzekerheid maar agressief in het corrigeren van de gemiddelde waarde.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Paradigmawisseling: Het stelt een verschuiving voor van steekproefselectie (data verwijderen) naar adaptieve labelcorrectie voor ordinale taken, waarbij waardevolle informatie over kenmerken behouden blijft.
2. Onzekerheidsmodelleren: Het introduceert een mechanisme om zowel het gemiddelde als de standaardafwijking van labelverdelingen dynamisch bij te werken, waardoor het model onzekerheid tijdens training expliciet kan representeren en beheren.
3. Robuustheid: Uitgebreide experimenten tonen aan dat adaptieve correctie met behulp van labelverdelingen een effectieve strategie is om de robuustheid en nauwkeurigheid van ordinale classificatiemodellen te verhogen in aanwezigheid van ruisachtige data.

De auteurs concluderen dat door te focussen op het verbeteren van de datakwaliteit op fundamenteel niveau via adaptieve correctie, ORDAC de weg effent voor nauwkeurigere en betrouwbaardere ordinale classificatie, met name in domeinen waar schone data schaars is en labelambiguïteit hoog is. Er wordt voorgesteld om in toekomstig werk niet-parametrische verdelingen en automatische afstelling van correctierates te onderzoeken.