Technische Samenvatting: FairSAM: Rechtvaardige Classificatie op Gecorrumpeerde Beeldgegevens via Sharpness-Aware Minimization

Probleemstelling

Diepe neurale netwerken die getraind zijn op schone data lijden vaak onder een scherpe prestatiedegradatie wanneer ze worden ingezet op gecorrumpeerde testdata (bijv. beelden beïnvloed door impulsruis, Gaussische ruis, weereffecten of bewegingsonscherpte). Recente bevindingen wijzen erop dat deze degradatie niet uniform is; het treft specifieke demografische subgroepen onevenredig hard, waardoor algoritmische bias wordt versterkt. Hoewel bestaande robuuste leermethoden zoals Sharpness-Aware Minimization (SAM) de algehele generalisatie en veerkracht tegen ruis verbeteren, slagen ze er niet in om de ongelijkmatige verdeling van prestatiedegradatie over demografische groepen aan te pakken. Omgekeerd worstelen standaard rechtvaardigheidbewuste methoden vaak met het behouden van robuustheid onder datacorruptie. Dit creëert een inherente spanning tussen het bereiken van robuustheid en het waarborgen van rechtvaardigheid in gecorrumpeerde omgevingen.

Methodologie: FairSAM

Om deze spanning aan te pakken, stellen de auteurs FairSAM voor, een framework dat rechtvaardigheidsgerichte strategieën integreert in het SAM-optimalisatieproces. De methodologie bestaat uit drie kerncomponenten:

1. Nieuwe Rechtvaardigheidsmetriek: Corrupted Degradation Disparity ($\Delta p$)

De auteurs formaliseren het probleem door een metriek te introduceren die rechtvaardigheid specif으로 kwantificeert met betrekking tot prestatiedegradatie.

• Corrupted Degradation ($\Delta p_s$): Gedefinieerd als het absolute verschil in prestatie-indicatoren tussen schone trainingsdata ($D_T$) en gecorrumpeerde testdata ($D_C$) voor een specifieke demografische subgroep $s$: $\Delta p_s = |M(D_T^{s}, f) - M(D_C^{s}, f)|$.
• Corrupted Degradation Disparity ($\Delta p$): Het absolute verschil in degradatie tussen de bevoordeelde ($s^+$) en benadeelde ($s^-$) groepen: $\Delta p = |\Delta p_{s^+} - \Delta p_{s^-}|$.
  Een lagere $\Delta p$ geeft aan dat de robuustheid van het model meer evenredig verdeeld is over de subgroepen.

2. Instance-Reweighted SAM

Standaard SAM minimaliseert de maximale loss binnen een buurt van parameters, maar behandelt alle monsters gelijk, waardoor meerderheidsgroepen de optimalisatie vaak kunnen domineren. FairSAM introduceert een herwegingsmechanisme om de bijdragen van gradiënten te balanceren:

• Groepsbeperkingen: De methode beperkt de som van de gewichten voor monsters binnen elke demografische groep tot een constante $c$, waardoor elke groep evenveel bijdraagt aan de doelstelling, ongeacht de grootte ervan.
• Sharpness-gebaseerde Herweging: Binnen elke groep ontvangen monsters met een hogere per-instance sharpness (grotere maximale loss onder perturbatie) hogere gewichten. Dit geeft prioriteit aan "moeilijkere" voorbeelden binnen elke groep, terwijl de balans op groepsniveau behouden blijft.

3. Efficiënte Per-Batch Perturbatie

Om de computationele kosten te vermijden van het berekenen van individuele adversariële perturbaties voor elk monster (wat $N$ forward passes per batch zou vereisen), afleidt FairSAM een efficiënte benadering:

• Het benadert de gewogen per-instance doelstelling met behulp van een tweede-orde Taylor-expansie.
• Het construeert een gewogen batch loss $\ell_b(w) = \sum g_i \ell_i(w)$, waarbij gewichten $g_i$ zowel groepslidmaatschap-beperkingen als instance-sharpness incorporeren.
• Een enkele per-batch perturbatie $\epsilon^*$ wordt berekend op basis van de gradiënt van deze gewogen batch loss, waardoor de computationele efficiëntie van SAM behouden blijft terwijl aan de rechtvaardigheidsbeperkingen wordt voldaan.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel identificeert en formaliseert de "robustness bias" uitdaging in beeldclassificatie onder datacorruptie, en benadrukt dat standaard robuustheidsmethoden onbedoeld rechtvaardigheidsverschillen kunnen verergeren.
2. Introductie van een Metriek: Introductie van Corrupted Degradation Disparity om de rechtvaardigheid van prestatiedegradatie over demografische subgroepen te evalueren, wat verschilt van eenmalige rechtvaardigheidsconcepten.
3. Framework Ontwikkeling: Voorstel van FairSAM, het eerste framework dat rechtvaardigheidsstrategieën in SAM integreert. Het maakt gebruik van instance herweging en per-batch perturbatie om gelijktijdig robuustheid en rechtvaardigheid te bevorderen.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat FairSAM een superieur compromis bereikt tussen nauwkeurigheid en rechtvaardigheid vergeleken met baselines.

Experimentele Resultaten

De auteurs evalueerden FairSAM op meerdere real-world datasets (CelebA, FairFace, LFW, CheXpert) onder diverse corruptietypen (sneeuw, Gaussische ruis, onscherpte) en ernstniveaus.

• Prestatie vs. Rechtvaardigheid Trade-off: Over ongebalanceerde (CelebA) en gebalanceerde (FairFace) datasets heen, behaalde FairSAM consistent de laagste Corrupted Degradation Disparity ($\Delta p$) van alle baselines, inclusclusief Vanilla SAM, GroupSAM, FairReg en GroupDRO.
• Behoud van Nauwkeurigheid: In tegenstelling tot sommige rechtvaardigheidsmethoden die de algehele nauwkeurigheid opofferen, behield FairSAM concurrerende of superieure gecorrumpeerde nauwkeurigheid. Zo behaalde FairSAM op CelebA met Gaussische ruis de hoogste gecorrumpeerde nauwkeurigheid (0.9291) terwijl de $\Delta p$ werd geminimaliseerd (0.0073).
• Robuustheid tegen Asymmetrie: In experimenten waarbij bevoordeelde groepen minder zware ruis ervoeren dan benadeelde groepen (asymmetrische ruis), behield FairSAM de laagste degradatie-dispariteit over verschillende backbones (ResNet-18 en DINOv3).
• Out-of-Distribution (OOD) Generalisatie: Wanneer modellen getraind op één dataset (bijv. CelebA) werden getest op een andere (bijv. LFW), vertoonde FairSAM de laagste $\Delta p$, wat duidt op een betere evenredige generalisatie vergeleken met GroupSAM, dat het risico liep de bevoordeelde groep in een benadeelde positie te verschuiven.
• Hyperparameter Sensitiviteit: Het framework bleek robuust tegen hyperparameterkeuzes, waarbij $\rho=0.05$ (perturbatie-radius) en $c=1$ (groepsgewicht-budget) de beste balans boden.

Betekenis en Claims

Het artikel claimt dat FairSAM een gestructureerde oplossing biedt voor rechtvaardige en robuuste beeldclassificatie in aanwezigheid van datacorruptie. De primaire betekenis ligt in het adresseren van een kritiek blinde vlek in robusheidsonderzoek: de aanname dat aggregatieve robuustheidsverbeteringen alle groepen evenveel ten goede komen.

De auteurs stellen dat:

• Robuustheid en rechtvaardigheid met elkaar verbonden zijn; robuuste modellen vertonen vaak een ongelijke prestatiedegradatie over demografische groepen, wat maatschappelijke ongelijkheden kan bestendigen als dit niet wordt aangepakt.
• Rechtvaardigheidsbewuste optimalisatie tijdens de training een rechtvaardige uitkomst kan bereiken zonder significante offers te brengen in de algehele nauwkeurigheid.
• De voordelen van deze aanpak verder gaan dan alleen ongebalanceerde datasets naar ook gebalanceerde datasets, wat suggereert dat prestatieverschillen onder corruptie worden gedreven door algoritmische biases in plaats van enkel door problemen in de datadistributie.

Het werk positioneert zich als een stap naar veiligere AI-implementatie in scenario's met hoge inzet (bijv. gezondheidszorg, strafrechtelijke rechtspraak) waar systemen rechtvaardigheid moeten handhaven onder real-world, ruisige condities. De auteurs erkennen beperkingen, waarbij zij opmerken dat de huidige focus ligt op binaire gevoelige attributen in beeldclassificatie, en suggereren dat toekomstig werk intersectionele groepen en andere domeinen moet verkennen.