DiffInf: Influence-Guided Diffusion for Supervision Alignment in Facial Attribute Learning

DiffInf is een zelfbeïnvloedings-gestuurd diffusion-framework dat annotatie-inconsistenties in gezichtsattribuutlering oplost door hoog-influentie voorbeelden te corrigeren via generatieve aanpassing in plaats van ze te verwijderen, waardoor de generalisatie van de classificatie wordt verbeterd zonder de distributie te verkleinen.

De kern

Stel je voor dat je een jonge chef-kok bent die een kookschool begint. Je wilt je leerlingen leren hoe ze verschillende gerechten moeten herkennen: "dit is een pizza," "dit is een pasta," en "dit is een salade."

Maar er is een probleem: de receptenboeken die je gebruikt zijn vol met fouten. Soms staat er bij een foto van een pizza dat het een salade is. Soms is een pasta verward met een salade.

In de wereld van kunstmatige intelligentie (AI) gebeurt precies hetzelfde. Computers leren gezichten te herkennen (bijvoorbeeld: "is deze persoon jong of oud?" of "is hij blij of verdrietig?") door duizenden foto's te bekijken. Maar de labels (de namen die bij de foto's horen) zijn vaak onnauwkeurig. Een foto van een oudere man kan per ongeluk het label "jong" hebben gekregen, of een foto van een glimlachende vrouw kan "verdrietig" heten.

Normaal gesproken zouden computerwetenschappers deze "foute" foto's gewoon uit het lesboek gooien. Maar dat is alsof je de leerlingen die de fouten maakten uit de klas gooit. Je verliest dan ook de unieke foto's zelf, wat de klas minder divers maakt.

DiffInf: De "Reparatie-keuken"

De auteurs van dit paper, Basudha Pal en Rama Chellappa, hebben een slimme nieuwe methode bedacht die ze DiffInf noemen. In plaats van de foute foto's weg te gooien, repareren ze ze.

Hier is hoe het werkt, stap voor stap, met een paar simpele vergelijkingen:

1. Het vinden van de "probleemkinderen" (Influence)

Stel je voor dat je een klas hebt en je ziet dat één specifieke leerling de hele les verstoort. Hij roept constant iets dat niet klopt, waardoor de rest van de klas niet meer kan leren. In de AI-wereld noemen we dit een "hoge invloed" (high influence).

De computer kijkt naar alle foto's en zegt: "Hé, deze foto's zorgen voor de meeste verwarring in ons brein. Ze lijken op een 'jong' gezicht, maar het label zegt 'oud'. Ze trekken het hele model de verkeerde kant op."

2. De magische "Reparatie-keuken" (Diffusion)

In plaats van deze verstorende foto's te verwijderen, nemen ze ze mee naar een speciale "reparatie-keuken". Dit is een slimme AI die bekend staat als een Diffusiemodel.

• De Analogie: Stel je voor dat je een schilderij hebt dat verkeerd is gelabeld. In plaats van het schilderij te verbranden, neem je een magische kwast (de Diffusie-AI). Je gebruikt deze kwast om de verf heel voorzichtig bij te werken.
• Het Doel: Je wilt dat het schilderij er nog steeds uitziet als dezelfde persoon (het gezicht moet herkenbaar blijven), maar dat de uitdrukking of de leeftijd nu wel klopt met het label dat erbij staat.
  • Als een oude man per ongeluk "jong" heet, past de AI de huidtextuur en rimpels iets aan zodat hij er wel jong uitziet, maar hij blijft dezelfde man.
  • Als iemand verdrietig kijkt maar "blij" heet, maakt de AI een klein glimlachje, zonder dat het gezicht verandert in iemand anders.

3. De "Reparatie-keuken" is slim

De AI weet precies wat ze moet doen omdat ze een speciale "rekenmachine" heeft die zegt: "Als ik dit gezicht zo aanpas, zal het de klas niet meer verstoren." Ze zorgt ervoor dat de foto nu perfect past bij het label, maar dat het er nog steeds echt uitziet.

4. Het resultaat: Een betere klas

Nu hebben ze een nieuw lesboek. De "probleemfoto's" zijn er nog steeds (want ze zijn niet verwijderd), maar ze zijn nu gecorrigeerd. Ze passen nu perfect bij hun label.

Wanneer de computer (de chef-kok) weer gaat leren met dit nieuwe, gerepareerde boek, leert hij veel sneller en beter. Hij raakt niet meer in de war door de oude fouten.

Waarom is dit zo belangrijk?

• Geen verlies: Als je foute foto's verwijdert, verlies je unieke gezichten (bijvoorbeeld zeldzame houdingen of etnische groepen). Met DiffInf behoud je die diversiteit.
• Beter leren: De computer leert niet alleen van de "makkelijke" foto's, maar ook van de moeilijke, die nu netjes zijn opgepoetst.
• Eerlijker: Het zorgt ervoor dat de AI eerlijker wordt, omdat hij niet meer wordt misleid door willekeurige fouten in de data.

Kort samengevat:
DiffInf is als een slimme editor die niet de "fouten" in je fotoalbum verwijdert, maar ze juist corrigeert. Hij maakt van een verwarrende foto een perfecte foto die nog steeds hetzelfde persoon is, maar nu wel de juiste naam draagt. Hierdoor wordt de AI die de foto's bekijkt veel slimmer, sneller en betrouwbaarder.

Technische samenvatting

Probleemstelling

Faciale attribuutclassificatie (zoals het voorspellen van leeftijd of emotie) is afhankelijk van grote, handmatig gelabelde datasets. Een fundamenteel probleem in dit domein is dat veel attributen inherent vaag en continu zijn (bijv. leeftijd), maar worden gedwongen in discrete categorische labels. Dit leidt tot:

• Annotatie-inconsistenties: Door subjectiviteit en visuele verstorende factoren (licht, houding, etniciteit) ontstaan onnauwkeurige labels.
• Supervisie-fouten: Wanneer het beeldinhoud en het toegewezen label niet overeenkomen, ontvangen neurale netwerken tegenstrijdige signalen. Dit corrumpeert het representatieleren en verslechtert de generalisatie, kalibratie en eerlijkheid van het model.
• Beperkingen van bestaande methoden: Traditionele aanpakken voor ruis in labels verwijderen vaak "verkeerde" samples of herlabelen ze. Het verwijderen van hoog-influentiële samples (die het trainingsproces disproportioneel destabiliseren) kan echter leiden tot verlies van zeldzame covariaten en een vertekende data-distributie.

Methodologie: DiffInf

De auteurs introduceren DiffInf, een raamwerk dat gebruikmaakt van generatieve modellen om annotatie-inconsistenties te corrigeren in plaats van de data te verwijderen. Het proces verloopt in vier hoofdstappen:

1. Basisclassificatie en Invloedsschatting:

   • Eerst wordt een baseline-classifier getraind op de ruwe dataset.
   • Vervolgens worden zelf-invloedsscores (self-influence scores) berekend voor elke trainingsinstance. Dit gebeurt via een praktische eerste-orde benadering (geïnspireerd op TracIn), die meet hoe sterk een steekproef de geoptimaliseerde parameters beïnvloedt.
   • Samples met een abnormaal hoge zelf-invloed worden geïdentificeerd als potentieel semantisch storend (vaak door label-beeld mismatch).

2. Leren van een Invloedspredictor:

   • Om de correctie schaalbaar te maken, wordt een lichtgewicht voorspellingsnetwerk ($h_\omega$) getraind. Dit netwerk voorspelt de waarschijnlijkheid dat een steekproef tot de "hoog-influentiële" subset behoort.
   • Dit fungeert als een differentieerbare surrogate voor invloed, waardoor het mogelijk is om invloed te minimaliseren tijdens de generatieve optimalisatie.

3. Gerichte Generatieve Correctie (Diffusion):

   • In plaats van de hoog-influentiële samples te verwijderen, worden deze gerepareerd met een Latent Diffusion Autoencoder.
   • Het doel is om een nieuwe afbeelding ($\hat{x}_i$) te genereren die:
     • De identiteit van het origineel behoudt.
     • Visueel realistischer is.
     • Beter overeenkomt met het toegewezen label ($\tilde{y}_i$).
   • De optimalisatie vindt plaats in de latente ruimte en wordt geleid door een samengestelde verliesfunctie:
     • Identiteitsbehoud: Minimaliseert de cosine-afstand in een embedding-ruimte (gebruikmakend van een erkenningsnetwerk).
     • Regularisatie: Zorgt voor structurele consistentie (gezichtsopbouw) en perceptuele gelijkenis met het origineel.
     • Invloedsonderdrukking: Minimaliseert de voorspelde kans dat het nieuwe beeld nog steeds tot de hoog-influentiële subset behoort (d.w.z. het maakt het beeld "makkelijker" voor de classifier).

4. Hertraining:

   • De originele, storende samples worden vervangen door de gegenereerde, gecorrigeerde versies. De datasetgrootte blijft gelijk, maar de kwaliteit van de supervisie is verbeterd. Een nieuwe classifier wordt getraind op deze "invloed-gezuiverde" dataset.

Belangrijkste Bijdragen

• DiffInf Framework: Een nieuw, attribuut-onafhankelijk raamwerk dat zelf-invloed gebruikt om generatieve correctie te sturen voor gezichtsattribuutleren onder ruis.
• Generatieve Vervanging: Het introduceren van een strategie waarbij hoog-influentiële samples worden gerepareerd via latent diffusion in plaats van verwijderd, waardoor de data-diversiteit en -dekking behouden blijven.
• Differentieerbare Invloedsgids: Het gebruik van een lichtgewicht predictor als surrogate voor invloed, wat schaalbare, invloed-gestuurde correctie tijdens de generatieve optimalisatie mogelijk maakt.
• Empirisch Bewijs: Het aantonen dat het herstellen van inconsistente labels op beeldniveau effectiever is dan het simpelweg verwijderen van deze samples of het gebruik van bestaande ruis-resistente methoden.

Resultaten

De methode werd geëvalueerd op de FFHQ-dataset voor twee taken: leeftijdsclassificatie (3 klassen) en emotieherkenning (4 klassen), met synthetische symmetrische labelruis (30% voor leeftijd, 20% voor emotie).

• Prestatieverbetering: DiffInf overtreft consistent standaard methoden voor ruis in labels (zoals Small_loss, ELR+), evenals methoden die hoog-influentiële samples verwijderen.
  • Voor leeftijd: Verbetering van 70,44% (ruis) naar 83,37% (DiffInf) in nauwkeurigheid.
  • Voor emotie: Verbetering van 78,95% (ruis) naar 94,24% (DiffInf) in nauwkeurigheid.
• Vergelijking met Verwijdering: Hoewel het verwijderen van storende samples ook helpt, presteert DiffInf beter. Dit bevestigt de hypothese dat deze samples waardevolle visuele informatie bevatten die behouden moet blijven, maar semantisch moet worden aangepast.
• Perceptuele Kwaliteit: De gegenereerde afbeeldingen hebben lage LPIPS-afstanden (0,196–0,244) ten opzichte van de originelen, wat aantoont dat de correcties gericht zijn op attributen (zoals huidtextuur of mondhoeken) zonder de identiteit of structuur te verstoren.

Betekenis en Conclusie

DiffInf vertegenwoordigt een verschuiving in paradigma voor robuust leren: van het zien van ruis als iets dat moet worden onderdrukt of verwijderd, naar het zien ervan als een kans voor semantische reparatie.

• Data-Centric Robuustheid: De methode benadrukt dat het verbeteren van de datakwaliteit op het niveau van individuele samples (via generatieve modellen) superieur kan zijn aan alleen het optimaliseren van het verlies op het modelniveau.
• Toepassingsbereik: Hoewel getest op gezichtsattributen, is het raamwerk toepasbaar op andere domeinen met vaagheid in labels, zoals medische beeldvorming of fijnmazige herkenning.
• Toekomst: De auteurs wijzen op beperkingen zoals de afhankelijkheid van hyperparameters en de noodzaak voor betere invloedschatters, maar benadrukken dat dit een fundamentele stap is naar data-centric strategieën die attributie en generatieve modellering integreren.