ACD-U: Asymmetric co-teaching with machine unlearning for robust learning with noisy labels

Dit paper introduceert ACD-U, een asymmetrisch co-teaching-raamwerk dat machine unlearning combineert met een CLIP-gebaseerde Vision Transformer en een CNN om foutieve labelselecties actief te corrigeren en zo robuust leren met ruisachtige labels te realiseren.

De kern

Stel je voor dat je een zeer slimme, maar naïeve student wilt opleiden om foto's te herkennen (bijvoorbeeld: "is dit een hond of een kat?"). Je geeft deze student duizenden foto's met bijbehorende namen. Maar er zit een groot probleem: veel van die namen zijn fout. Iemand heeft per ongeluk een hond "kat" genoemd, of een auto "vrachtwagen".

Normale AI-modellen zijn als die student: ze zijn zo goed in het uit het hoofd leren dat ze niet alleen de juiste antwoorden onthouden, maar ook de fouten. Ze onthouden: "Oh, die foto heet 'kat', dus dat is een kat," zelfs als het een hond is. Dit maakt ze slecht in het herkennen van nieuwe, echte situaties.

Deze paper introduceert een nieuwe methode genaamd ACD-U. Het is als een slimme opleidingsstrategie die twee grote problemen oplost:

1. Hoe voorkom je dat de student de fouten uit het hoofd leert?
2. Hoe corrigeer je het als de student toch een fout heeft gemaakt en die al heeft onthouden?

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Twee leraren met verschillende stijlen (Asymmetrisch Co-Teaching)

In plaats van één student, hebben we twee leraren die samenwerken, maar heel verschillend zijn:

• Leraar A (De Nieuweling): Dit is een standaard AI-model dat vanaf nul begint. Hij is nieuwsgierig en leert snel, maar hij is ook snel te verwarren door de fouten in de lesmateriaal. Hij probeert alles te leren, inclusief de rare fouten.
• Leraar V (De Ervaren Meester): Dit is een model dat al is opgeleid op een enorme database van de wereld (een "pretrained" model, specifiek CLIP). Hij weet al heel veel over de wereld. Hij is niet zo snel te verwarren en ziet direct: "Nee, dat is geen kat, dat is een hond."

De strategie:
Ze werken samen in een "co-teaching" systeem. Ze wisselen hun beste voorbeelden uit. Maar hier is de truc:

• De Nieuweling leert van alles (de goede én de twijfelachtige voorbeelden), maar hij kijkt naar wat de Meester zegt om te zien wat betrouwbaar is.
• De Meester leert alleen van de voorbeelden die hij zelf als 100% betrouwbaar ziet. Hij negeert alles wat hij niet vertrouwt.

Dit voorkomt dat de Meester verward raakt door de fouten, en helpt de Nieuweling om niet de verkeerde dingen te leren.

2. Het "Vergeten" van fouten (Machine Unlearning)

Dit is het meest innovatieve deel. Stel dat de Nieuweling toch per ongeluk een fout heeft onthouden: hij denkt dat een specifieke foto van een hond een kat is. In oude methoden was dit een dood punt; de fout zat erin en bleef erin.

ACD-U heeft een "Rugzak-remedie":

• Het systeem kijkt continu naar de "stress" van de student (de 'loss'). Als de student een foto ziet en zijn antwoord verandert plotseling van "ik weet het niet" naar "ik weet het zeker" (terwijl het een fout is), dan is dat een teken van gevaar.
• Ze gebruiken de Meester als een waarheidschecker. Als de Meester zegt: "Nee, dat is een hond," maar de student zegt: "Ik heb het onthouden als kat," dan weet het systeem: "Oh, de student heeft hier een fout onthouden."
• De oplossing: Ze gebruiken een techniek genaamd "Machine Unlearning". Dit is alsof je de student een speciale oefening geeft om die specifieke, verkeerde herinnering opzettelijk te wissen. Ze dwingen het model om de kans op dat verkeerde antwoord te verkleinen, zodat het de fout "vergeet" en opnieuw kan leren.

3. De "Waarheidschecker" (CLIP)

Om te weten of een fout echt een fout is, gebruiken ze een externe, onafhankelijke bron: CLIP. Dit is een AI die is getraind op tekst en plaatjes. Omdat CLIP niet heeft gezien welke fouten in jouw lesboek staan, kan hij als een eerlijke rechter fungeren.

• Als de les zegt: "Dit is een auto."
• En de student zegt: "Ik denk dat het een auto is."
• Maar CLIP zegt (zonder te weten wat de les zegt): "Dit lijkt op een vrachtwagen."
• Dan weet het systeem: "Hier klopt iets niet, laten we deze les niet gebruiken of de fout wissen."

Waarom is dit zo goed?

De auteurs hebben dit getest op enorme hoeveelheden data met veel fouten (soms wel 80% van de labels waren verkeerd!).

• Bij weinig fouten: De samenwerking tussen de Meester en de Nieuweling zorgt ervoor dat de student snel en goed leert.
• Bij veel fouten: De "vergeten-methode" springt in. Zodra de student een fout heeft opgeslagen, wordt die actief gewist.

Kortom:
Oude methoden probeerden alleen te voorkomen dat de student fouten leerde (wat niet altijd lukte). ACD-U zegt: "Oké, als je een fout hebt gemaakt, dan is dat niet erg. We hebben een manier om die fout later weer uit je hoofd te wissen en het goed te doen."

Het is als een opleidingsprogramma waar je niet alleen leert, maar ook een "Ctrl+Z" (ongedaan maken) knop hebt voor je hersenen als je iets verkeerd hebt onthouden. Dit maakt de AI veel robuuster en slimmer, zelfs als de data waar hij van leert erg rommelig is.

Technische samenvatting

Probleemstelling

Diepe neurale netwerken (DNN's) hebben de neiging om tijdens het trainingsproces onjuiste labels te memoriseren, wat leidt tot een verslechtering van de generalisatieprestaties. Hoewel recente methoden (zoals DivideMix en Co-teaching) gebruikmaken van het "memorization effect" (waarbij netwerken eerst schone data leren en later ruis) en sample-selectie combineren met semi-supervised learning (SSL), hebben ze twee fundamentele beperkingen:

1. Onomkeerbare fouten: Zodra een ruisend monster per ongeluk als "schoon" wordt geselecteerd, kunnen bestaande methoden deze fout niet meer corrigeren. De fout wordt permanent in het model verankerd.
2. Beperkt gebruik van voorgeïmplementeerde modellen: Bestaande methoden gebruiken voorgeïmplementeerde modellen (zoals CLIP) vaak slechts als statische initialisatie of als externe validator, en benutten niet het complementaire leergedrag tussen voorgeïmplementeerde modellen (die stabiel zijn) en willekeurig geïnitieerde modellen (die zich aanpassen).

Methodologie: ACD-U Framework

De auteurs stellen ACD-U (Asymmetric Co-Teaching with different architectures - Unlearning) voor. Dit framework integreert twee kernmechanismen om de bovengenoemde beperkingen op te lossen:

1. Selectief Vergeten (Machine Unlearning) voor Foutcorrectie

In plaats van alleen te proberen fouten te voorkomen, introduceert ACD-U een mechanisme om fouten na het memoriseren actief te corrigeren.

• Selectie van te vergeten monsters: Het systeem identificeert onjuist gememoriseerde ruismonsters door drie voorwaarden te combineren:
  1. Laag verlies: Monsters met een laag cross-entropy-verlies (indicatie van overfitting).
  2. Verliesdaling: Monsters waarvan het verlies is gedaald sinds de vorige selectiecyclus (wat wijst op recente memorisatie).
  3. CLIP-consistentie: Monsters die consistent zijn met de zero-shot voorspellingen van een voorgeïmplementeerd CLIP-model worden uitgesloten van vergeten, omdat deze waarschijnlijk schoon zijn.
• Vergeten proces: Eenmaal geselecteerd, wordt de invloed van deze monsters verwijderd via een loss-functie gebaseerd op de Kullback-Leibler (KL) divergentie. Deze functie maximaliseert het verschil tussen de huidige voorspelling en de voorspelling van een referentiemodel (opgeslagen voordat het vergeten begon), waardoor het model "vergeet" wat het verkeerd heeft geleerd.

2. Asymmetrisch Co-Teaching met Verschillende Architecturen (ACD)

Het framework gebruikt twee verschillende netwerken die elkaar onderwijzen, maar met verschillende trainingsstrategieën:

• Netwerk V (Vision Transformer): Een voorgeïmplementeerde ViT (van CLIP). Deze wordt alleen getraind op monsters die door het CNN als "schoon" worden geïdentificeerd. Dit zorgt voor stabiele voorspellingen en voorkomt dat de ViT zelf ruis leert.
• Netwerk A (CNN): Een conventioneel Convolutional Neural Network (bijv. ResNet). Dit wordt getraind via semi-supervised learning op zowel de "schone" monsters als de "onzekere" monsters (met pseudo-labels).
• Synergie: De ViT fungeert als een stabiele leraar die het CNN helpt bij de vroege selectie, terwijl het CNN zich aanpast aan de specifieke taak. Deze asymmetrie vermindert de "confirmation bias" (waarbij twee netwerken dezelfde fout maken).

Belangrijkste Bijdragen

1. Toepassing van Machine Unlearning in LNL: Dit is de eerste toepassing van machine unlearning voor het corrigeren van memorisatiefouten in het leren met ruisige labels. Het verschuift het paradigma van passieve foutvermijding naar actieve foutcorrectie.
2. Asymmetrische Architectuur: Een nieuw co-teaching ontwerp dat de unieke leerkenmerken van een voorgeïmplementeerde ViT en een CNN combineert om ruismemorisatie in de vroege trainingsfase te onderdrukken.
3. State-of-the-Art Prestaties: Het framework presteert superieur op zowel synthetische als real-world datasets, met name in scenario's met hoge ruispercentages en instance-afhankelijke ruis.
4. Complementaire Rol: Kwantitatief bewijs dat unlearning en ACD elkaar aanvullen: unlearning is cruciaal bij hoge ruis, terwijl ACD het meest effectief is bij lage tot gemiddelde ruis.

Resultaten

De methode is getest op diverse datasets, waaronder CIFAR-10/100 (synthetische ruis), CIFAR-N, WebVision, Clothing1M en Red Mini-ImageNet.

• Synthetische Ruis: Op CIFAR-100 met 90% symmetrische ruis boekte ACD-U een 35% relatieve verbetering ten opzichte van DivideMix.
• Real-world Ruis:
  • Op CIFAR-100N (menselijke annotatiefouten) overtrof het LSL met 1,5% en Semi-RML++ met 2,3%.
  • Op WebVision behaalde het de hoogste Top-5 nauwkeurigheid en overtrof Semi-RML++ met 2,3% bij cross-dataset evaluatie op ImageNet.
  • Op Clothing1M (grootschalige, instance-afhankelijke ruis) behaalde het de beste prestaties.
  • Op Red Mini-ImageNet overtrof het alle bestaande methoden bij alle ruispercentages (bij 80% ruis was de verbetering 4,5% t.o.v. de beste concurrent).
• Ablatie-studies: Toonden aan dat het verwijderen van het unlearning-mechanisme leidt tot een significante daling bij hoge ruis (80%), terwijl het verwijderen van de asymmetrische co-teaching (ACD) vooral de prestaties bij gemiddelde ruis (50%) schaadt.

Betekenis en Impact

ACD-U biedt een robuust oplossing voor het probleem van onomkeerbare fouten in het leren met ruisige labels. Door machine unlearning te integreren, kan het model dynamisch fouten corrigeren die eerder zijn gemaakt, wat een fundamentele beperking van eerdere co-teaching methoden oplost. De combinatie van een stabiele, voorgeïmplementeerde ViT met een adaptief CNN creëert een synergie die zowel de initiële selectie van schone data verbetert als de langetermijnstabiliteit garandeert. Dit werk opent nieuwe richtingen voor het gebruik van machine unlearning niet alleen voor privacy, maar ook voor het verbeteren van de modelnauwkeurigheid in imperfecte dataomgevingen.