Learning from Imperfect Text Guidance: Robust Long-Tail Visual Recognition with High-Noise Label

Technische Samenvatting: Learning from Imperfect Text Guidance (WTS)

1. Het Probleem: Long-Tailed Noisy Label (LTNL) Learning

In real-world computer vision-datasets treden vaak twee grote problemen tegelijkertijd op:

• Long-tail distributie: Een klein aantal klassen (head classes) heeft zeer veel voorbeelden, terwijl de meeste klassen (tail classes) ondervertegenwoordigd zijn.
• Labelruis (Noisy Labels): Veel annotaties zijn foutief, wat leidt tot een mismatch tussen de afbeelding en het label.

Het onderzoek stelt dat bestaande methoden tekortschieten in scenario's met hoge ruisratio's (high-noise settings). Wanneer de ruis hoog is, worden de foutieve labels zo dominant dat ze de kenmerkrepresentaties (feature representations) van het model ernstig vervormen. Hierdoor is het voor traditionele modellen bijna onmogelijk om onderscheid te maken tussen een 'tail-class' (die weinig data heeft) en een 'noisy sample' (dat foutief gelabeld is).

2. Methodologie: Weak Teacher Supervision (WTS)

De kern van de voorgestelde oplossing is het gebruik van de intrinsieke semantische informatie die in labels besloten ligt, via een Visual-Language Model (VLM) zoals CLIP.

De auteurs introduceren Weak Teacher Supervision (WTS). Het idee is dat hoewel de geobserveerde labels ($\hat{y}$) foutief kunnen zijn, de tekstuele beschrijving van die labels nog steeds categorie-informatie bevat.

De technische stappen zijn:

1. Tekstuele Voorspelling: Er wordt gebruikgemaakt van de text encoder van een pre-trained VLM. Door de gelijkenis (similarity) tussen de afbeelding-embedding en de tekst-embeddings van alle mogbare labels te berekenen, krijgt men een tekstuele voorspelling ($y^t$).
2. KL-Divergentie als Supervisie: In plaats van alleen harde labels te gebruiken, minimaliseert het model de Kullback-Leibler (KL) divergentie tussen de waarschijnlijkheidsverdeling van de tekst-voorspelling ($P^t$) en de verdeling van de getrainde beeld-encoder ($P^I$). Dit fungeert als een zachte, semantische gids.
3. Supervision Switch (De Schakelaar): Omdat de tekstuele voorspelling zelf niet perfect is (het is een "weak teacher"), mag deze niet altijd worden toegepast. De auteurs introduceren een Overlap Ratio (OR).
   • Als de tekstuele voorspelling sterk overeenkomt met het geobserveerde label (hoge OR), wordt de WTS uitgeschakeld (het label is waarschijnlijk betrouwbaar).
   • Als er een grote discrepantie is (lage OR), wordt de WTS geactiveerd om het model te corrigeren met de tekstuele informatie. De intensiteit van deze correctie wordt bepaald door een parameter $a$, getrokken uit een Beta-distributie.

3. Belangrijkste Bijdragen

• Nieuw Concept: Het introduceren van de "Weak Teacher" benadering, waarbij een pre-trained tekst-encoder dient als een robuuste, ruisvrije bron van semantische kennis.
• Robuustheid tegen Ruis: WTS is inherent ongevoelig voor de verdeling van de trainingsdata en labelruis, omdat de tekstuele embeddings gebaseerd zijn op universele taalconcepten en niet op de foutieve labels in de dataset.
• Eenvoudige Integratie: De methode is modulair en kan naadloos worden toegevoegd aan bestaande methoden voor long-tail learning (zoals Logit Adjustment).

4. Resultaten

De methode is uitgebreid getest op zowel synthetische (CIFAR-10/100) als real-world datasets (mini-ImageNet, WebVision-50).

• Hoge Ruis-scenario's: WTS presteert uitzonderlijk goed wanneer de ruisratio extreem hoog is (bijv. 0.6). Waar traditionele methoden instorten, blijft WTS de nauwkeurigheid significant verbeteren.
• Verbetering van alle klassen: In tegenstelling tot veel methoden die alleen de 'tail-classes' verbeteren ten koste van de 'head-classes', laat WTS zien dat de nauwkeurigheid van alle klassen (head, medium en tail) kan stijgen.
• Prestatie-sprong: Op de CIFAR-10-LTN dataset met een hoge onbalans en hoge ruis verbeterde de methode de nauwkeurigheid van de CLIP+LA baseline met meer dan 10%.

5. Betekenis en Conclusie

Dit onderzoek bewijst dat de "imperfecte" kennis in een tekst-encoder van een VLM een krachtig middel is om visuele leerprocessen te corrigeren. Het overbrugt de kloof tussen visuele data en semantische labels, waardoor modellen veel beter bestand zijn tegen de chaos van echte, ongezuiverde datasets. De belangrijkste implicatie is dat we bij het trainen van robuuste modellen niet alleen naar de afbeeldingen moeten kijken, maar de taal-visuele koppeling moeten gebruiken om fouten in de annotaties te "overrulen".