Technische Samenvatting: TriNoL – Triple Expert Learning from Noisy Labels voor Semi-Supervised VFM Adaptatie

1. Probleemstelling

Het artikel behandelt de uitdaging van het aanpassen van Vision Foundation Models (VFMs), zoals CLIP en DINO-serie encoders, in semi-supervised learning (SSL) settings waar gelabelde data schaars is en ongelabelde data afhankelijk is van pseudo-labels. Hoewel VFMs sterke voorgetrainde representaties bieden, omvat hun adaptatie doorgaans het bevriezen van de backbone en het bijwerken van lichtgewicht Parameter-Efficient Fine-Tuning (PEFT) modules, zoals LoRA (Low-Rank Adaptation).

Het kernprobleem dat wordt geïdentificeerd, is de gevoeligheid van een enkele-adapter LoRA voor ruisende pseudo-labels. In standaard SSL vertonen pseudo-labels een gemengde betrouwbaarheid: labels met een hoge betrouwbaarheid zijn vaak correct, labels met een gemiddelde betrouwbaarheid zijn ambigu (nabij beslissingsgrenzen) en labels met een lage betrouwbaarheid zijn vaak ruisend. Bestaande methoden behandelen de betrouwbaarheid van pseudo-labels doorgaans als een scalaire weging of een binaire filter (het selecteren van samples met een hoge betrouwbaarheid en het negeren van de rest). De auteurs stellen echter dat het comprimeren van gradiënten uit deze drie verschillende betrouwbaarheidsregio's in een enkele low-rank update-ruimte zorgt voor gradiëntinterferentie. Betrouwbare gradiënten, ambigue gradiënten en ruisende gradiënten concurreren binnen dezelfde adapter, wat de adaptatierichting kan verstoren en incorrecte beslissingsgrenzen kan versterken (confirmation bias).

2. Methodologie: TriNoL

De auteurs stellen TriNoL (Triple-expert learning from Noisy Labels) voor, een framework dat pseudo-label supervisie deelt in drie betrouwbaarheidsgebaseerde regio's, die elk worden afgehandeld door een gespecialiseerde LoRA-expert.

2.1 Architectuur

• Frozen Backbone: De voorgetrainde VFM-backbone ($\psi$) blijft bevroren.
• Triple LoRA Experts: In plaats van een enkele adapter gebruikt TriNoL drie onafhankelijke LoRA-takken ($\theta^+$, $\theta^a$, $\theta^-$) die zijn ingevoegd in de bevroren lineaire projecties:
  1. Positive Expert ($e^+$): Behandelt pseudo-labels met een hoge betrouwbaarheid.
  2. Alignment Expert ($e^a$): Behandelt pseudo-labels met een gemiddelde betrouwbaarheid (ambigu).
  3. Negative Expert ($e^-$): Behandelt pseudo-labels met een lage betrouwbaarheid (ruisend).
• Classifier Head: Een gedeelde classifier head ($C_\omega$) wordt samen met de experts bijgewerkt.

2.2 Betrouwbaarheidsgebaseerde Routing

Tijdens de training worden ongelabelde samples verwerkt door een zwak geaugmenteerde view om pseudo-labels en betrouwbaarheidsscores ($q_i$) te genereren. Twee drempelwaarden, $\tau^-$ en $\tau^+$, verdelen de ongelabelde batch $B_u$ in drie sets:

• Hoge Betrouwbaarheid ($B_u^+$): $q_i \ge \tau^+$. Gerouteerd naar de Positive Expert.
• Gemiddelde Betrouwbaarheid ($B_u^a$): $\tau^- \le q_i < \tau^+$. Gerouteerd naar de Alignment Expert.
• Lage Betrouwbaarheid ($B_u^-$): $q_i < \tau^-$. Gerouteerd naar de Negative Expert.

2.3 Expert-Specifieke Leermethoden

Elke expert wordt geoptimaliseerd met een afzonderlijke loss-functie die is afgestemd op de betrouwbaarheid van de toegewezen samples:

1. Positive Loss ($L_{pos}$): Gebruikt harde pseudo-label supervisie (Cross-Entropy) op samples met een hoge betrouwbaarheid om discriminerende adaptatie te versterken.
2. Alignment Loss ($L_{align}$): Gebruikt zachte alignment (Kullback-Leibler divergentie) voor samples met een gemiddelde betrouwbaarheid. Het stemt de voorspelling van de strong-view van de Alignment Expert af op de losgekoppelde weak-view waarschijnlijkheid ($sg(p_i^w)$). Dit voorkomt het afdwingen van harde beslissingen op ambigue samples terwijl de grensinformatie behouden blijft.
3. Negative Loss ($L_{neg}$): Ontworpen om overmatige toewijding aan onbetrouwbare labels te onderdrukken. In plaats van lage-betrouwheid pseudo-labels als targets te behandelen, straft deze loss de Negative Expert af voor het toekennen van een hoge waarschijnlijkheid aan de huidige top pseudo-label. Dit voorkomt dat ruisende signalen de update domineren zonder aan te nemen dat alle lage-betrouwheid samples strikt fout zijn.

Het totale doel is een gewogen som: $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$.

2.4 Inferentie

Tijdens de inferentie wordt alleen de Positive Expert gebruikt, aangezien deze is getraind op ground-truth labels en betrouwbare pseudo-labels. De andere experts dienen om het trainingsproces te regulariseren.

3. Theoretische Analyse

Het artikel biedt een theoretische rechtvaardiging voor de aanpak:

• Gradiëntinterferentie: Een enkele adapter wordt bijgewerkt op basis van een gemengde gradiënt $G_{single} = G^+ + G^a + G^-$. De afwijking van de ideale betrouwbare update ($G^+$) is evenredig aan de grootte van de ambigue en ruisende gradiënten.
• Reductie van Contaminatie: Door routing zorgt TriNoL ervoor dat de Positive Expert een gradiënt $G^+_{TriNoL}$ ontvangt met aanzienlijk minder contaminatie van $G^a$ en $G^-$, wat leidt tot een kleinere afwijking van de betrouwbare target.
• Subspace Stabiliteit: In de context van low-rank benadering staat het scheiden van het "schone" signaal ($S$) van ruis ($E$) en ambiguïteit ($A$) de Positive Expert toe om een schonere target-matrix te benaderen, wat resulteert in een low-rank subspace die dichter bij de ware optimale richting ligt dan een enkele adapter die getraind is op de gecontamineerde matrix.
• Optimalisatiestabiliteit: Het verminderen van de bias in de gradiënt van de Positive Expert leidt tot een kleinere steady-state bias radius in lokale optimalisatie, wat de convergentiestabiliteit verbetert.

4. Experimentele Resultaten

TriNoL werd geëvalueerd op CIFAR-100, FOOD-101, Semi-Aves en ImageNet onder diverse semi-supervised settings (variërende verhoudingen gelabelde data en ruisniveaus).

• Prestaties: TriNoL behaalt state-of-the-art resultaten in low-label en ruisende settings. Opvallende verbeteringen zijn onder meer:
  • FOOD-101 (N2): 88,42% vs. 87,58% (V-PET) en 87,27% (FineSSL).
  • Semi-Aves (Mixed OOD): 61,82% vs. 61,30% (FineSSL).
  • CIFAR-100 (N4): 80,92% vs. 80,66% (FineSSL).
• Efficiëntie: TriNoL gebruikt drie rank-8 LoRA experts (totaal ~0,96M parameters), vergelijkbaar met een enkele rank-24 LoRA adapter. Ondanks vergelijkbare parameteraantallen en computationele kosten presteert TriNoL beter dan de rank-gematchte enkele adapter (88,42% vs. 87,73% op FOOD-101 N2), wat aantoont dat de winst voortkomt uit expert-specialisatie in plaats van verhoogde capaciteit.
• Ablatie-studies:
  • Het verwijderen van een van de drie experts verslechtert de prestaties, wat hun complementaire rollen bevestigt.
  • Het vervangen van betrouwbaarheidsgebaseerde routing door willekeurige routing of gedeelde loss-functies levert inferieure resultaten op, wat de noodzaak van zowel routing als gespecialiseerde objectives valideert.
  • Gevoeligheidsanalyse geeft aan dat optimale prestaties worden bereikt met drempelwaarden $(\tau^-, \tau^+) = (0,3, 0,7)$ en specifieke loss-gewichten.

5. Betekenis en Claims

Het artikel claimt dat TriNoL een significante verschuiving biedt in hoe semi-supervised VFM adaptatie omgaat met pseudo-label ruis. De belangrijkste bijdragen zijn:

1. Identificatie van een Beperking: Het wijst op een fundamentele zwakte in huidige PEFT-gebaseerde SSL: het comprimeren van gemengde betrouwbaarheids-pseudo-label gradiënten in een enkele low-rank ruimte.
2. Betrouwbaarheidsbewuste Routing: Het stelt voor dat de betrouwbaarheid van pseudo-labels de adaptatie-route moet controleren, niet alleen de loss-weging. Door betrouwbare, ambigue en onbetrouwbare samples aan gespecialiseerde experts toe te wijzen, vermindert de methode gradiëntinterferentie.
3. Robuustheid met Lage Kosten: TriNoL verbetert de robuustheid tegen ruisende supervisie terwijl de efficiëntie van frozen-backbone adaptatie behouden blijft, wat het geschikt maakt voor resource-beperkte scenario's met beperkte labels.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de methode afhankelijk is van betrouwbaarheidsgebaseerde routing (die beïnvloed kan worden door miskalibratie of domeinverschuiving) en momenteel gericht is op beeldclassificatie. Toekomstig werk wordt gesuggereerd voor dense prediction en multimodale taken.