Technische Samenvatting: Robuuste Trajectie-distillatie

Probleemstelling

Dataset Distillatie (DD) beoogt grootschalige datasets te condenseren tot compacte, informatie-rijke synthetische subsets om efficiënte modeltraining en hergebruik mogelijk te maken. Bestaande DD-frameworks gaan echter impliciet uit van schone supervisie. In real-world scenario's die worden gekenmerkt door ruisende labels (door fouten bij crowdsourcing, menselijke bias of semantische ambiguïteit), lopen standaard DD-methoden het risico om gecorrumpeerde associaties samen met nuttige signalen te condenseren, wat leidt tot een verslechterde robuustheid en generalisatie.

Huidige technieken voor het leren met ruisende labels (bijv. steekproefselectie, loss-weging, labelcorrectie) lijden vaak aan drie beperkingen wanneer ze worden toegepast op DD:

1. Hechte Koppeling: Ze koppelen de ruisinschatting nauw aan de modeloptimalisatie, wat een zelfreferentiële feedbackloop creëert die bevestigingsbias (confirmation bias) versterkt.
2. Afhankelijkheid van Schone Ankers: Veel technieken vereisen schone validatiesubsets of zware iteratieve verfijning, wat de schaalbaarheid beperkt.
3. Capaciteitsbeperkingen: Gedistilleerde datasets, die doorgaans geparametriseerd zijn als vaste omvang afbeelding-tensoren, beperken de representatieve capaciteit, waardoor voortijdige informatiecompressie optreedt voordat ruis en schone signalen van elkaar kunnen worden onderscheiden.

De kernuitdaging is het verbeteren van zowel de kwaliteit (getrouwheid van synthetische data) als de capaciteit (hoeveelheid hoogwaardige supervisie die wordt geabsorbeerd) van gedistilleerde data onder ruisende supervisie zonder dat herlabeling of schone subsets nodig zijn.

Methodologie

De auteurs stellen Robuuste Trajectie-distillatie voor, een framework dat ruis gezamenlijk onderdrukt en overdraagbare kennis behoudt via twee complementaire modules die geïntegreerd zijn in een trajectie-matching DD-pipeline. Het framework werkt via een bilevel optimalisatieschema waarbij een student-model dat getraind is op de synthetische dataset $S$, wordt geoptimaliseerd om de leerdynamiek van een teacher-model te matchen dat getraind is op de ruisende echte dataset $D_{real}$.

1. Selectieve Begeleidingsherweging (Selective Guidance Reweighting - SGR)

SGR verfijnt de teacher-trajectie door sample-specifieke gewichten toe te kennen op basis van betrouwbaarheidsschattingen, waardoor de teacher schonere begeleidingssignalen biedt. Het maakt gebruik van een hybride estimator die combineert:

• Dynamische Consistentie ($W_{knn}$): Gebaseerd op K-Nearest Neighbors (KNN) in de feature-ruimte. Het meet de overeenstemming tussen een sample's geobserveerde label en de voorspelde labels van zijn buren met behulp van de Jensen-Shannon divergentie.
• Statische Prior ($W_{ssft}$): Afgeleid van "Second-Split Forgetting Time" (SSFT). Het kwantificeert de moeilijkheid van een sample door de vroegste epoch waarin een sample correct werd geclassificeerd ($t_{learn}$) en de vroegste epoch waarin het vervolgens werd foutief geclassificeerd ($t_{forget}$) te registreren. Samples die laat geleerd en vroeg vergeten worden, krijgen lagere gewichten.

Deze scores worden gefuseerd via een tijdsafhankelijke convexe interpolatie ($W_t$) die verloopt van statische priors naar dynamische consistentie naarmate de training vordert. Deze progressieve herweging geeft prioriteit aan schone supervisie langs de teacher-trajectie.

2. Teacher-geïnspireerde Auxiliaire Targets (Teacher-Inspired Auxiliary Targets - TIAT)

Terwijl SGR de kwaliteit van het signaal van de teacher verbetert, richt TIAT zich op de absorptie van deze signalen door de student. Het injecteert een auxilaire regularisatie om ervoor te zorgen dat de gedistilleerde dataset uitgelijnd blijft met schone supervisie in de representatie-ruimte.

• Probabilistische Vertrouwensaggregatie: Het framework aggregeert betrouwbaarheidsgewichten over meerdere teacher-trajecties om de algehele betrouwbaarheid van een sample te schatten.
• Onzekerheidsbewuste Selectie: Een betrouwbare subset van samples ($D_{sub}$) wordt geselecteerd op basis van hoge statische betrouwbaarheid en een lage variantie in confidence scores over de trajecties heen.
• Auxiliaire Loss: Het teacher-model wordt verfijnd op $D_{sub}$ om een "schonere" checkpoint ($\theta^{ft}$) te produceren. Een auxilaire loss wordt berekend om de student-trajectie uit te lijnen met dit verfijnde checkpoint, naast de standaard trajectie-matching loss.

De totale doelstelling combineert de standaard trajectie-uitlijningsloss ($\mathcal{L}_{match}$) en de auxilaire loss ($\mathcal{L}_{aux}$), gebalanceerd door een coëfficiënt $\beta$.

Belangrijkste Bijdragen

1. Progressieve Hybride Herweging: De introductie van een mechanisme dat dynamische (KNN-gebaseerde) en statische (vergetentijd-gebaseerde) sample-herweging integreert. Dit fuseert complementaire teacher-trajectie-signalen om ruisende labels robuust te onderdrukken zonder herlabeling.
2. Auxiliaire Begeleidingsregularisatie: Een nieuw module (TIAT) die consistentie met schone trajecties afdwingt tijdens distillatie. Door gebruik te maken van onzekerheidsgefilterde auxiliaire targets afgeleid van intermediaire teacher-dynamieken, vergroot het de invloed van schone signalen en vermindert het foutenversterking.
3. Label-behoudend en Lichtgewicht Ontwerp: Het framework vereist noch herlabeling, noch kostbare hertrainingsschema's, wat het praktisch maakt voor grootschalige, real-world ruisende datasets.
4. Empirische Validatie: Uitgebreide experimenten tonen consistente verbeteringen aan ten opzichte van state-of-the-art DD-baselines (bijv. DATM, DANCE) onder symmetrische ruis, asymmetrische ruis en real-world ruisende datasets (CIFAR-N).

Experimentele Resultaten

De methode werd geëvalueerd op CIFAR-10, CIFAR-100, CIFAR-N en Tiny-ImageNet onder symmetrische (20%, 40%) en asymmetrische ruisregimes.

• Prestatiewinst: De voorgestelde methode presteert consequent beter dan sterke baselines. Zo behaalde het op CIFAR-10 met 40% symmetrische ruis en 1000 IPC een nauwkeurigheid van 81,4% vergeleken met 76,7% van DATM. Onder 40% asymmetrische ruis bereikte het 75,0% (vs. 71,4% van DATM).
• Real-World Ruis: Op CIFAR-N (door mensen geannoteerde ruis) toonde de methode superieure veerkracht, vooral naarmate de ruisgraad toenam (bijv. de "Worst" case met ~40% ruis), waarbij een marge van meer dan 3% verbetering over de beste baseline werd behouden bij hogere IPC's.
• Ablatie-studies:
  • Het toevoegen van SGR aan de baseline zorgde voor stabiele winsten over alle ruistypes heen, met significante verbeteringen in ernstige ruisscenario's (bijv. +4,7% bij 10 IPC met 40% ruis).
  • Het toevoegen van TIAT boostte de prestaties verder, met name in scenario's met hoge ruis, wat het voordeel van onzekerheidsgefilterde auxiliaire supervisie bevestigt.
  • Diverse Sampling: Het trainen van meerdere teacher-trajecties met variërende statisch-dynamische balanscoëfficiënten ($\alpha_{max}$) bleek robuuster dan vaste samplingstrategieën.
• Efficiëntie: De methode introduceert verwaarloosbare extra piek GPU-geheugengebruik. De computationele overhead is matig (bijv. ~1,5x runtime op CIFAR-10 met 500 IPC), voornamelijk door de betrouwbaarheidsschatting en de constructie van de auxiliaire targets.

Betekenis

Dit artikel positioneert dit werk als een oplossing voor het onderbelichte probleem van dataset-distillatie onder ruisende supervisie. Door de ruisinschatting los te koppelen van de optimalisatieloop via trajectie-gebaseerde herweging en auxiliaire regularisatie, biedt het framework een robuuste, plug-and-play aanpak voor het genereren van hoogwaardige synthetische datasets uit imperfecte data. De auteurs stellen dat dit de weg vrijmaakt voor toekomstig onderzoek naar ruis-resistente dataset-distillatie, wat efficiënte modelhertraining en datadeling mogelijk maakt, zelfs wanneer schone supervisie niet beschikbaar is.