💻 computer science

Dataset Distillation by Influence Matching

Dit artikel introduceert Influence Matching (Inf-Match), een methode voor datasetdistillatie die compacte synthetische datasets leert door hun uiteindelijke trainingsresultaten uit te lijnen met de volledige dataset via een nieuwe, efficiënte, volledig differentieerbare invloedschatter op sampleniveau, waarmee state-of-the-art prestaties wordt behaald op zowel benchmarks voor beeldclassificatie als vision-language retrieval.

Oorspronkelijke auteurs: Haoru Tan, Wang Wang, Sitong Wu, Xiuzhe Wu, Yangtian Sun, Chirui Chang, Shaofeng Zhang, Xiaojuan Qi

Gepubliceerd 2026-07-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haoru Tan, Wang Wang, Sitong Wu, Xiuzhe Wu, Yangtian Sun, Chirui Chang, Shaofeng Zhang, Xiaojuan Qi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij dieren moet herkennen, maar je hebt een bibliotheek met miljoenen boeken (afbeeldingen) om als tekstboek te gebruiken. Hoewel deze enorme bibliotheek de robot helpt om perfect te leren, is het een nachtmerrie om mee te dragen, op te slaan of naar andere robots te sturen. Dit is de wereld van dataset distillation, een vakgebied binnen de informatica dat zich bezighoudt met het verkleinen van deze gigantische bibliotheken tot kleine, zakformaat samenvattingen die de robot nog steeds alles kunnen leren wat hij moet weten.

Lama tijd probeerden wetenschappers dit op te lossen door naar het proces van het leren te kijken. Ze dachten: "Als we onze kleine samenvatting precies dezelfde stappen, fouten en dagelijkse huiswerkopdrachten kunnen laten kopiëren die de robot deed tijdens het studeren van de grote bibliotheek, dan zal de robot op dezelfde manier leren." Het was alsof je iemand probeerde te leren piano spelen door hem te dwingen elke vingerbeweging van een meester na te bootsen, in de hoop dat de muziek goed zou klinken. Maar soms, zelfs als de vingerbewegingen perfect overeenkomen, klinkt het liedje verschrikkelijk. De grote vraag die onderzoekers zich hebben gesteld is: Kunnen we de imitatie van de stappen overslaan en ons in plaats daarvan richten op het resultaat? Kunnen we een kleine samenvatting maken die garandeert dat de robot precies hetzelfde "brein" (eindkennis) krijgt als wanneer hij de hele bibliotheek had bestudeerd, ongeacht hoe hij daar gekomen is?

Dit is precies waar het artikel "Dataset Distillation by Influence Matching" (Inf-Match) zich mee bezighoudt. De auteurs, een team van HKU, CUHK en Stanford, beargumenteren dat we moeten stoppen met het kopiëren van de dagelijkse trainingsroutine van de robot en moeten beginnen met het matchen van de uiteindelijke uitkomst. Ze introduceren een slimme nieuwe methode genaamd Influence Matching.

Beschouw de oude methoden als het proberen te kopiëren van een recept door elke hakbeweging, elke roerbeweging en elke instelling van het vuur op te schrijven die een chef gebruikte. Als je één klein beetje roeren mist, kan de taart mislukken. De nieuwe methode, Inf-Match, is meer als vragen: "Als ik dit specifieke ingrediënt uit de taart verwijder, hoeveel verandert de smaak dan?" en "Als ik dit nieuwe ingrediënt toevoeg, hoe verschuift de smaak dan?" Door precies te meten hoeveel elk stukje data de hersenen van de robot in een specifieke richting "duwt", creëert het team een kleine synthetische dataset die exact dezelfde totale "duw" uitoefent als de enorme originele bibliotheek.

Om dit te doen, hebben ze een speciaal wiskundig hulpmiddel uitgevonden—een "influence estimator"—die werkt als een supersnelle rekenmachine. In plaats van de robot duizenden keren opnieuw te moeten trainen om te zien wat er gebeurt als je een foto verwijdert (wat een eeuwigheid zou duren), gebruikt dit hulpmiddel een afkorting om de verandering direct te voorspellen. Het is als het hebben van een kristallen bol die je vertelt: "Als je deze foto van een kat vervangt door een foto van een hond, zal het brein van de robot met exact deze hoeveelheid verschuiven."

De resultaten zijn indrukwekkend. Wanneer ze hun methode testten op standaard beelddatasets zoals CIFAR-10, CIFAR-100 en de uitdagende Tiny-ImageNet, versloeg hun methode consequent de beste eerdere technieken. Bijvoorbeeld, op de Tiny-ImageNet dataset met slechts 10 synthetische afbeeldingen per klasse, bereikte Inf-Match een nauwkeurigheid van 31,5%, wat een verbetering is van 4,7% ten opzichte van de vorige beste methode (NCFM). Ze testten het ook op een visie-taak met de Flickr30K dataset (het koppelen van afbeeldingen aan tekst), waarbij hun methode de sterke baselines met gemiddeld 2,5% versloeg.

Het artikel suggereert dat door te focussen op de uiteindelijke "invloed" in plaats van de tussenliggende stappen, we veel effectievere mini-datasets kunnen creëren. De auteurs laten zien dat hun aanpak goed werkt bij verschillende soorten neurale netwerken en zelfs opschaalt naar complexe taken die zowel afbeeldingen als tekst omvatten. Hoewel ze niet beweren dat ze elk probleem in AI hebben opgelost, suggereren hun experimenten sterk dat het matchen van de uiteindelijke uitkomst een betrouwbaarder pad is naar efficiënte datacompessie dan het stap-voor-stap kopiëren van de trainingsreis. Kortom, ze hebben een manier gevonden om de bibliotheek te verkleinen zonder het verhaal te verliezen.

Technische Samenvatting: Dataset Distillatie door Invloedsmatching

Probleemstelling

Moderne deep learning leunt op enorme datasets, wat prohibitieve kosten voor opslag, transmissie en training met zich meebrengt. Dataset distillatie pakt dit aan door een compacte, zeer informatieve dataset te synthetiseren die de kennis van een veel grotere originele dataset belichaamt.

Bestaande benaderingen vertrouwen primair op procesuitlijning, waarbij synthetische data wordt geoptimaliseerd om de tussenliggende trainingsdynamiek (bijv. gradiënten per stap of trainings-trajecten) van de echte data na te bootsen. Hoewel methoden zoals Gradient Matching (GM) en Trajectory Matching (MTT) succes hebben getoond, lijden ze aan een fundamentele beperking: het matchen van tussenliggende processen garandeert niet het matchen van de uiteindelijke uitkomst (de geconvergeerde modelparameters). Dit creëert een optimalisatiekloof waarbij synthetische data de trainings-trajecten perfect kan reproduceren, maar toch niet in staat is om vergelijkbare downstream prestaties of generalisatie te bereiken. Bovendien vertrouwen bestaande methoden voor het kwantificeren van de invloed van data vaak op computationeel even zware inverse-Hessian-berekeningen en strikte convexiteitsveronderstellingen die niet standhouden voor diepe neurale netwerken.

Methodologie: Invloedsmatching (Inf-Match)

De auteurs stellen Influence Matching (Inf-Match) voor, een framework dat de optimalisatie-objectief verschuift van procesuitlijning naar uitkomstuitlijning. In plaats van tussenliggende trainingsstappen na te bootsen, leert Inf-Match een synthetische set waarvan het effect op de uiteindelijke geconvergeerde parameters overeenkomt met dat van de volledige dataset.

1. Differentieerbare Sample-invloedschatter

De kerninnovatie is een volledig differentieerbare, sample-niveau invloedschatter die kwantificeert hoe het toevoegen of verwijderen van data de uiteindelijke modelparameters verschuift.

Mechanisme: De schatter ontrolt de optimalisatiedynamiek (SGD-traject) en past een eerste-orde Taylor-benadering toe.
Efficiëntie: Het vermijdt inverse-Hessian-producten en convexiteitsveronderstellingen, en bereikt een lineaire complexiteit ( $O(p)$ waarbij $p$ het aantal parameters is) door Hessian-gradiënt-producten te benaderen via eindverschillen.
Theoretische garanties: Het artikel biedt een theoretische bovengrens op de schattingsfout, waarbij wordt aangetoond dat de fout polynomiaal schaalt met het aantal trainingsstappen $T$ (wat een verbetering is ten opzijde van eerdere schatters met exponentiële foutgroei) en wordt gecontroleerd door de Lipschitz-constante en gradiëntnormen.

2. Optimalisatie-objectief

Het distillatieprobleem wordt geformuleerd als het minimaliseren van de mismatch tussen de invloed van de echte dataset en de synthetische dataset.

Doel: Minimaliseer de totale parameterverschuiving: $\| I_{-D} + I_{+S} \|$ , waarbij $I_{-D}$ de invloed is van het verwijderen van de echte dataset $D$ , en $I_{+S}$ de invloed is van het toevoegen van de synthetische dataset $S$ .
Formulering: Door de invloedschatters te substitueren, wordt het objectief een differentieerbare verliesfunctie die de uiteindelijke modelparameters traint op $S$ uitlijnt met die getraind op $D$ , zonder dat hiervoor daadwerkelijke hertraining van het model op $S$ nodig is tijdens de distillatie-loop.

3. Algoritme Pipeline

Initialisatie: De synthetische set $S$ wordt geïnitialiseerd met echte afbeeldingen uit $D$ (volgens de Image-Per-Class, IPC, instellingen) en soft labels gegenereerd door een op $D$ getraind model.
Traject Sampling: Een basismodel wordt getraind op $D$ om een traject van checkpoints vast te leggen. Tijdens de distillatie wordt een subset van deze checkpoints gesampled om de invloed te schatten.
Optimalisatie: De synthetische afbeeldingen en soft labels worden bijgewerkt via gradiëntafdaling om de invloedsmismatch-loss (Eq. 7) te minimaliseren. Mini-batches uit zowel $D$ als $S$ worden gebruikt om Hessians en gradiënten efficiënt te schatten.
Progressieve Sampling: Er wordt een tijdstap-selectieschema toegepast, waarbij aanvankelijk vroege checkpoints worden gesampled om basispatronen te vangen, waarna wordt overgeschakeld naar latere checkpoints om fijnmazige structuren te coderen.

Belangrijkste Bijdragen

Uitkomst-gecentreerd Paradigma: Het artikel herdefinieert dataset distillatie van heuristische procesmatchen naar rigoureuze uitkomstmatchen, waarbij direct wordt gestuurd op de uiteindelijke modeltoestand in plaats van tussenliggende dynamiek.
Efficiënte Invloedschatter: Het introduceert een schaalbare, differentieerbare invloedschatter die in lineaire tijd opereert, waardoor de noodzaak voor inverse-Hessian-berekeningen en convexiteitsveronderstellingen vervalt, wat de methode toepasbaar maakt voor diepe neurale netwerken.
State-of-the-Art Prestaties: De methode vestigt nieuwe benchmarks voor standaard classificatie- en visie-taak-taken, waarbij wordt aangetoond dat uitkomstuitlijning superieure generalisatie oplevert vergeleken met procesuitlijning.

Experimentele Resultaten

De auteurs evalueerden Inf-Match op beeldclassificatie (CIFAR-10, CIFAR-100, Tiny-ImageNet) en visie-taak-taken (Flickr30K).

Beeldclassificatie:
- Tiny-ImageNet (IPC=10): Inf-Match behaalde 31,5% nauwkeurigheid, een verbetering van +4,7% ten opzichte van de vorige beste (NCFM).
- CIFAR-100 (IPC=50): Behaalde 57,4% nauwkeurigheid, waarmee het NCFM met 2,7% en DATM met 2,4% versloeg.
- Cross-Architectuur Generalisatie: De door Inf-Match gegenereerde synthetische data presteerde consistent beter dan baselines (MTT, DATM) wanneer getest op diverse architecturen (ResNet, VGG, AlexNet), wat wijst op robuuste generalisatie.
Visie-Taak (Flickr30K):
- Bij image-to-text retrieval met 200 synthetische samples behaalde Inf-Match 7,4% Recall@1, waarmee het DATM met 1,3% versloeg.
- Met 1000 samples bereikte het 16,4% op text-to-image retrieval, wat leidde onder alle baselines.
Ablatie Studies: De studie bevestigde dat de combinatie van real-data initialisatie, leerbare soft labels en progressieve tijdstap-sampling synergetisch bijdraagt aan de uiteindelijke prestaties.
Feature Ruimte Analyse: Visualisaties geven aan dat, in tegen tegenstelling tot Distribution Matching (DM) methoden die samples concentreren in gebieden met een hoge dichtheid, Inf-Match samples genereert die effectief zowel gebieden met een hoge dichtheid als de randen van de distributie bezetten, wat leidt tot een meer gebalanceerde representatie.

Betekenis en Claims

Het artikel claimt dat Influence Matching een fundamentele verschuiving in dataset distillatie vertegenwoordigt. Door de invloed van data op de uiteindelijke modelparameters direct te kwantificeren en te matchen, overbrugt de methode de optimalisatiekloof die inherent is aan proces-matching benaderingen.

De auteurs stellen dat hun benadering een geprincieerde manier biedt om data te distilleren zonder afhankelijk te zijn van fragiele heuristieken of computationeel onhandelbare aannames. De resultaten suggereren dat het matchen van de "uitkomst" (uiteindelijke parameterverschuiving) een betrouwbaarder objectief is voor het genereren van hoogwaardige synthetische datasets, wat leidt tot state-of-the-art prestaties over diverse datasets en compressieratio's. Het werk positioneert uitkomstuitlijning als de volgende logische stap voor schaalbare en effectieve dataset distillatie.