A Dataset is Worth 1 MB

Each language version is independently generated for its own context, not a direct translation.

Titel: Hoe je een heel museum in een postkaart stopt

Stel je voor dat je een enorme bibliotheek hebt vol met boeken (de server). Je wilt dat duizenden mensen (de klanten) een specifiek hoofdstuk uit een van die boeken leren, maar ze wonen ver weg en hebben een heel slechte internetverbinding. Misschien zitten ze zelfs onder water of op een andere planeet, waar het sturen van een enkel woord dagen duurt.

Normaal gesproken zou je de hele bibliotheek moeten kopiëren en per post naar iedereen sturen. Dat is onmogelijk: te duur, te langzaam en te veel data.

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd PLADA. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Vaste Bibliotheek" (De Referentiedataset)

In plaats van dat de server de boeken naar de klanten stuurt, doen de klanten het omgekeerde. Elke klant heeft al een enorme, standaard bibliotheek in huis (bijvoorbeeld ImageNet, een verzameling van 14 miljoen foto's van alles en nog wat: honden, auto's, bloemen, wolken, enzovoort).

De klant hoeft deze bibliotheek niet te downloaden; die zit er al. Het probleem is alleen: de klant weet niet welke foto's belangrijk zijn voor de taak die hij moet leren (bijvoorbeeld: "herken ziekte X in een röntgenfoto").

2. De "Postkaart" (Pseudo-Labels)

De server doet nu iets slim. In plaats van de foto's zelf te sturen, kijkt de server naar de foto's in de bibliotheek van de klant en zegt: "Voor deze foto is het antwoord 'A', voor die foto is het 'B', en voor die andere is het 'C'."

De server stuurt alleen de antwoorden (de labels) naar de klant.

Een foto is als een zware koffer (groot bestand).
Een antwoord (een getal of woord) is als een postkaart (klein bestand).

De server stuurt dus geen zware koffers, maar alleen een lijstje met postkaarten. Dit is extreem klein: vaak minder dan 1 Megabyte. Dat is kleiner dan een paar seconden muziek!

3. De "Schoonmaakbeurt" (Pruning)

Er is een probleem: de bibliotheek van de klant bevat ook foto's die totaal niets met de taak te maken hebben. Als de server zegt: "Deze foto van een ijsbeer is een 'ziektesymptoom'", dan raakt de klant in de war.

De server gebruikt daarom een slimme filter (een schoonmaakbeurt):

De server kijkt welke foto's in de bibliotheek het meest lijken op de echte ziekte.
Alle andere foto's (zoals ijsberen of auto's) worden genegeerd.
Alleen de "beste" foto's krijgen een label.

Dit is alsof je in een berg met 14 miljoen foto's alleen de 100 foto's eruit haalt die écht relevant zijn, en die 100 foto's labelt. De rest laat je liggen.

4. De "Veiligheidsnet" (Safety-Net)

Soms zijn er zeldzame soorten ziektes (of zeldzame dieren) die maar op een paar foto's voorkomen. Als je alleen de "beste" foto's kiest, krijg je misschien alleen foto's van de meest voorkomende ziekte, en vergeten de zeldzame.

Om dit te voorkomen, gebruikt de methode een veiligheidsnet:

De server zorgt ervoor dat er voor elke categorie (ook de zeldzame) minimaal een paar foto's worden geselecteerd, zelfs als ze niet perfect zijn.
Dit zorgt ervoor dat de klant een eerlijk beeld krijgt van alle soorten, niet alleen de populaire.

Waarom is dit zo geweldig?

Snelheid: Je kunt een hele taak overdragen in een paar seconden, zelfs via een heel trage verbinding (zoals onderwater).
Kwaliteit: De klanten leren hun eigen modellen op hun eigen manier, wat beter werkt dan het sturen van een kant-en-klaar model dat misschien niet past bij hun apparatuur.
Efficiëntie: In plaats van gigabytes aan data te sturen, stuur je minder dan 1 MB.

Kort samengevat:
In plaats van dat de server de hele bibliotheek (de data) naar jou stuurt, stuurt hij je een lijstje met instructies: "Kijk in je eigen bibliotheek naar foto nummer 102, 450 en 890. Onthoud dat nummer 102 een 'hond' is, 450 een 'kat' en 890 een 'auto'." Jij leert dan zelf wat je moet doen met die informatie.

Dit maakt het mogelijk om slimme systemen te bouwen op plekken waar normaal gesproken geen internet is, of waar data sturen onbetaalbaar duur is.

Each language version is independently generated for its own context, not a direct translation.

Titel: A Dataset is Worth 1 MB

Auteurs: Elad Kimchi Shoshani, Leeyam Gabay, Yedid Hoshen (Hebreeuwse Universiteit van Jeruzalem)

1. Het Probleem

Het distribueren van grote trainingsdatasets van een centrale server naar meerdere clients is een kostbaar en inefficiënt proces, vooral in scenario's met beperkte bandbreedte of heterogene hardware.

Communicatiekosten: Het verzenden van ruwe pixels (afbeeldingen) voor datasets zoals ImageNet vereist gigabytes aan data, wat onhaalbaar is voor bandbreedte-beperkte verbindingen (bijv. onderwateracoustische links of ruimtemissies).
Beperkingen van bestaande methoden:
- Dataset Distillatie: Bestaande methoden proberen synthetische afbeeldingen te genereren die de oorspronkelijke dataset vervangen. Deze methoden zijn echter rekenkundig intensief, moeilijk te schalen naar hoge resoluties en resulteren vaak nog steeds in bestanden die te groot zijn voor extreme compressie.
- Model-weights verzenden: Het verzenden van vooraf getrainde modelgewichten is vaak niet voldoende omdat clients hun eigen modellen lokaal moeten optimaliseren op specifieke hardware of software-frameworks.

De kernvraag is: Hoe kan men taakkennis overdragen met een payload van minder dan 1 MB, zonder pixels te verzenden?

2. Methodologie: PLADA (Pseudo-Labels as Data)

PLADA keert het standaardparadigma van dataset-distillatie om. In plaats van afbeeldingen te synthetiseren en labels vast te houden, synthetiseren ze labels terwijl de afbeeldingen vast blijven.

Het Kader

Referentiedataset: Elke client is vooraf geladen met een grote, generieke, ongelabelde dataset (bijv. ImageNet-1K of ImageNet-21K). Deze dataset wordt de "referentiedataset" ( $D_r$ ) genoemd.
Server-kant:
- De server traint een "teacher"-classificator op de doel-dataset ( $D_t$ ).
- Deze teacher genereert pseudo-labels voor de afbeeldingen in de referentiedataset van de client.
- In plaats van de afbeeldingen te sturen, stuurt de server alleen de harde labels (classificatie-indexen) voor een geselecteerd subset van de referentiedataset.
Client-kant:
- De client ontvangt de compacte payload (labels).
- De client reconstrueert een virtuele dataset door de ontvangen labels te koppelen aan de lokaal opgeslagen referentie-afbeeldingen.
- De client traint een "student"-model op deze virtuele dataset.

Belangrijke Technieken

Om de prestaties te maximaliseren en de payload te minimaliseren, introduceert PLADA twee cruciale mechanismen:

Dataset Pruning (Selectie):
- Niet alle afbeeldingen in een generieke referentiedataset zijn relevant voor een specifieke taak. Het verzenden van labels voor irrelevante afbeeldingen introduceert ruis.
- De server gebruikt Out-of-Distribution (OOD) detectie (specifiek Logit Energy) om de meest semantisch relevante afbeeldingen te selecteren. Afbeeldingen met een lage energie-score (hoge zekerheid van de teacher) worden behouden; die met hoge energie (onduidelijkheid) worden verwijderd.
- Dit vermindert de payload drastisch en fungeert als een "denoiser" voor het trainingsproces.
Safety-Net Filtering:
- Puur op energie gebaseerde filtering kan leiden tot "class collapse", waarbij zeldzame of moeilijke klassen volledig worden verwijderd, wat de generalisatie van het student-model schaadt.
- PLADA introduceert een Safety-Net dat een quota voor elke klasse garandeert, zelfs voor ondervertegenwoordigde klassen. Dit wordt gedaan door een power-law-gewicht toe te passen op de klassenverdeling, zodat zeldzame klassen oververtegenwoordigd worden in het gefilterde subset.
Compressie:
- De payload bestaat uit indices (welke afbeeldingen) en labels.
- Door gebruik te maken van Run-Length Encoding (RLE) voor de indices (bij lage behoudspercentages) en Zstandard (Zstd) compressie voor de labels, wordt de payload extreem klein.

3. Belangrijkste Bijdragen

Nieuwe Methode (PLADA): Een protocol dat taakoverdracht mogelijk maakt door alleen harde pseudo-labels te verzenden voor een vooraf geladen referentiedataset, waardoor de payload wordt gereduceerd tot minder dan 1 bit per referentie-afbeelding.
Effectieve Pruning-mechanisme: Het gebruik van energie-gebaseerde OOD-scores om de referentiedataset te filteren tot 1-10% van de originele grootte, wat zowel de nauwkeurigheid verbetert als de bandbreedtekosten verlaagt.
Safety-Net Filtering: Een innovatieve aanpak om class collapse te voorkomen bij extreme compressie, waardoor de methodologie robuust blijft voor datasets met ongelijke klassenverdelingen.
Empirisch Bewijs: Demonstratie dat complexe classificatietaken kunnen worden overgedragen met een payload van < 1 MB (vaak < 200 KB) met minimale verlies in nauwkeurigheid.

4. Resultaten

De auteurs hebben PLADA getest op 14 diverse datasets, waaronder natuurlijke afbeeldingen (Caltech-101, CIFAR-10, Food-101, Oxford-Flowers) en medische datasets (BloodMNIST, DermaMNIST) als stress-test voor distributionele verschuiving.

Bandbreedte-efficiëntie: PLADA bereikt hoge nauwkeurigheid met een payload van 85–206 KB (bij 1% behoud op ImageNet-21K na compressie). Dit is een factor 1000 kleiner dan traditionele methoden die zelfs een klein subset van afbeeldingen verzenden.
Nauwkeurigheid:
- Op veel benchmarks (zoals Oxford-Flowers en Oxford-Pets) bereikt PLADA met slechts 1% van de referentiedataset een nauwkeurigheid die vergelijkbaar is met of zelfs beter is dan het trainen op de volledige referentiedataset.
- De filtering fungeert als een semantische denoiser: door alleen de meest relevante afbeeldingen te gebruiken, verbetert het leerproces.
Medische Datasets (OOD): Bij medische datasets (die sterk verschillen van ImageNet) faalt standaard filtering (lage energie). De auteurs ontdekten echter dat het selecteren van afbeeldingen met de hoogste energie (hoogste onzekerheid) hier beter werkt, waarschijnlijk omdat deze afbeeldingen lage-niveau structurele patronen bevatten die beter overeenkomen met medische scans.
Vergelijking met Baselines: PLADA overtreft methoden zoals Random Subset, K-Center Coresets en state-of-the-art Dataset Distillation (DD) aanzienlijk in zowel nauwkeurigheid als payload-grootte.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in het veld van dataset-serving en distributief leren.

Efficiëntie: Het bewijst dat voor classificatietaken labels meer informatie per byte bevatten dan pixels. Door afbeeldingen lokaal op te slaan en alleen de "instructies" (labels) te verzenden, kunnen extreme bandbreedte-beperkingen worden overwonnen.
Toepassingsgebied: De methende is ideaal voor scenario's met zeer beperkte connectiviteit, zoals onderwatercommunicatie, ruimtemissies, IoT-apparaten en privacygevoelige omgevingen waar data niet mag verlaten.
Toekomst: Hoewel de focus ligt op classificatie, biedt de methode een nieuw perspectief voor het minimaliseren van communicatiekosten in machine learning-systemen. De auteurs benadrukken dat de overhead van het opslaan van de referentiedataset op de client op de lange termijn kosteneffectief is als er veel verschillende taken worden uitgevoerd.

Kortom, PLADA toont aan dat een dataset technisch gezien "waard is" als slechts 1 MB aan data, zolang de infrastructuur (de referentiedataset) maar op de juiste plaats is.