💻 computer science

Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification

Dit artikel presenteert een uitgebreide benchmark van 130 combinaties van federated learning en knowledge distillation voor 3D puntenwolkclassificatie, waarbij wordt onthuld dat hoewel knowledge distillation modellen effectief comprimeert, standaard evaluatiemethoden de prestaties misleidend kunnen opblazen door het lekken van private proxy-labels, wat daarom de noodzaak voor labelvrije distillatiemetrieken met zich meebrengt om de kwaliteit van de federated teacher accuraat te reflecteren.

Oorspronkelijke auteurs: Aizierjiang Aiersilan

Gepubliceerd 2026-07-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aizierjiang Aiersilan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Tweeledig Probleem

Stel je voor dat je een robot probeert te leren hoe hij verschillende 3D-objecten moet herkennen (zoals een stoel, een auto of een menselijk hoofd) met behulp van een wolk van punten (een point cloud). Je staat voor twee grote hindernissen:

De Privacymuur: Je kunt niet alle gegevens op één plek verzamelen omdat ze toebehoren aan verschillende ziekenhuizen of bedrijven die niet zijn toegestaan deze te delen.
De Kleine Computer: Zelfs als je een superintelligente robot traint, is hij te zwaar en te traag om te draaien op een klein, draagbaar apparaat (zoals een handmatige scanner).

Dit artikel test twee oplossingen die samenwerken:

Federated Learning (FL): Een manier om de robot te trainen door instructies heen en weer te sturen zonder de private data ooit te verplaatsen.
Knowledge Distillation (KD): Een manier om de "superintelligente" robot te verkleinen tot een "compacte" robot die op het kleine apparaat past, maar nog steeds onthoudt wat hij heeft geleerd.

De auteurs hebben een enorme benchmark (een gigantische testbaan) gebouwd om te zien hoe goed deze twee methoden samenwerken op 3D-data. Ze hebben niet slechts één ding getest; ze hebben 13 verschillende trainingsstrategieën gecombineerd met 10 verschillende inkrimpelingsstrategieën, wat resulteerde in 130 verschillende combinaties om te zien wat werkt en wat faalt.

De Twee Datasets: De "Gym" en het "Ziekenhuis"

Om hun ideeën te testen, gebruikten ze twee zeer verschillende trainingsgronden:

ModelNet40 (De Gym): Een standaard dataset met 40 soorten objecten (stoelen, vliegtuigen, etc.). Het is een goede algemene test, maar de data is rommelig en ongelijk verdeeld.
Craniosynostosis Dataset (Het Ziekenhuis): Een echte medische dataset van patiëntenhoofdvormen. Dit is de "test met hoge inzet". Hier is privacy cruciaal omdat het gaat om echte patiënten, en de apparaten moeten klein genoeg zijn om bij het bed van een patiënt gebruikt te kunnen worden.

De Opstelling: Ze simuleerden een "worst-case scenario" waarbij de data ongelijk verdeeld was. Stel je vijf studenten (clients) voor die samen proberen te leren. Student A ziet alleen stoelen, Student B ziet alleen vliegtuigen, enzovoort. Zij zien nooit het volledige plaatje. Dit wordt Non-IID genoemd (data is niet onafhankelijk en identiek verdeeld).

Bevinding #1: Het "Gebroken Team" Probleem (Federated Learning)

Wanneer de studenten samen proberen te leren zonder hun private aantekeningen te delen, daalt de prestatie van het team aanzienlijk.

Het Resultaat: Zelfs de beste teamstrategie bereikte slechts ongeveer 76% nauwkeurigheid op de Gym-dataset en 75% op de Hospital-dataset. Een enkele docent met toegang tot alle data (Centralized) behaalde respectievelijk 92% en 100%.
De Analogie: Stel je een groep chefs voor die proberen een nieuw recept uit te vinden. Chef A heeft alleen zout, Chef B heeft alleen suiker en Chef C heeft alleen bloem. Ze proberen hun ideeën te combineren zonder elkaars ingrediënten te zien. Het uiteindelijke gerecht is oké, maar het is bij lange na niet zo goed als wanneer één meesterchef toegang zou hebben tot de hele voorraadkast.
De Verrassing: Sommige strategieën die goed werken voor afbeeldingen (zoals 2D-foto's), instortten volledig op 3D-data. Vier specifieke "server-side" strategieën (die proberen extra slim te zijn over hoe ze het werk van de studenten combineren) faalden zo erg dat ze nauwelwel niet veel beter waren dan willekeurig gokken.
De Les: Er bestaat geen "one size fits all" strategie. Wat werkt voor stoelen, kan falen voor hoofdvormen.

Bevinding #2: De "Inkrimpelingsmachine" Werkt (Knowledge Distillation)

Zodra ze een getraind model hadden (zelfs een licht imperfect model), probeerden ze het te verkleinen.

Het Resultaat: Ze slaagden erin het grote model te comprimeren tot een klein model dat 74,5% kleiner en twee keer zo snel was.
De Analogie: Denk aan het grote model als een enorme, zware bibliotheek. Het inkrimpelingsproces is als het condenseren van die bibliotheek tot een enkele, lichtgewicht zakgids. De zakgids is veel sneller mee te dragen en te lezen, en weet toch bijna alles wat de bibliotheek wist.
De Les: Het verkleinen van het model werkt geweldig als het oorspronkelijke docent-model goed was.

Bevinding #3: De "Magische Truc" Illusie (Een Grote Waarschuwing)

Dit is de belangrijkste ontdekking van het artikel. De auteurs ontdekten een valstrik in hoe mensen deze gecombineerde systemen gewoonlijk testen.

De Valstrik:
Wanneer men het "verkleinde" model test, gebruiken veel onderzoekers een gelabeld spiekbriefje (een set gegevens met de juiste antwoorden) om de student te helpen leren.

De Illusie: Als het "docent"-model (dat via de privacy-bewarende methode is getraind) verschrikkelijk was (ingestort naar bijna willekeurig gokken), kon het "student"-model nog steeds 99% nauwkeurigheid halen.
Waarom? De student leerde eigenlijk niet van de verschrikkelijke docent. De student negeerde de docent en memoriseerde simpelweg het spiekbriefje (de labels) dat tijdens het inkrimpelingsproces werd aangeboden.
De Metafoor: Stel je een student voor die een toets maakt. De docent is in slaap gevallen en geeft slecht advies. Maar de student mag tijdens de toets op het antwoordmodel kijken dat op de tafel ligt. De student haalt 100% voor de toets, maar dat komt niet omdat hij iets van de docent heeft geleerd; het komt omdat hij heeft gespiekt met het antwoordmodel.
Het Gevaar: In een echte wereld setting (zoals het ziekenhuis), als je deze methode gebruikt, kun je denken dat je privacy-bewarende systeem perfect werkt (100% nauwkeurigheid), terwijl in werkelijkheid je privacy-systeem volledig heeft gefaald en het model simpelweg de antwoorden aan het memoriseren is die het juist moest beschermen.

De Oplossing:
Het artikel adviseert een "Label-Free" test. Wanneer je het model inkrimpt, geef de student dan niet het antwoordmodel (de labels). Dwing de student om alleen op de docent te vertrouwen.

Als je dit doet, daalt de score van de student om overeen te komen met de score van de docent. Als de docent faalde, faalt de student ook. Dit geeft je een eerlijk rapportcijfer over of het privacy-systeem daadwerkelijk heeft gewerkt.

Samenvatting

Privacy + 3D is moeilijk: Het trainen van 3D-modellen zonder data te delen veroorzaakt een grote daling in prestaties, en sommige populaire methoden falen volledig.
Inkrimpen werkt: Je kunt de modellen veel kleiner en sneller maken zonder veel nauwkeurigheid te verliezen.
Laat je niet misleiden: Als je het verkleinde model test met de juiste antwoorden (labels), kun je denken dat het systeem perfect is, zelfs wanneer de privacy-training is mislukt. Je moet testen zonder het antwoordmodel om de waarheid te kennen.

De auteurs hebben hun code en alle 504 testruns online beschikbaar gesteld zodat anderen deze resultaten kunnen verifiëren en betere, veiligere 3D AI-systemen kunnen bouwen.

Technische Samenvatting: Benchmarking van Federated Learning & Knowledge Distillation voor Point Cloud Classificatie

Probleemstelling

De implementatie van 3D point cloud-analyse in privacygevoelige (bijv. medische beeldvorming) en hulpbron-beperkte omgevingen (bijv. edge-apparaten) staat voor twee gekoppelde barrières:

Data Privacy: Ruwe sensordata kan niet gecentraliseerd worden vanwege regelgevende of competitieve beperkingen, wat de noodzaak creëert voor Federated Learning (FL), waarbij modellen over cliënten worden getraind zonder ruwe data uit te wisselen. De prestaties van FL verslechteren echter vaak aanzienlijk onder statistische heterogeniteit (non-IID data), met name wanneer cliënten over disjuncte subsets van klassenlabels beschikken.
Computationele Efficiëntie: Volledige 3D-modellen (bijv. PointNet++) zijn vaak te groot voor edge-hardware. Knowledge Distillation (KD) biedt een oplossing door een groot "teacher"-model te comprimeren naar een kleiner "student"-model.

Hoewel zowel FL als KD afzonderlijk goed bestudeerd zijn, ontbreekt een systematische, reproduceerbare benchmark die hun gecombineerde pijplijn voor 3D point cloud-classificatie evalueert. Het is specifiek onduidelijk hoe KD-doelstellingen interageren met federated teachers onder extreme non-IID condities, en of de gerapporteerde nauwkeurigheid van een gecomprimeerde student werkelijk de kwaliteit van het onderliggende federated model reflecteert of slechts de proxy-labels die tijdens distillatie worden gebruikt.

Methodologie

De auteurs presenteren een multi-seed benchmark die de kruisproductevaluatie uitvoert van 13 Federated Learning-algoritmen en 10 Knowledge Distillation-doelstellingen over twee datasets:

Datasets:
- ModelNet40: Een 40-klassen benchmark die wordt gebruikt om de federated degradatie te karakteriseren en pijplijn-pitfalls te isoleren tegen een sterke gecentraliseerde referentie.
- Clinical Craniosynostosis Dataset: Een real-world dataset van patiëntenschedelvormen (4 klassen) die een privacy-kritisch scenario vertegenwoordigt waarbij de gecentraliseerde taak in essentie is opgelost (100% nauwkeurigheid), wat een ondubbelzinnige meting van de kwaliteit van de teacher mogelijk maakt.
Non-IID Setup: Er wordt een worst-case label-skew partitioneringsstrategie gehanteerd waarbij de trainingsdata per klasse wordt gesorteerd en verdeeld in vijf disjuncte segmenten, waarbij elke cliënt een unieke subset van klassen krijgt toegewezen.
Architecturen:
- Teacher: PointNet++ met Single-Scale Grouping (SSG).
- Student: Een compacte variant (SmallPointNet2) met 74,51% minder parameters.
Pijplijn: Een tweestaps proces:
1. Stage 1 (FL): Train een federated teacher op de non-IID partitie met behulp van één van de 13 algoritmen.
2. Stage 2 (KD): Distilleer het beste federated checkpoint naar het student-model met behulp van een gecentraliseerde proxy-dataset en één van de 10 KD-doelstellingen.
Evaluatieschaal: De benchmark omvat 504 trainingsruns over drie willekeurige seeds, wat de volledige 130-paar teacher-objective grid op de klinische dataset dekt.

Belangrijkste Bijdragen

Benchmark Design: De eerste systematische evaluatie van het volledige kruisproduct van FL-algoritmen en KD-doelstellingen voor 3D point clouds, inclusief een gestandaardiseerd multi-seed protocol en een open-source framework.
Gekwantificeerde Degradatie onder Label Skew: De studie toont aan dat standalone FL scherp degradeert onder extreme label skew. Op ModelNet40 bereikt de beste FL-methode (FedNova) slechts 76,32% vergeleken met een 92,26% gecentraliseerde baseline. Op de klinische dataset bereikt de beste (FedProx) 75,83% tegenover 100%. Opvallend genoeg zakken vier server-side optimizers (FedAvgM, FedAdam, FedYogi, FedAdagrad) naar bijna toevalsniveau op beide datasets. Geen enkel algoritme is universeel robuust; rangschikkingen zijn dataset-afhankelijk.
Effectieve Compressie: Distillatie slaagt erin de teacher te comprimeren tot een student die ~74,5% kleiner is en ongeveer twee keer zo snel is tijdens inferentie. Onder een sterke gecentraliseerde teacher evenaren of overtreffen vijf van de zeven geëvalueerde doelstellingen de nauwkeurigheid van de teacher.
Diagnose van de Gecombineerde Pijplijn Pitfall: Het papier identificeert een kritiek evaluatie-artefact:
- De Illusie: KD-doelstellingen die een hard-label cross-entropy term behouden (gebruikmakend van ground-truth labels van de proxy-dataset) kunnen de student-nauwkeurigheid herstellen naar bijna gecentraliseerde niveaus (bijv. ~92-100%), zelfs wanneer de federated teacher is ingestort (bijv. naar 8,5% nauwkeurigheid).
- Het Mechanisme: De hard-label term stelt de student in staat om direct van de proxy-labels te leren, waardoor de kennis van de federated teacher effectief wordt omzeild. Dit maskeert het falen van de FL-fase en hergebruikt precies de labels die de federatie bedoeld was te beschermen.
- De Oplossing: Doelstellingen zonder een hard-label term (pure transfer doelstellingen zoals Feature KD, Attention Transfer, RKD en SP) volgen de kwaliteit van de teacher perfect (correlatie $r \approx 0,99$ ). Als de teacher instort, stort de student in.

Resultaten

FL Prestaties: Onder extreme non-IID skew is hiërarchische 3D feature extractie zeer gevoelig. Server-side adaptieve optimizers zijn bijzonder fragiel, waarschijnlijk door slecht geconditioneerde second-moment schattingen op heterogene updates.
KD Prestaties:
- Met Hard Labels: De student-nauwkeurigheid is ontkoppeld van de teacher-kwaliteit. Een ingestorte teacher (8,5%) gekoppeld aan Logit-MSE levert een 92,94% student op, een gat van 84,4 punten gedreven door de proxy-labels.
- Zonder Hard Labels: De student-nauwkeurigheid correleert lineair met de teacher-kwaliteit. Een ingestorte teacher leidt tot een ingestorte student.
Klinische Validatie: De "recovery illusion" houdt stand op echte patiëntgegevens. Een met hard-labels gedistilleerde student behaalde ~100% nauwkeurigheid van een federated teacher die op toevalsniveau presteerde, terwijl label-vrije distillatie het falen van de teacher correct rapporteerde.

Betekenis en Claims

Het artikel claimt dat de gecombineerde FL-KD pijplijn een specifieke evaluatie-pitfall introduceert waarbij de gerapporteerde nauwkeurigheid de proxy-labels reflecteert in plaats van de capaciteit van het federated model. De auteurs stellen dat:

Huidige evaluaties zijn misleidend: Het rapporteren van een hoge nauwkeurigheid voor een gecomprimeerde student garandeert niet dat de federated teacher functioneel is als de distillatie-loss een hard-label term bevat.
Aanbeveling: FL-KD pijplijnen moeten worden geëvalueerd met behulp van label-vrije distillatie (het verwijderen van de cross-entropy term of het gebruik van een ongelabelde proxy-split). Dit zorgt ervoor dat de gerapporteerde nauwkeurigheid werkelijk de kwaliteit van de federated teacher weerspiegelt.
Brede Impact: Deze benchmark biedt een robuuste basis voor het bevorderen van privacy-beschermende, edge-deploybare 3D point cloud systemen, waarbij wordt benadrukt dat algoritme-selectie voor FL dataset-afhankelijk is en dat compressiestrategieën zorgvuldig moeten worden ontworpen om het maskeren van federated falen te voorkomen.

De auteurs geven expliciet aan dat hun studie beperkt is tot specifieke architecturen (PointNet++ SSG) en één extreme non-IID regime (disjoint label skew), waarbij het gedrag van transformer-gebaseerde backbones en zachtere partitioneringsstrategieën open vragen blijven voor toekomstig werk.