FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

In het uitgestrekte, onderling verbonden web van moderne communicatie vindt een stille revolutie plaats in de manier waarop computers leren. Traditioneel worden systemen voor kunstmatige intelligentie getraind door enorme hoeveelheden data te verzamelen op één centrale locatie, waar algoritmen miljoenen voorbeelden bestuderen om patronen te vinden. Deze aanpak roept echter ernstige zorgen op over privacy en beveiliging, omdat het vereist dat gevoelige persoonlijke informatie van telefoons, medische apparaten en privéservers naar een centrale hub wordt verplaatst. Om dit op te lossen, hebben onderzoekers een methode ontwikkeld genaamd federated learning (gefederd leren), die het mogelijk maakt dat veel verschillende apparaten samen leren zonder ooit hun ruwe data te delen. In plaats van de data zelf te sturen, sturen de apparaten alleen de lessen die ze hebben geleerd—wiskundige updates die beschrijven wat ze hebben gezien. Dit houdt privéinformatie lokaal, terwijl er nog steeds een globale intelligentie kan ontstaan uit de collectieve inspanning.

Toch staat dit collaboratieve proces voor een hardnekkig obstakel: de data op elk apparaat is zelden in balans. De telefoon van de één kan vol staan met foto's van katten, terwijl die van een ander alleen maar afbeeldingen van auto's bevat. Wanneer deze apparaten proberen een gedeeld model te onderwijzen, hebben degenen met een overvloed aan data voor bepaalde categorieën de neiging om het gesprek te domineren, waardoor het model een expert wordt in die specifieke gebieden terwijl het de zeldzame of ontbrekende categorieën negeert. Deze onbalans creëert een blinde vlek, waardoor het systeem zelfverzekerde maar onjuiste gissingen doet over de dingen die het nog nooit heeft gezien. De uitdaging wordt groter wanneer de apparaten proberen te leren van een gedeelde pool van ongelabelde afbeeldingen—foto's zonder identificerende labels—wat vaak noodzakelijk is om de privacy te beschermen. Zonder te weten wat de ware antwoorden zijn voor deze gedeelde afbeeldingen, worstelt de centrale server met het corrigeren van de vooroordelen die door de individuele apparaten worden geïntroduceerd, wat leidt tot een globaal model dat scheefgetrokken en onbetrouwbaar is.

Een team van onderzoekers heeft een nieuwe aanpak voorgesteld om dit probleem op te lossen, waarbij ze een systeem introduceren dat ze FedCC noemen. Hun werk richt zich op een specifiek type collaboratief leren waarbij apparaten hun voorspellingen delen in plaats van hun interne instellingen. In deze opstelling kijkt elk apparaat naar een set publieke, ongelabelde afbeeldingen en stuurt een lijst met waarschijnlijkheden terug die aangeven wat het denkt dat elke afbeelding is. Het probleem ontstaat wanneer een apparaat, dat slechts enkele soorten afbeeldingen heeft gezien, gedwongen wordt om over alles een gok te wagen. Als een apparaat alleen maar foto's van honden heeft gezien, zal het met vertrouwen een kat als een hond identificeren, en als veel apparaten dit doen, aggregeert de centrale server deze fouten tot één enkele, gebrekkige conclusie. De onderzoekers realiseerden zich dat de oplossing niet was om elk apparaat te dwingen een gok te doen, maar om hen toestemming te geven toe te geven wanneer ze het niet zeker weten.

De kerninnovatie van FedCC is de introductie van een "onbekend"-categorie. In traditionele systemen moet een apparaat een bekende klasse kiezen, zoals "hond", "kat" of "auto", zelfs als de afbeelding iets is dat het nog nooit is tegengekomen. FedCC verandert de regels door apparaten toe te staan een verwarrende of onbekende afbeelding als "onbekend" te labelen. Deze eenvoudige toevoeging fungeert als een veiligheidsventiel. Wanneer een apparaat een afbeelding tegenkomt die buiten zijn beperkte ervaring valt, kan het deze aan deze nieuwe, allesomvattende categorie toewijzen in plaats van een foutief antwoord te forceren. Dit voorkomt dat het apparaat valse zelfverzekerdheid injecteert in de collectieve kennis van de groep. Door te erkennen wat het niet weet, beschermt het apparaat de groep tegen misleiding door zijn eigen nauwe perspectief.

Om dit werkend te krijgen, hebben de onderzoekers een proces ontworpen waarbij apparaten eerst leren van hun eigen privédata en vervolgens een gedeelde set ongelabelde afbeeldingen gebruiken om hun begrip te verfijnen. Tijdens deze verfijning berekent het systeem hoe zelfverzekerd het apparaat is in zijn voorspellingen. Als het apparat zeer zelfverzekerd is, deelt het zijn gok. Als het onzeker is, leunt het systeem zwaar op de categorie "onbekend". Deze onzekerheid wordt niet behandeld als een falen, maar als een waardevol signaal. De centrale server combineert vervolgens de voorspellingen van alle apparaten, waarbij meer gewicht wordt gegeven aan degenen die zelfverzekerd zijn en minder gewicht aan degenen die onzeker zijn. Cruciaal is dat de server de "onbekend"-tags filtert bij het maken van de uiteindelijke globale les, waardoor wordt gewaarborgd dat de gedeelde kennis alleen wordt gebouwd op betrouwbare, overeengekomen informatie. Deze methode stelt het systeem in staat om effectief te leren, zelfs wanneer de data sterk scheefgetrokken is, wat betekent dat sommige apparaten zeer weinig data voor bepaalde categorieën hebben.

De onderzoekers hebben deze methode getest op verschillende standaard beelddatasets, inclusief collecties van alledaagse objecten en dieren, onder omstandigheden waarin de data zeer ongelijkmatig verdeeld was. In de meest extreme test simuleerden zij een scenario waarin elk van de tien apparaten afbeeldingen bezat van slechts één enkele klasse uit tien mogelijke categorieën. In deze harde omgeving stortten bestaande methoden in, waarbij hun nauwkeurigheid daalde tot bijna willekeurig gokken, vaak onder de twaalf procent. In contrast hiermee behield het FedCC-systeem een robuuste nauwkeurigheid van 67,3 procent. Dit resultaat demonstreert dat door apparaten de ruimte te geven om af te zien van het forceren van fouten, het systeem als geheel aanzienlijk nauwkeuriger wordt. De kloof tussen FedCC en andere methoden werd groter naarmate de data ongebalanceerder werd, wat bewijst dat de aanpak bijzonder effectief is wanneer de uitdaging het grootst is.

Naast het verbeteren van het uiteindelijke globale model, toonde de studie aan dat deze aanpak ook de individuele apparaten hielp. Door te leren hun eigen beperkingen te herkennen en onzekere monsters als "onbekend" te labelen, werden de apparaten beter in het identificeren van de zeldzame categorieën die ze zouden moeten leren. Het systeem fungeerde effectief als een regularisator, wat voorkwam dat de modellen overmoedig werden in de klassen die ze goed kenden en de klassen die ze niet kenden negeerden. Visuele analyse van de data liet zien dat de modellen getraind met FedCC de verschillende categorieën duidelijk en gescheiden hielden, terwijl andere methoden de neiging hadden om ze met elkaar te vermengen. Deze helderheid suggereert dat de "onbekend"-categorie dient als een buffer die de ruis en verwarring absorbeert die normaal gesproken het collaboratieve leren ontwrichten.

De bevindingen suggereren dat in een wereld van diverse en gefragmenteerde data, het toegeven van onwetendheid een krachtig instrument is voor leren. Door het doel te verschuiven van het forceren van een voorspelling naar het toestaan van onzekerheid, biedt FedCC een eenvoudige maar effectieve manier om meer betrouwbare en eerlijke systemen voor kunstmatige intelligentie te bouwen. De methode vereist geen complexe nieuwe infrastructuur of het delen van privédata; het verandert simpelweg hoe apparaten hun zelfverzekerdheid communiceren. Naarmate netwerken van apparaten blijven groeien en de data die zij bevatten steeds gevarieerder wordt, zullen technieken die deze onbalansen kunnen afhandelen zonder de privacy op te offeren essentieel worden. FedCC biedt een duidelijk pad vooruit, waarbij wordt aangetoond dat de beste manier om te leren soms is om te weten wanneer je moet zeggen: "Ik weet het niet."