FedSCS-XGB -- Federated Server-centric surrogate XGBoost for continual health monitoring

Dit paper introduceert FedSCS-XGB, een nieuw federatief leerprotocol voor XGBoost dat de prestaties van gecentraliseerd trainen bijna bereikt (met een gap onder de 1%) bij het continu monitoren van de gezondheid via draagbare sensoren, terwijl het de structurele voordelen van XGBoost behoudt.

De kern

FedSCS-XGB: Een slimme manier om gezondheid te bewaken zonder privacy te schenden

Stel je voor dat je een team van 800 slimme detectives hebt, elk met hun eigen notitieboekje. Ze proberen samen een geheim te kraken: hoe herkennen we precies wat een persoon aan het doen is (lopen, zitten, eten) op basis van sensoren in hun kleding?

Het probleem is dat ze hun notitieboeken niet mogen laten zien aan elkaar of aan een centrale leider. Dat zou te veel privégevoeligheden onthullen. Ze moeten samenwerken zonder hun eigen data te delen.

Dit is precies wat deze wetenschappers hebben bedacht met FedSCS-XGB. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Geheime Notitieboeken"

Mensen met een dwarslaesie (ruggegrondsletsel) dragen vaak sensoren om hun gezondheid te monitoren. Deze sensoren weten heel veel: wanneer ze opstaan, of ze een zere plek hebben, of hun bloeddruk daalt.

• De uitdaging: Als al deze sensoren hun data naar één grote computer sturen, is dat een groot privacy-risico.
• De oplossing: We willen een slim computerprogramma (een AI) dat leert van alle sensoren samen, maar waarbij de sensoren hun eigen data thuis houden.

2. De Oplossing: Een "Gastheer" en zijn "Gasten"

De auteurs hebben een nieuw systeem bedacht dat lijkt op een vergadering met een heel slimme gastheer (de server) en zijn gasten (de sensoren/patiënten).

In plaats van dat de gasten hun hele notitieboekje meenemen, doen ze het zo:

• Stap 1: De Schatting (De "Schets")
  De gastheer vraagt: "Wie heeft er ongeveer hoeveel mensen die 'lopen'?" De gasten sturen geen namen of specifieke data, maar alleen een schatting (een schets) van de verdeling. Denk aan het zeggen: "Bij mij is 30% van de tijd het lopen, en 70% zitten." Ze gebruiken een slimme truc (een 'DDSketch') om dit compact en veilig te doen.
• Stap 2: De Globale Kaart
  De gastheer verzamelt al deze schetsen en maakt er één grote, perfecte kaart van. Hij weet nu precies waar de grenzen liggen tussen "lopen" en "zitten" voor de hele groep.
• Stap 3: De Actie (De "Atomen")
  Nu de gastheer de kaart heeft, stuurt hij die terug. De gasten kijken nu in hun eigen notitieboekje en zeggen: "Ah, mijn data valt precies in dit vakje op de kaart." Ze sturen alleen een getal terug: "In dit vakje heb ik 10 keer 'lopen' gezien."
• Stap 4: Het Leren
  De gastheer gebruikt deze getallen om het slimme programma (de AI) te verbeteren. Hij bouwt een "beslissingsboom" (een soort stroomdiagram) die steeds slimmer wordt.

3. Waarom is dit zo speciaal? (De "XGBoost" Magie)

De meeste AI-systemen gebruiken zware neurale netwerken (zoals een enorme hersenstroom). Dit systeem gebruikt XGBoost.

• De Analogie: Stel je voor dat neurale netwerken een complex, duizelig labyrint zijn. XGBoost is meer als een slimme boom met takken. Je loopt een tak op, maakt een keuze (ja/nee), en komt bij een ander takje.
• Het voordeel: Deze "boom" is heel snel, makkelijk te begrijpen (je weet precies waarom de AI een beslissing nam) en werkt perfect op kleine apparaten zoals een horloge of sensor.

4. Wat hebben ze bewezen?

De wetenschappers hebben getoond dat hun nieuwe methode (FedSCS-XGB) bijna exact even goed werkt als een systeem dat alle data op één plek zou hebben verzameld (wat niet mag).

• Ze vergeleken het met een andere bekende methode (PAX).
• Het resultaat: Hun methode was nauwkeuriger en stabieler. Het verschil met de "ideale" centrale versie was minder dan 1%. Dat is alsof je een racewagentje bouwt dat 99% zo snel is als de Formule 1-auto, maar dan zonder dat je de motor hoeft te stelen.

5. Waarom is dit belangrijk voor de toekomst?

Voor mensen met een dwarslaesie betekent dit dat:

1. Privacy gewaarborgd blijft: Je hoeft je sensordata niet te delen.
2. Betere zorg: Het systeem leert van iedereen, dus het wordt slimmer in het detecteren van gevaarlijke situaties (zoals een val of een doorligwond) voor jou persoonlijk.
3. Toekomstbestendig: Het werkt goed op de kleine, batterij-aangedreven sensoren die mensen echt dragen, in plaats van zware servers.

Kortom:
Deze paper introduceert een manier waarop sensoren samenwerken als een goed georganiseerd team. Ze delen geen geheimen, maar wel de patronen die ze zien. Hierdoor krijgen we een super-slimme, privacy-vriendelijke assistent die mensen helpt om gezonder en veiliger te leven.

Technische samenvatting

Probleemstelling

Mensen met een dwarslaesie (Spinal Cord Injury, SCI) lopen levenslang risico op secundaire gezondheidsproblemen zoals drukzweren en bloeddrukinstabiliteit. Continue monitoring via draagbare sensoren kan deze risico's helpen mitigeren door vroegtijdige detectie. Echter, het trainen van modellen voor Menselijke Activiteitsherkenning (HAR) op deze data stuit op twee grote obstakels:

1. Privacy en Data Governance: De data is uiterst gevoelig (gedrag en gezondheid) en mag niet centraal worden verzameld.
2. Data Heterogeniteit: Data van verschillende gebruikers is niet-IID (niet-identiek en onafhankelijk verdeeld) en vaak gefragmenteerd.

Bestaande Federated Learning (FL) methoden richten zich voornamelijk op neurale netwerken, die rekenintensief zijn en minder interpreteerbaar. XGBoost (Gradient-Boosted Decision Trees) is ideaal voor randapparatuur (edge devices) vanwege zijn voorspelbare complexiteit en interpreteerbaarheid, maar de standaardtraining vereist toegang tot het volledige, gecentraliseerde dataset. Er is een gat in de literatuur voor een efficiënt, privacy-bewust FL-protocol dat de specifieke voordelen van XGBoost behoudt in een gedistribueerde omgeving.

Methodologie: FedSCS-XGB

De auteurs stellen FedSCS-XGB (Federated Server-Centric Surrogate XGBoost) voor, een nieuw protocol dat is geïnspireerd op Party-Adaptive XGBoost (PAX), maar met een sterkere focus op het behoud van de oorspronkelijke XGBoost-structuur.

Kernprincipes:

• Server-Centrische Benadering: In tegenstelling tot PAX, waar client-specifieke surrogate-representaties worden gebruikt, bepaalt de server de globale histogram-randen (bin edges) en sturen de clients alleen samenvattingen van hun data.
• Twee Fasen Protocol:
  1. Sketch-fase: Clients sturen mergebare DDSketches (quantile sketches) gewogen door de Hessiaan (diagonaal) van de verliesfunctie. De server merge deze sketches om globale bin-randen te bepalen.
  2. Atom-fase: Clients kwantiseren hun data op basis van de ontvangen globale randen. Ze aggregaten vervolgens voldoende statistieken (gewicht $W$, gradiënt $G$, Hessiaan $H$) per "atom" (combinatie van binned features) en sturen deze naar de server.
• Multiclass Ondersteuning: Het protocol ondersteunt softmax-classificatie voor meerdere klassen door per boosting-rondje één boom per klasse te laten groeien (XGBoost tree group semantics).
• Convergentiebewijs: De auteurs leveren een theoretische analyse die aantoont dat, onder bepaalde aannames (zoals beperkte afgeleiden en nauwkeurige sketches), het gedistribueerde protocol convergeert naar dezelfde oplossing als centraal getrainde XGBoost. De foutmarge hangt af van de nauwkeurigheid ($\alpha$) van de sketches.

Belangrijkste Bijdragen

1. Analyse van DML-eisen: Een fundamentele analyse van de vereisten voor distributed machine learning in de context van levenslange gezondheidsmonitoring.
2. Ontwerp van FedSCS-XGB: Een nieuw protocol dat de kernmechanismen van XGBoost (histogram-bouw en split-vindprocessen) behoudt, in plaats van het model aan te passen aan protocolbeperkingen.
3. Theoretische Convergentie: Een wiskundig bewijs dat het protocol convergeert naar de centrale XGBoost-doelfunctie bij voldoende nauwkeurige sketches.
4. Empirische Evaluatie: Een uitgebreide evaluatie op een realistisch HAR-dataset voor SCI-patiënten, vergeleken met centraal XGBoost en de bestaande PAX-methode.

Resultaten

Het protocol is getest op een dataset van 8 personen met 16 klinisch relevante activiteiten (zoals rolstoelgebruik, transfers, ligposities) met 44.358 datavensters.

• Prestatie: FedSCS-XGB presteert zeer dicht bij de centrale XGBoost-baseline (een prestatiekloof van minder dan 1%).
• Vergelijking met PAX: FedSCS-XGB overtreft de PAX-methode consistent in zowel nauwkeurigheid als F1-score, vooral bij heterogene data en onbalans tussen klassen.
• Stabiliteit: De methode toont hogere stabiliteit over verschillende clients heen, wat wijst op betere robuustheid tegenover data-heterogeniteit.
• Bin-grootte: De prestaties zijn stabiel bij verschillende histogram-groottes (64 tot 512 bins), wat suggereert dat globale uitlijning cruciaal is, maar dat extreem grote binnengroottes niet per se leiden tot betere resultaten.

Betekenis en Conclusie

FedSCS-XGB is een doorbraak voor privacy-bewuste, continue gezondheidsmonitoring. Het bewijst dat complexe boom-gebaseerde modellen zoals XGBoost efficiënt en nauwkeurig kunnen worden getraind in een federale setting zonder dat de data het lokale apparaat verlaat.

• Interpreteerbaarheid: In tegenstelling tot veel FL-methoden die op neurale netwerken zijn gebaseerd, behoudt FedSCS-XGB de interpreteerbare "split"-logica van bomen, wat essentieel is voor medische toepassingen.
• Toepasbaarheid: De methode is bij uitstek geschikt voor real-world scenario's met draagbare sensoren bij SCI-patiënten, waar sensorruis en subject-specifieke bewegingspatronen voorkomen.
• Toekomstperspectief: Hoewel het huidige werk nog geen personalisatie ondersteunt, vormt het een solide basis voor toekomstige uitbreidingen naar longitudinale datasets en gepersonaliseerde modellen voor revalidatie.

Samenvattend biedt FedSCS-XGB een schaalbare, energie-efficiënte en privacy-bewuste oplossing voor het trainen van state-of-the-art HAR-modellen in de federale leeromgeving.