💬 NLP

FedMentor: Domain-Aware Differential Privacy for Heterogeneous Federated LLMs in Mental Health

FedMentor is een privacy-bewarend federated fine-tuning framework dat Low-Rank Adaptation (LoRA) combineert met domeinbewuste Differential Privacy om de veilige, efficiënte en hoogwaardige adaptatie van Large Language Models voor mentale gezondheidstoepassingen over heterogene cliënten heen mogelijk te maken.

Oorspronkelijke auteurs: Nobin Sarwar, Shubhashis Roy Dipta

Gepubliceerd 2026-01-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nobin Sarwar, Shubhashis Roy Dipta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep therapeuten voor, die elk in een andere buurt werken en die samen één superintelligente AI-assistent willen bouwen om mensen met mentale gezondheidsproblemen te helpen. Ze hebben echter allemaal privé-dagboeken (data) van hun cliënten, maar ze kunnen deze dagboeken niet delen vanwege strikte privacywetgeving en de noodzaak om de geheimen van cliënten te bewaken.

Dit is het probleem dat FedMentor oplost. Het is een slimme manier voor deze therapeuten om van elkaars ervaringen te leren zonder dat ze ooit de privé-dagboeken daadwerkelijk aan elkaar overhandigen.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. De "Gespecialiseerde Notitieblokken" (LoRA)

Normaal gesproken is het trainen van een slimme AI als het proberen te herschrijven van een hele encyclopedie telkens wanneer je iets nieuws leert. Dat duurt eeuwig en vereist enorme computers.

FedMentor gebruikt een truc genaamd LoRA (Low-Rank Adaptation). Stel je voor dat je, in plaats van de hele encyclopedie te herschrijven, alleen een klein "spiekbriefje" ter grootte van een post-it (een adapter) schrijft met je specifieke inzichten.

Het voordeel: Deze spiekbriefjes zijn piepklein. Ze zijn zo klein dat zelfs een standaard laptop (of een enkele grafische kaart) ze aankan. Dit betekent dat de AI getraind kan worden op kleinere, minder krachtige apparaten, wat het praktisch maakt voor echt wereldgebruik.

2. De "Ruismachine" (Differential Privacy)

Zelfs als therapeuten alleen hun spiekbriefjes delen, zou een sluwe waarnemer nog steeds kunnen raden wat een specifieke cliënt heeft geschreven door naar de aantekeningen te kijken. Om dit te voorkomen, gebruikt FedMentor Differential Privacy.

Denk hierbij aan een statische ruismachine. Voordat een therapeut zijn spiekbriefje naar de centrale server stuurt, haalt hij het door een machine die een beetje "statische ruis" of "mist" aan de aantekeningen toevoegt.

De magie: Deze statische ruis is zo perfect berekend dat de algemene les die de AI leert accuraat blijft, maar het wordt wiskundig onmogelijk om te achterhalen welke specifieke aantekening van welke specifieke cliënt kwam. Het is als het luisteren naar een koor: je kunt de mooie harmonie horen (de nuttige kennis), maar je kunt de stem van een individuele zanger niet onderscheiden (de privédata).

3. De "Slimme Budgettering" (Domain-Aware Privacy)

Niet alle buurten hebben hetzelfde risiconiveau. Sommige cliënten bevinden zich in een crisis (hoge gevoeligheid), terwijl anderen gewoon over hun dag praten (lagere gevoeligheid).

FedMentor is "domeinbewust". Het werkt als een slimme budgetbeheerder:

Gebieden met een hoog risico: Voor de meest gevoelige onderwerpen (zoals zelfbeschadiging) voegt het systeem meer statische ruis toe. Het is alsoك een dikkere laag mist over die specifieke aantekeningen leggen om maximale geheimhouding te garanderen.
Gebieden met een lager risico: Voor minder gevoelige onderwerpen voegt het minder ruis toe, zodat de AI duidelijker kan leren.
Het vangnet: Als de AI door de ruis te verward raakt en de antwoorden van slechte kwaliteit worden, past het systeem de statische ruis automatisch een klein beetje aan om de kwaliteit hoog te houden, maar nooit genoeg om de privacy te schenden.

4. De Resultaten: Veilig, Slim en Efficiënt

De onderzoekers hebben dit systeem getest op drie verschillende mentale gezondheidsdatasets (zoals verschillende soorten therapiedagboeken). Dit is wat ze ontdekten:

Veiligere antwoorden: De AI die getraind is met FedMentor was veel beter in het vermijden van giftige of schadelijke reacties. In één test steeg het percentage "veilige" antwoorden met ongeveer 2%, en nam de "toxiciteit" (slecht taalgebruik) aanzienlijk af.
Net zo slim: Ondanks alle privacy-ruis was de AI bijna net zo slim als een AI die getraind is op alle data tegelijk (wat meestal de "gouden standaard" is). Het verloor nauwelijks het vermogen om taal te begrijpen of vragen correct te beantwoorden.
Lichtgewicht: Omdat ze alleen de kleine "spiekbriefjes" deelden in plaats van de hele AI-hersenen, was de hoeveelheid data die heen en weer werd gestuurd piepklein (minder dan 173 MB per ronde). Dit betekent dat het werkt, zelfs op apparaten met beperkt internet of geheugen.

De Kernboodschap

FedMentor is een praktisch blauwdruk voor het bouwen van AI voor de geestelijke gezondheidszorg die de privacy respecteert. Het stelt verschillende groepen in staat om samen te werken en een veiligere, slimmere tool te bouwen zonder ooit de privé, gevoelige verhalen van de mensen te helpen die zij proberen te ondersteunen te onthullen. Het bewijst dat je niet hoeft te kiezen tussen privacy en prestaties; je kunt beide hebben.

Technische Samenvatting: FedMentor

Probleemstelling

De implementatie van Large Language Models (LLM's) voor mentale gezondheidsapplicaties staat voor een kritieke triade van uitdagingen: strikte privacyvereisten (bijv. HIPAA, GDPR), de heterogeniteit van gebruikersgegevens over verschillende klinische domeinen heen, en de computationele beperkingen in middelenarme zorgomgevingen. Traditionele gecentraliseerde training is vaak onhaalbaar vanwege de gevoeligheid van mentale gezondheidsgegevens, die expliciete signalen van zelfbeschadiging of klinische signalen kunnen bevatten die sterke vertrouwelijkheid vereisen. Bovs de huidige Federated Learning (FL) benaderingen worstelen vaak met non-IID (niet-onafhankelijke en niet-identiek verdeelde) datashifts over domeinen heen en falen ze in het bieden van fijnmazige privacygaranties die zijn afgestemd op specifieke gegevensgevoeligheden. Er is behoefte aan een framework dat het collaboratief finetunen van LLM's mogelijk maakt terwijl de privacy van de gebruiker wordt gewaarborgd, de bruikbaarheid van het model behouden blijft en de communicatie-efficiëntie op edge-apparaten wordt gegarandeerd.

Methodologie: FedMentor

De auteurs stellen FedMentor voor, een federated fine-tuning framework dat specifiek is ontworpen voor heterogene mentale gezondheidsdomeinen. Het framework integreert drie kerncomponenten:

Federated Low-Rank Adaptation (LoRA): In plaats van volledige modelgewichten te verzenden, bevriest FedMentor de globale LLM-backbone en traint en communiceert het alleen lichtgewicht LoRA-adapters. Dit vermindert de communicatie-overhead en de geheugenvereisten aanzienlijk, waardoor het trainen van modellen met tot 1,7 miljard parameters op single-GPU clients mogelijk wordt.
Domain-Aware Differential Privacy (DP): Erkenning dat verschillende mentale gezondheidsdatasets verschillende niveaus van gevoeligheid bezitten, wijst FedMentor verschillende privacybudgetten ( $\epsilon, \delta$ $ϵ, δ$ ) toe aan elk client-domein.
- Budgettoewijzing: Domeinen met een hoge gevoeligheid (bijv. Interpersonal Risk Factors) ontvangen striktere budgetten (lagere $\epsilon$ ), terwijl domeinen met een lagere gevoeligheid lossere budgetten ontvangen.
- Ruiscalibratie: Het framework gebruikt een laag- en adapterbewerkingsmechanisme voor ruisinjectie. Het schaalt Gaussische ruis op basis van de netwerklaag (vroeg versus laat) en de specifieke LoRA-matrix (A versus B), waarbij wordt erkend dat vroege lagen en LoRA-A matrices gevoeliger zijn voor perturbatie.
Adaptive Utility-Privacy Feedback Loop: Om te voorkomen dat excessieve privacyruis de prestaties van het model verslechtert, monitort de server proxy-bruikbaarheidsmetrieken (bijv. BERTScore, Safe Rate). Als de geaggregeerde bruikbaarheid onder een vooraf gedefinieerde drempelwaarde ( $\tau$ ) valt, vermindert de server adaptief de ruisschaal voor opeenvolgende rondes, waarbij dynamisch een afweging wordt gemaakt tussen privacy-strengheid en klinische bruikbaarheid.

De trainingspipeline omvat het trainen van lokale LoRA-adapters op bevroren backbones door clients, het toevoegen van domeinspecifieke Gaussische ruis aan de updates, en het verzenden van deze ruizige adapters naar een centrale server. De server aggregeert updates met behulp van een dataset-gewogen FedAvg-algoritme.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Domain-Aware Private Adaptation: De formulering van een federated LoRA-benadering met per-domein privacybudgetten die gevoelige mentale gezondheidsteksten beschermt terwijl de taakbruikbaarheid behouden blijft. Deze aanpak verhoogt de veiligheidsmetrieken (bijv. het verhogen van de Toxicity Safe Rate) terwijl de bruikbaarheidsmetrieken (BERTScore F1, ROUGE-L) dicht bij de non-private baselines blijven.
Robuustheid tegen Non-IID Heterogeniteit: De demonstratie van stabiele bruikbaarheid en eerlijkheid over diverse datasets (Dreaddit, IRF, MultiWD) zonder domeininstorting. Het adaptieve ruismechanisme zorgt ervoor dat de prestaties behouden blijven, zelfs onder strikte privacybudgetten voor de meest gevoelige domeinen.
Praktische Efficiëntie via Adapters: Door alleen LoRA-adaptergewichten uit te wisselen, bereikt het framework een significante compressie (een reductie van de communicatiekosten met een factor $\approx 10^{-3}$ ), wat de inzet op middelenarme klinische apparaten met single-GPU beperkingen mogelijk maakt.

Experimentele Resultaten

Het framework werd geëvalueerd op drie mentale gezondheidsdatasets (Dreaddit, IRF, MultiWD) en vijf LLM-backbones variërend van 350M tot 1,7B parameters.

Veiligheid en Privacy: FedMentor verbeterde de veiligheid ten opzichte van standaard Federated Learning zonder privacy. Op de MultiWD-dataset steeg de Toxicity Safe Rate (TSR) met 2 procentpunten, en de gemiddelde toxiciteit daalde van 2,92 naar 1,98.
Behoud van Bruikbaarheid: Ondanks de toevoeging van differential privacy bleven de bruikbaarheidsmetrieken binnen 0,5% van de non-private FL-baseline en dicht bij de gecentraliseerde bovengrens. Zo vertoonden BERTScore F1 en ROUGE-L een verwaarloosbare degradatie.
Efficiëntie: Het framework slaagde erin om modellen tot 1,7B parameters te trainen op single-GPU clients. De communicatiekosten werden verminderd tot ongeveer 173 MB per ronde voor het grootste model, waarbij het piekgeheugengebruik binnen de limieten van 80 GB GPU's bleef.
Ablatie-studies: Experimenten bevestigden dat domeinspecifieke budgetten en adaptieve ruis cruciaal zijn. Uniforme privacybudgetten verbeterden de eerlijkheid in veiligheidsresultaten, terwijl statische ruis-schema's leidden tot verminderde veiligheid en een grotere dispariteit tussen clients.

Betekenis en Claims

Het artikel beweert de eerste studie te zijn die domain-aware Differential Privacy combineert met federated LoRA fine-tuning specifiek voor LLM's in de mentale gezondheidszorg. De auteurs positioneren FedMentor als een praktische oplossing voor de "privacy-utility trade-off" die de huidige AI-implementaties in de mentale gezondheidszorg teistert. Door collaboratief leren mogelijk te maken zonder gevoelige gegevens te centraliseren, beoogt het framework het vertrouwen en de klinische toepasbaarheid in hoog-risico domeinen te vergroten.

De auteurs hanteren een bescheiden standpunt met betrekking tot hun claims, waarbij zij beperkingen erkennen zoals het gebruik van Engelstalige social media-datasets (waarbij elke dataset als een enkele client wordt behandeld), de afhankelijkheid van geautomatiseerde veiligheidsmetrieken in plaats van klinische beoordeling, en de afwezigheid van demografische subgroep-audits. Zij merken op dat de studie een specifieke hardware-omgeving (NVIDIA A100) reflecteert en dat toekomstig werk zich zal richten op het opschalen van federaties, het integreren van 'clinician-in-the-loop' benaderingen en het uitvoeren van meertalige evaluaties.