Technische Samenvatting: FedCF: Fair Federated Conformal Prediction

Probleemstelling

Machine learning-modellen vertonen vaak een uiteenlopende prestatie over verschillende demografische subgroepen, wat kan leiden tot vooroordelen die kunnen worden verergerd in kritieke domeinen zoals de gezondheidszorg en de financiële sector. Hoewel Conformal Prediction (CP) rigoureuze, model-agnostische onzekerheidskwantificering biedt met dekkinggaranties bij eindige steekproeven, is standaard CP agnostisch ten opzichte van gevoelige attributen en waarborgt het geen eerlijkheid. Bestaande "Fair Conformal Prediction" (CF) methoden pakken dit aan door voorwaardelijke dekkinggaranties over subgroepen te waarborgen, maar zij vertrouwen op gecentraliseerde toegang tot data.

In Federated Learning (FL) blijft data gedecentraliseerd om privacy te waarborgen, waardoor de toepassing van standaard CF onmogelijk wordt. Bovendien wijst recent werk erop dat de verschuiving naar privacy-bewuste gedecentraliseerde training onbedoeld oneerlijkheid kan verergeren door data-heterogeniteit en variërende capaciteiten van cliënten. De kernuitdaging bestaat uit het uitbreiden van de theoretische garanties van CF naar een federated setting zonder de privacybeperkingen te schenden of excessieve communicatie-overhead te veroorzaken, terwijl rekening wordt gehouden met de non-IID aard van federated data.

Methodologie

De auteurs stellen FedCF (Federated Conformal Fairness) voor, een framework dat het Conformal Fairness (CF) framework aanpast aan de federated setting. De methodologie rust op drie pijlers:

1. Descent-Based Optimalisatie Herformulering

Het oorspronkelijke CF-algoritme maakt gebruik van een grid search over een gediscretiseerde ruimte om de minimale drempelwaarde $\lambda$ te vinden die aan de fairness-restricties voldoet. Dit is inefficiënt in FL vanwege de hoge kosten van communicatierondes. FedCF herformuleert dit als een descent-gebaseerd optimalisatieprobleem. In plaats van een grid search, werkt het algoritme de drempelwaarde $\lambda$ adaptief bij met een momentum-gebaseerde update-regel. Dit stelt het systeem in staat om in aanzienlijk minder communicatierondes te convergeren naar een $\lambda$ die aan de restricties voldoet (gedemonstreerd als een ~10x versnelling in experimenten), terwijl het lokale minima kan vermijden via random restarts.

2. Mixture-of-Clients Coverage Gap Formulering

Om gedecentraliseerde data te verwerken, kan FedCF niet direct de voorwaardelijke dekking schatten die vereist is voor fairness-metrieken. De auteurs introduceren een mixture-of-clients formalisering gebaseerd op de aanname van partiële uitwisselbaarheid (partial exchangeability). Ze deconstrueren de globale fairness-specifieke dekking ($\Pi_{cov}$) in vier termen:

• Termen I & II: Worden lokaal berekend door elke cliënt op basis van hun kalibratiedata en de specifieke groep-label paren.
• Term III: De waarschijnlijkheid dat een testpunt uitwisselbaar is met de data van een specifieke cliënt (gewogen naar de grootte van de cliënt).
• Term IV: De globale waarschijnlijkheid dat de fairness filter actief is.

Door intervalgrenzen (Theorem 3.1) af te leiden voor deze termen, kan de server lokale statistieken aggregeren om de globale dekkingkloof te begrenzen zonder ooit de ruwe cliëntdata te zien. Het framework biedt ook een Maximum Likelihood Estimation (MLE) variant voor nauwere, hoewel minder conservatieve, schattingen onder een partiële-IID aanname.

3. Flexibele Aggregatie Protocollen

FedCF adresseert de afweging tussen communicatie-efficiëntie en dataprivacy via twee protocollen:

• Communicatie-efficiënt: Cliënten sturen samenvattende statistieken ($\alpha$-waarden) voor elk groep-label paar. De server aggregeert deze om grenzen te berekenen. Dit heeft een lineaire communicatiecomplexiteit ten opzichte van het aantal groepen.
• Verbeterde Privacy: Cliënten berekenen lokaal de paargewijze verschillen van de dekkingstermen voordat ze deze naar de server sturen. Dit maskeert individuele distributie-informatie, wat reconstructie-aanvallen voorkomt, ten koste van een kwadratische communicatiecomplexiteit ten opzichte van het aantal groepen.
• Hybride: Cliënten kunnen kiezen tussen protocollen op basis van hun middelenrestricties.

Het framework ondersteunt ook Differential Privacy (DP) door Gaussische ruis toe te voegen aan de cliënt-updates, wat robuustheid tegen kwaadwillende servers garandeert.

Belangrijkste Bijdragen

1. Extensie van CF naar FL: Het artikel presenteert het eerste framework dat Conformal Fairness uitbreidt naar een federated setting, waarbij theoretisch wordt bewezen dat voorwaardelijke dekkinggaranties behouden kunnen blijven in een gedistribueerde omgeving onder partiële uitwisselbaarheid.
2. Descent-Based Algoritme: Een nieuw optimalisatie-aanpak die grid search vervangt door een adaptieve descent-methode, wat het aantal benodigde communicatierondes voor convergentie in FL drastisch vermindert.
3. Theoretische Grenzen: De afleiding van intervalgrenzen voor fairness-specifieke dekkingniveaus in een federated setting, wat een rigoureuze methode biedt om fairness-kloven te auditeren zonder data te centraliseren.
4. Privacy-Communicatie Afwegingen: Het voorstel van onderscheidende aggregatieprotocollen (Communication Efficient, Enhanced Privacy, en Hybride), waardoor cliënten bandbreedtebeperkingen kunnen afwegen tegen privacyvereisten.
5. Empirische Validatie: Uitgebreide experimenten op tabeldata (ACSIncome, ACSEducation), graafdata (Pokec) en visuele data (Fitzpatrick) laten zien dat FedCF erin slaagt om fairness-dispariteiten (bijv. Demographic Parity, Equal Opportunity) te beheersen terwijl de oorspronkelijke CP-dekkinggaranties behouden blijven.

Experimentele Resultaten

De auteurs hebben FedCF geëvalueerd over meerdere domeinen en fairness-metrieken:

• Fairness Controle: FedCF bereikt consistent het door de gebruiker opgegeven nabijheidscriterium ($c$) voor de fairness-dispariteit, terwijl de baseline Federated Conformal Prediction (FCP) zonder fairness-restricties faalt in het beheersen van deze kloven.
• Efficiëntie vs. Fairness: Er is een inherente afweging; het afdwingen van striktere fairness (kleinere $c$) vergroot de omvang van de voorspellingsset (wat de efficiëntie vermindert). Echter, FedCF minimaliseert deze kosten vergeleken met baselines.
• Robuustheid tegen Heterogeniteit: Het framework presteert effectief over variërende aantallen cliënten (2 tot 48) en verschillende vormen van data-partitionering (natuurlijke geografische splitsingen versus Dirichlet-partities).
• Graaf Data: FedCF integreert succesvol met graaf-specifieke non-conformity scores (DAPS), wat de toepasbaarheid buiten standaard tabeldata demonstreert.
• Privacy Protocollen: Experimenten tonen aan dat hoewel het Enhanced Privacy protocol conservatiever is (grotere voorspellingssets) vanwege de nauwere grenzen, het effectief de fairness-dispariteiten beheerst terwijl de cliëntdata beschermd blijft.

Betekenis en Claims

Het artikel claimt dat FedCF een theoretisch gefundeerde en praktisch levensvatbare oplossing biedt voor het auditeren en waarborgen van fairness in federated machine learning-modellen. De betekenis ligt in:

• Regulatoire Naleving: Het biedt een mechanisme om te voldoen aan opkomende regelgeving (bijv. de EU AI Act, NYC Local Law 144) die fairness-audits in gedecentraliseerde systemen vereisen zonder de dataprivacy in gevaar te brengen.
• Betrouwbare ML: Het overbrugt de kloof tussen onzekerheidskwantificering en fairness, waardoor modellen niet alleen voorspellen met bekende foutmarges, maar dit ook eerlijk doen over gevoelige groepen.
• Auditbaarheid: Het framework kan post-hoc worden gebruikt om bestaande federated modellen te auditeren, om te bepalen of ze aan fairness-specificaties voldoen zonder dat daarvoor hertraining of toegang tot ruwe data nodig is.

De auteurs erkennen beperkingen, specifen name de afhankelijkheid van de partiële uitwisselbaarheid-aanname, die geschonden kan worden in scenario's met dynamische data-drift. Zij suggereren toekomstig werk met betrekking tot non-exchangeable CP en robuuste federated learning-technieken om deze scenario's aan te pakken.