Does Privacy Always Harm Fairness? Data-Dependent Trade-offs via Chernoff Information Neural Estimation

Titel: Doet Privacy Altijd Schade aan Fairness? Data-afhankelijke Trade-offs via Chernoff Information Neural Estimation

Auteurs: Arjun Nichani, Hsiang Hsu, Chun-Fu (Richard) Chen, Haewon Jeong (UCSB & JP Morgan Chase)
Datum: 25 maart 2026

1. Probleemstelling

In het veld van betrouwbaar machine learning (ML) zijn fairness (eerlijkheid) en privacy twee fundamentele pijlers. Hoewel er uitgebreid onderzoek is gedaan naar deze concepten afzonderlijk, blijft hun onderlinge relatie onvoldoende begrepen.

• Bestaande literatuur: Sommige studies suggereren dat privacy (bijv. via Differentiële Privacy - DP) de nauwkeurigheid van minderheidsgroepen schaadt, terwijl andere werken aantonen dat privacy en eerlijkheid onder specifieke voorwaarden compatibel kunnen zijn.
• De kernvraag: Is er een universeel conflict tussen privacy en eerlijkheid, of hangt de interactie af van de onderliggende structuur van de data?
• Het gat in de literatuur: Er ontbreekt een principieel, data-afhankelijk kader om te voorspellen of het toevoegen van privacy (ruis) de eerlijkheid zal verbeteren, verslechteren of ongewijzigd zal laten.

2. Methodologie

De auteurs introduceren een informatie-theoretisch raamwerk gebaseerd op Chernoff Information om deze trade-offs te analyseren.

A. Chernoff Difference (CD) als Maatstaf voor Fairness

In plaats van modelafhankelijke metrics (zoals Equal Opportunity), definiëren de auteurs Chernoff Difference (CD) als een maatstaf voor data-fairness.

• Chernoff Information (CI): Een maatstaf die de scheidbaarheid tussen twee verdelingen ($P_0$ en $P_1$) kwantificeert. Een hogere CI betekent dat klassen makkelijker te scheiden zijn (lagere Bayes-fout).
• Definitie CD: Het absolute verschil in Chernoff Information tussen twee beschermde groepen (bijv. groep $P$ en groep $Q$):
  $$CD = |C(P_0, P_1) - C(Q_0, Q_1)|$$
• Interpretatie: Een lage CD impliceert dat beide groepen vergelijkbare scheidbaarheid hebben (eerlijke data), terwijl een hoge CD wijst op een fundamenteel verschil in hoe goed klassen binnen groepen gescheiden kunnen worden. De auteurs tonen aan dat CD correleert met de helling van de fairness-accuracy curve.

B. Noisy Chernoff Difference

Om privacy te modelleren, introduceren ze een variant met ruis (Noisy CD). Ze nemen aan dat privacy wordt bereikt door input perturbation (het toevoegen van Gaussische ruis $\eta^2$ aan de data).

• De Noisy Chernoff Difference ($\widetilde{CD}_{\eta^2}$) meet hoe de scheidbaarheid tussen groepen verandert naarmate de privacy-ruis toeneemt.
• Dit stelt hen in staat om de triade Fairness - Privacy - Accuracy simultaan te analyseren.

C. Chernoff Information Neural Estimator (CINE)

Een groot obstakel bij het toepassen van CI op real-world data is dat er geen gesloten vorm bestaat voor complexe verdelingen.

• Innovatie: De auteurs ontwikkelen CINE, de eerste neurale estimator voor Chernoff Information voor onbekende verdelingen.
• Techniek: CINE herschrijft de CI als een optimalisatieprobleem van een verwachting van een dichtheidsverhouding (density ratio). Ze gebruiken een state-of-the-art "telescoping" methode (gebaseerd op Choi et al., 2022) waarbij een neurale net wordt getraind om de dichtheidsverhouding tussen interpolatie-bruggen tussen de verdelingen te schatten.
• Consistentie: Ze bewijzen wiskundig dat de estimator consistent is als de onderliggende dichtheidsverhoudingsschatter consistent is.

3. Belangrijkste Bijdragen

1. Conceptuele Innovatie: Introductie van Chernoff Difference als een fundamentele, data-afhankelijke maatstaf voor eerlijkheid die de relatie met privacy en nauwkeurigheid kwantificeert.
2. Theoretische Resultaten (Gaussische Gevallen): Bewijs dat er drie kwalitatief verschillende regimes zijn voor de interactie tussen privacy en eerlijkheid, afhankelijk van de verdelingsparameters (gemiddelde en variantie):
   • Regime 1 (Privacy schaadt eerlijkheid): De CD neemt toe bij het toevoegen van ruis, wat leidt tot een steilere fairness-accuracy curve (slechtere compromis).
   • Regime 2 (Privacy helpt eerlijkheid "gratis"): De CD daalt snel naar nul en kan zelfs een reflectiepunt bereiken. Hierdoor kunnen minderheidsgroepen profiteren van ruis die de scheidbaarheid van de bevoorrechte groep sneller vermindert, wat leidt tot betere eerlijkheid voor dezelfde nauwkeurigheid ("Free Fairness").
   • Regime 3 (Trage verbetering): De CD daalt, maar te langzaam om de nauwkeurigheidsverlies te compenseren; er is geen duidelijke kruising van de curves.
3. Praktische Tool (CINE): Een algoritme om CI direct uit data te schatten, wat toepassing mogelijk maakt op complexe datasets (mixtures of Gaussians, MNIST, Adult).
4. Empirische Validatie: Toepassing op synthetische en real-world datasets (UCI Adult, MNIST) die aantonen dat de theorie uit de Gaussische gevallen ook geldt voor complexe data.

4. Resultaten

• Gaussische Experimenten: De auteurs simuleerden drie scenario's die overeenkomen met de theorema's.
  • In Case 2 (Privacy helpt) zagen ze dat het toevoegen van ruis de fairness-accuracy curve "plat" maakte, waardoor groepen met een lagere oorspronkelijke scheidbaarheid (privilege groep) sneller in nauwkeurigheid verloren dan de andere, waardoor het verschil (CD) verdween.
• CINE Validatie: De estimator werd vergeleken met gesloten vormen en bestaande algoritmen (Nielsen, 2022). CINE bleek nauwkeurig tot ongeveer 20-30 dimensies, waarna de schattingsfout toeneemt (een bekend probleem bij informatie-theoretische schatters).
• Real-world Data:
  • Adult Dataset: De CD bleef relatief stabiel bij toenemende ruis, wat correspondeerde met stabiele fairness-accuracy curves. Privacy had hier weinig impact op de eerlijkheids-dynamiek.
  • MNIST: Bij een synthetische taak met cijfers (3,4 vs 7,9) daalde de CD gestaag met toenemende ruis, wat leidde tot een afvlakking van de fairness-accuracy curves, wat suggereert dat privacy hier de eerlijkheid kon verbeteren.

5. Betekenis en Conclusie

De belangrijkste conclusie van dit werk is dat er geen universele wet is die stelt dat privacy altijd ten koste gaat van eerlijkheid (of vice versa).

• Data-afhankelijkheid: Of privacy helpt of schaadt, is een eigenschap van de onderliggende data-distributie.
• Praktische Implicatie: De voorgestelde framework (CD + CINE) kan dienen als een diagnostisch hulpmiddel voor practitioners. Voordat ze privacy-mechanismen toepassen, kunnen ze de Chernoff Difference analyseren om te voorspellen of privacy de eerlijkheid zal verbeteren ("Free Fairness") of extra maatregelen vereist zijn om eerlijkheid te behouden.

Dit werk vult een kritieke lacune in de literatuur door een principieel, wiskundig onderbouwd kader te bieden voor het begrijpen van de complexe interactie tussen privacy, eerlijkheid en nauwkeurigheid, gebaseerd op de intrinsieke structuur van de data.