(Un)fair devices: Moving beyond AI accuracy in personal sensing

Dit literatuuronderzoek benadrukt de aanwezigheid van verborgen vooroordelen in AI-modellen op persoonlijke apparaten en pleit voor een verschuiving van puur prestatiegerichte evaluaties naar mensgerichte richtlijnen om eerlijke en betrouwbare gezondheids- en levensstijlintuigens te waarborgen.

De kern

Stel je voor dat je een slimme horloge of een slimme ring draagt. Dit is niet zomaar een apparaatje; het is als een digitale assistent die 24 uur per dag aan je zijde staat. Hij luistert naar je hartslag, meet hoe je slaapt, telt je stappen en kijkt zelfs of je misschien ziek wordt. Het klinkt als toverij, maar er zit een groot probleem in deze magie.

Deze paper, getiteld "(On)eerlijke apparaten", vertelt ons dat deze slimme helpers vaak vooringenomen zijn. Ze zijn niet eerlijk voor iedereen.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. De "Witte Kamer" van de Leerling

Stel je voor dat je een kok wilt leren koken. Maar je stuurt die kok alleen naar een keuken waar alleen maar mensen met blond haar en blauwe ogen eten. De kok leert dan hoe hij voor die specifieke groep het beste kan koken.

Als die kok later in een restaurant komt waar mensen met donkerder huidskleur, andere lichaamsvormen of verschillende culturele gewoontes eten, zal hij de gerechten niet goed kunnen bereiden. De smaken kloppen niet, de porties zijn verkeerd.

Dit is precies wat er gebeurt met onze slimme apparaten:
De wetenschappers die de software (de "kok") schrijven, trainen deze vaak met data van een heel specifieke groep mensen: jonge, westerse, welgestelde studenten (vaak van universiteiten).

• Het gevolg: De apparaten werken fantastisch voor die studenten, maar falen voor ouderen, mensen met een ander lichaamsgewicht, of mensen met een andere huidskleur.

2. De "Blinde Vlekken" in de Data

De auteurs van dit artikel hebben gekeken naar honderden onderzoeken. Wat bleek? Slechts 1 op de 10 onderzoeken keek eigenlijk wel eens of hun apparaat eerlijk was voor iedereen. De rest kijkt alleen naar de "gemiddelde" prestatie.

• Voorbeeld 1 (Huidskleur): Een pulsoxymeter (een apparaatje dat zuurstof in het bloed meet) werkt minder goed op donkere huid. Het is alsof de camera van je telefoon de kleuren van donkerder huid niet goed kan onderscheiden, waardoor de meting fout is. Dit kan levensgevaarlijk zijn als iemand ziek is.
• Voorbeeld 2 (Lichaamsbouw): Een hartslagmeter die op je pols zit, werkt minder goed bij mensen met meer spiermassa of een grotere pols. Het signaal wordt "verdoofd" door het extra vlees, net zoals een radio die slecht ontvangst heeft als je te ver van de zender staat.
• Voorbeeld 3 (Leeftijd): Een apparaat dat valpartijen detecteert, is vaak getraind op de bewegingen van jonge, energieke mensen. Als een oudere persoon valt, ziet het apparaat dit misschien niet als een val, omdat de beweging anders is.

3. Waarom is dit zo lastig te zien?

In de wereld van computerspelletjes of foto's is bias (vooroordeel) makkelijk te zien. Als je een foto van een man ziet en de computer denkt dat het een vrouw is, zie je dat direct.

Maar bij slimme apparaten is het onzichtbaar.

• Stel je voor dat je een apparaat hebt dat je ademhaling meet via geluid. Een man met een diepe stem en een vrouw met een hoge stem produceren verschillende geluiden. Als de computer alleen de diepe stemmen heeft geleerd, zal hij de hoge stem van de vrouw verkeerd interpreteren.
• Het is alsof je probeert een raadsel op te lossen, maar je hebt alleen de helft van de puzzelstukjes. De stukjes die ontbreken (ouderen, mensen met een andere afkomst, mensen met een andere bouw) zijn onzichtbaar, maar ze zijn cruciaal voor het volledige plaatje.

4. De Oplossing: "Eerlijkheid door Ontwerp"

De auteurs zeggen: "Stop met alleen kijken naar hoe snel of hoe nauwkeurig het apparaat is voor de gemiddelde gebruiker. We moeten kijken naar hoe het werkt voor iedereen."

Ze stellen een nieuwe manier van werken voor, genaamd "Fairness by Design" (Eerlijkheid door Ontwerp). Dit betekent:

• Bij het begin: Zorg dat je al tijdens het ontwerpen denkt aan verschillende soorten mensen. Niet pas aan het einde.
• De Data: Verzamel data van echte, diverse mensen. Niet alleen van studenten in een lab, maar ook van mensen in hun eigen huizen, met verschillende lichaamsvormen en achtergronden.
• De Test: Test het apparaat niet alleen op "gemiddelde" resultaten, maar vraag: "Werkt dit even goed voor een oudere vrouw als voor een jonge man?"

Conclusie

Onze slimme apparaten zijn als digitale vrienden. Maar als die vrienden alleen maar begrijpen wat jij zegt, en niet wat je buurman zegt, zijn ze geen goede vrienden voor de hele wereld.

De boodschap van dit artikel is simpel: Technologie moet voor iedereen werken, niet alleen voor de "standaard" gebruiker. Als we dat niet doen, creëren we een wereld waar technologie de ongelijkheid juist verergert in plaats van oplost. Het is tijd om de "blinde vlekken" in onze software te verwijderen, zodat de digitale assistent echt voor ons allemaal werkt.

Technische samenvatting

1. Het Probleem

Personal devices (zoals smartwatches, fitnesstrackers en slimme ringen) zijn overal aanwezig en genereren continue datastromen over fysiologische en gedragsmatige signalen. Deze data worden gebruikt om geavanceerde AI-toepassingen aan te drijven, zoals het voorspellen van hartritmestoornissen (AFib), het diagnosticeren van COVID-19 of het monitoren van slaap.

Het centrale probleem dat dit artikel aanpunt, is dat deze systemen niet eerlijk (fair) zijn voor alle gebruikersgroepen. Hoewel de focus in de huidige literatuur ligt op accuraatheid (performance), worden verborgen biases in de ML-modellen vaak genegeerd. Deze biases leiden tot ongelijke uitkomsten voor verschillende demografische groepen (bijv. op basis van ras, geslacht, leeftijd of lichaamsgewicht).

Voorbeelden van deze bias zijn:

• Pulse oximeters: Slechtere prestaties bij mensen met een donkere huidskleur, wat tijdens de COVID-19-pandemie leidde tot vertraagde detectie van hypoxie bij etnische minderheden.
• Optische hartfrequentiesensoren: Bias tegenover zwaarder gewicht of specifieke huidtinten.
• Audio-diagnostiek: Slechtere prestaties bij vrouwen (vanwege hogere stemfrequenties) of bij mensen met specifieke haartypes die de akoestische signalen blokkeren.
• Versnellingssensoren: Minder nauwkeurige bewegingsdetectie bij ouderen of kinderen door verschillen in looppatronen.

De auteurs stellen dat de huidige evaluatiemethoden te zeer gericht zijn op algemene nauwkeurigheid en te weinig aandacht hebben voor groepsfairness (gelijke uitkomsten voor vooraf gedefinieerde demografische groepen).

2. Methodologie

De auteurs hebben een systematische literatuurstudie uitgevoerd volgens het protocol van Kitchenham en Charters om de stand van zaken te bepalen binnen het domein van mobiel, draagbaar en overal-computing (ubiquitous computing).

• Datacollectie: Ze doorzochten de ACM Digital Library, met een sterke focus op de proceedings van IMWUT (Interactive, Mobile, Wearable and Ubiquitous Technologies) tussen 2018 en 2025.
• Zoekopdracht: De query combineerde termen voor "mobile/wearable/ubiquitous computing" met termen voor "fairness", "bias", "equity" en "discrimination".
• Selectiecriteria:
  • Papers moesten een kwantitatieve evaluatie bevatten van een empirische bijdrage in mobiele/draagbare technologie.
  • Papers moesten een kwantitatieve evaluatie van bias of prestatieverschillen bevatten met betrekking tot gevoelige attributen (leeftijd, geslacht, ras, gezondheid, etc.).
  • Papers over NLP of computer vision zonder ubiquituous component werden uitgesloten.
• Resultaat van de selectie: Van de 957 gevonden papers werden er slechts 89 (9%) geselecteerd voor de uiteindelijke synthese. Dit onderstreept het gebrek aan aandacht voor fairness in dit onderzoeksdomein.
• Validatie: De auteurs toetsten hun bevindingen ook aan andere conferenties (MobiCom, MobiSys, SenSys) en IEEE-journals, waarbij ze een vergelijkbaar laag percentage aan fairness-evaluaties vonden.

3. Belangrijkste Bevindingen

De analyse van de 89 papers leverde de volgende technische inzichten op:

• Gebrek aan rapportage: Slechts een klein deel van de papers rapporteert over fairness-assessments. De meeste studies focussen puur op algemene nauwkeurigheid.
• Ondervertegenwoordiging van data:
  • WEIRD-bias: De datasets zijn overwegend "Western, Educated, Industrialized, Rich, and Democratic". Bijna 60% van de studies gebruikt Amerikaanse steekproeven.
  • Leeftijd: De gemiddelde leeftijd van deelnemers is 34 jaar, terwijl de maximale gemiddelde leeftijd slechts 81 jaar is. Ouderen zijn sterk ondervertegenwoordigd.
  • Ras: Slechts 1 op de 10 papers meldt de ras-achtergrond van deelnemers. Waar wel gerapporteerd wordt, is 89% van de deelnemers blank.
  • Geslacht: Hoewel geslacht vaker wordt gerapporteerd, is het percentage vrouwen in de steekproeven vaak laag (gemiddeld 31%).
• Bronnen van Bias:
  • Hardware-fysica: Sensoren reageren anders op verschillende lichaamsmorfologieën (bijv. dikker weefsel verzwakt optische signalen; verschillende beenlengtes beïnvloeden versnellingsmeters).
  • Concept Drift: Signalen veranderen over tijd en context (bijv. alcohol, stress), wat moeilijk te onderscheiden is van demografische bias in ruwe sensordata.
  • Data-aard: In tegenstelling tot statische tabulaire datasets (zoals in traditionele ML), zijn personal device-data temporaal, continu en mutabel. Dit maakt het detecteren van bias complexer.
• Mitigatiestrategieën: Hoewel er enkele voorbeelden zijn van bias-mitigatie (zoals data-balancing, disentangled representations, en personalisatie per groep), past 75% van de geselecteerde papers geen enkele fairness-enhancement-mechanisme toe, zelfs niet wanneer bias wordt waargenomen.

4. Kernbijdragen: "Fairness by Design"

De auteurs introduceren een raamwerk van 14 aanbevelingen om fairness proactief in te bouwen in de levenscyclus van personal devices ("Fairness by design"). Deze zijn onderverdeeld in vier fasen:

A. Data Collectie & Annotatie

1. Identificeer biases: Bepaal welke vormen van bias (bijv. toewijzing, kwaliteit van dienst) relevant zijn voor de specifieke taak.
2. Diverse steekproeven: Zorg voor adequate steekproefgroottes voor verschillende groepen, rekening houdend met contextuele variabelen.
3. Diverse annotatoren: Train annotatoren op impliciete bias om eerlijke labels te garanderen.
4. Rapportage: Maak gevoelige attributen transparant in datasets (ook proxy-features), rekening houdend met privacy.

B. Data Exploratie & Manipulatie
5. Validatie: Controleer data op anomalieën die systematisch voorkomen bij specifieke groepen.
6. Meetfouten: Onderzoek hardware-variabiliteit (bijv. pasvorm van de sensor) die tot meetfouten leidt.
7. Pre-processing: Wees voorzichtig met technieken zoals windowing of compressie die bias kunnen versterken; gebruik data-balancing.

C. Modelontwikkeling & Evaluatie
8. Fairness-toolkits: Gebruik bestaande tools (FairLearn, AIF360) en pas ze aan voor tijdreeksen.
9. Indirecte fairness: Overweeg fairness in de context van federated learning (bijv. uitsluiting van apparaten met slechte connectiviteit).
10. Intersectionele metrics: Gebruik metrics die geschikt zijn voor real-time evaluatie en regressie-taken, niet alleen classificatie.
11. Synthetische data: Genereer diverse synthetische data om ondervertegenwoordigde groepen te vullen waar echte data ontbreekt.

D. Implementatie & Gebruik
12. Real-time monitoring: Monitor modellen voortdurend op drift (data- en fairness-drift).
13. Herbeoordeling: Pas modellen aan na implementatie, zelfs zonder ground-truth labels (via unsupervised methods).
14. Transparantie: Zorg voor transparante versiecontrole van modellen, zodat wijzigingen in algoritmen hun impact op verschillende gebruikersgroepen niet verbergen.

5. Betekenis en Impact

Deze paper is van cruciaal belang omdat het de eerste uitgebreide synthese is die specifiek de kloof tussen persoonlijke sensoren en AI-fairness adresseert.

• Paradigmaverschuiving: Het artikel pleit voor een verschuiving van een puur prestatie-georiënteerde benadering ("hoe nauwkeurig is het?") naar een mensgerichte, ethische benadering ("is het eerlijk voor iedereen?").
• Regelgeving: Gezien de opkomst van regelgeving zoals de EU AI Act, die risicobeoordelingen vereist voor high-stakes AI, biedt dit artikel een noodzakelijk kader voor ontwikkelaars om compliant te zijn.
• Sociale Gelijkheid: Het benadrukt dat biases in personal devices niet alleen meetfouten zijn, maar kunnen leiden tot ernstige gezondheidsdispariteiten en sociale uitsluiting.
• Toekomstgericht: Door de unieke aard van temporale sensordata te erkennen, biedt het een specifiekere route dan algemene ML-fairness-rapporten, die vaak statische datasets behandelen.

Kortom, de auteurs concluderen dat personal devices niet immuun zijn voor bias en dat de gemeenschap moet stoppen met het negeren van deze problemen ten gunste van pure nauwkeurigheid. "Fairness by design" is geen optie, maar een vereiste voor de volgende generatie gezondheids- en levensstijltechnologie.