How Fair is Software Fairness Testing?

Titel: Hoe eerlijk is software- eerlijkheidstesten?

Auteurs: Ann Barcomb, Mariana Pinheiro Bento, Giuseppe Destefanis, Sherlock Licorish, Cleyton Magalhães, Ronnie de Souza Santos, en Mairieli Wessel.
Type: Visiepaper (Position Paper)

1. Het Probleem

Het paper identificeert een fundamenteel paradox in de huidige praktijk van software- eerlijkheidstesten (fairness testing) voor AI-systemen, zoals Large Language Models (LLMs).

• De Aanname van Universaliteit: Er wordt impliciet aangenomen dat "eerlijkheid" een vaststaande, universele standaard is. In werkelijkheid is eerlijkheid echter een cultureel construct dat verschillend wordt geïnterpreteerd afhankelijk van de context.
• Westelijke Dominantie: Bestaande testmethoden, metrieken en datasets zijn grotendeels gebaseerd op Westerse epistemologische tradities. Dit leidt tot een situatie waarbij AI-systemen worden getest op hun alignering met Westerse idealen van gelijkheid, terwijl dit wordt gepresenteerd als universele vooruitgang.
• Uitsluiting van Kennissystemen: Kennissystemen die gebaseerd zijn op mondelinge tradities, inheemse talen en niet-digitale gemeenschappen worden systematisch uitgesloten van zowel trainingsdata als evaluatiekaders.
• Ethiek en Ecologie: Het proces van eerlijkheidstesten zelf roept ethische vragen op, zoals de afhankelijkheid van laagbetaalde arbeidskrachten in het "Global South" voor data-labeling en de onevenredige ecologische kosten van het trainen van grote modellen, die kwetsbare bevolkingsgroepen treffen.

2. Methodologie

Dit paper is een visiepaper en geen empirisch onderzoek met experimentele resultaten. De auteurs gebruiken een kritische, theoretische benadering om de bestaande literatuur en praktijk te analyseren.

• Analytisch Kader: De auteurs analyseren het probleem via drie dimensies:
  1. Culturele Vooronderstellingen: Hoe metrieken specifieke culturele waarden coderen en andere marginaliseren.
  2. Dataset-ontwerp: De beperkingen van datasets die voornamelijk uit Westerse contexten komen.
  3. Ecologische en Koloniale Implicaties: De ethische en omgevingskosten van de infrastructuur achter eerlijkheidstesten.
• Reflectie op Positie: De auteurs positioneren zichzelf expliciet als onderzoekers uit het "Global North" binnen de computerwetenschap. Ze benadrukken dat ze niet spreken namens inheemse gemeenschappen, maar de uitsluiting van perspectieven willen blootleggen en pleiten voor een kader dat culturele pluraliteit en het recht om algoritmische bemiddeling te weigeren, erkent.

3. Belangrijkste Bijdragen

Het paper biedt geen nieuwe algoritmen, maar een nieuw conceptueel kader voor het herdenken van eerlijkheidstesten:

• Decoloniëren van Testen: De auteurs pleiten voor een verschuiving van universele metrieken naar "gecolocaliseerde" testen. Dit betekent dat testcases, adequaatheidscriteria en orakels (verwachte uitkomsten) moeten worden vormgegeven door de betrokken gemeenschappen zelf, in plaats van door externe ontwikkelaars.
• Herdefiniëren van "Adequaatheid": Eerlijkheid mag niet worden gereduceerd tot een enkel technisch meetgetal (zoals accuracy of demografische pariteit). Het moet subjectieve ervaringen en waargenomen schade (bijv. micro-agressies) omvatten.
• Erkenning van Conflict: Conflicterende waarden tussen verschillende culturen (bijv. transparantie vs. cultureel eigendom van kennis) moeten worden gezien als een integraal onderdeel van het testen, niet als anomalieën.
• Kritiek op Data- en Omgevingskolonialisme: Het paper benadrukt dat eerlijkheidstesten niet losstaat van de infrastructuur die het mogelijk maakt, inclusief de uitbuiting van arbeidskrachten in het Global South en de ecologische voetafdruk die disproportioneel zwaar weegt op klimaatkwetsbare regio's.

4. Resultaten en Analyse

Hoewel er geen kwantitatieve resultaten zijn, presenteert het paper een kwalitatieve analyse van de huidige tekortkomingen:

• Blind Vlekken in Testen: Huidige methoden misclassificeren dialecten en niet-standaard talen omdat deze ontbreken in testdata. Beelddatasets vertegenwoordigen bepaalde regio's over, waardoor andere onzichtbaar blijven voor eerlijkheidstesten.
• De "Majority Benchmark": Huidige testen gebruiken vaak de prestaties van een gedomineerde groep als referentiepunt. Afwijkingen worden dan gezien als tekortkomingen, waardoor meerderheidsperspectieven als de standaard worden gecodeerd.
• Ethiek van de Testinfrastructuur: De auteurs tonen aan dat de zoektocht naar "perfecte" AI-uitkomsten vaak ten koste gaat van duurzaamheid en sociale rechtvaardigheid. De prioritering van nauwkeurigheid boven ecologische of sociale zorgen is een waarde-oordel, geen technische noodzaak.
• Gevolg van "Unbiased" Verklaringen: Wanneer systemen als "onbevooroordeeld" worden verklaard op basis van smalle, culturele maatstaven, kan dit leiden tot de wereldwijde implementatie van systemen die subtielere vormen van culturele schade reproduceren (bijv. het opleggen van individualistische kaders aan collectivistische samenlevingen).

5. Significantie en Toekomstperspectief

De significantie van dit paper ligt in de verschuiving van een puur technische naar een socio-politieke en ethische kijk op software- eerlijkheidstesten.

• Nieuwe Onderzoeksrichtingen: Het paper schetst vijf concrete richtingen voor toekomstig onderzoek:
  1. Gecentraliseerde Datasets: Het ontwikkelen van datasets die specifiek zijn voor lokale culturele contexten (bijv. KorNAT).
  2. Norm-diversiteit: Het creëren van evaluatiedatasets die expliciet verschillen in culturele normen vastleggen, in plaats van één "waarheid" te zoeken.
  3. Systeem-niveau Evaluatie: Het testen van eerlijkheid binnen de bredere socio-technische systemen, niet alleen bij geïsoleerde modellen.
  4. Participatieve Benaderingen: Het betrekken van ondervertegenwoordigde groepen als mede-ontwikkelaars (co-creatie) in plaats van slechts als annotators.
  5. Cultuurgevoelige Aanpassing: Het onderzoek naar technische methoden (zoals Retrieval-Augmented Generation) om modellen aan te passen aan verschillende culturele contexten.
• Conclusie: Eerlijkheidstesten moet evolueren van een mechanisme om cultureel specifieke waarden te universaliseren, naar een praktijk die culturele pluraliteit respecteert en de mogelijkheid om algoritmische bemiddeling te weigeren, erkent. Het is een politieke en ethische praktijk die rekening moet houden met ecologische en sociale kosten.