All Eyes on the Ranker: Participatory Auditing to Surface Blind Spots in Ranked Search Results

Probleemstelling

Zoekmachines en Informatie Retrieval (IR) systemen spelen een cruciale rol bij het vormgeven van publieke kennis en toegang tot informatie. Traditionele evaluaties van deze systemen worden voornamelijk uitgevoerd door domeinexperts en richten zich op modelcentrische metrieken (zoals precisie, recall, NDCG) en relevantie-oordelen. Deze benaderingen hebben echter belangrijke beperkingen:

1. Gebrek aan gebruikersperspectief: Ze negeren hoe eindgebruikers verantwoordelijkheid, schade (harm) en vertrouwen ervaren.
2. Blind vlekken: Expert-gedreven audits missen vaak contextuele en causale inzichten over hoe gerangschikte resultaten impact hebben op gebruikers in de echte wereld.
3. Toenemende complexiteit: Moderne rankingmodellen (zoals neurale semantische modellen) zijn steeds overtuigender en moeilijker te scrutiniseren op basis van alleen output-analyse, wat risico's voor manipulatie en bias vergroot.

Het paper stelt dat participatief auditing (waarbij gebruikers actief betrokken worden bij het evalueren van systemen) essentieel is om deze blinde vlekken op te sporen en de ervaringen van gebruikers te integreren in de accountability-frameworks.

Methodologie

De auteurs voerden drie participatieve audit-workshops uit met in totaal 21 deelnemers (n=21), verspreid over november en december 2025. Deelnemers hadden diverse achtergronden (studenten, professionals, gepensioneerden) en geen vereiste voorkennis van AI.

Opzet van de workshops:

• Aangepast Zoekinterface: Deelnemers interacteerden met een aangepast zoeksysteem gebouwd op het open-source PyTerrier framework, gebruikmakend van een snapshot van de Engelstalige Wikipedia (TREC Fair Ranking Track corpus).
• Ranking Modellen: Twee modellen werden vergeleken:
  • BM25: Een lexicaal baseline-model (woord-overlap).
  • MonoT5: Een neurale semantische reranker (die context en betekenis begrijpt).
• Vier Taken:
  1. Taak 1 (BM25): Zoekopdracht "famous doctor". Dit resulteerde in slechte, letterlijke resultaten om een baseline te vestigen.
  2. Taak 2 (MonoT5): Dezelfde zoekopdracht, maar met het neurale model. Dit leverde veel coherente, biografie-gerichte resultaten op.
  3. Taak 3 (Transparantie & Controle): Een uitgebreide interface met metadata, filters en een "auto-fairness" functie om te testen hoe gebruikers transparantie en controle gebruiken.
  4. Taak 4 (Adversariale Manipulatie): Zoekopdracht "Tylenol" met een bewust gemanipuleerd document (Helen Keaney) dat via keyword-injectie en exploitatie van prompt-gevoeligheid in de top 5 terechtkwam. Dit testte of gebruikers de manipulatie zouden opmerken.
• Datacollectie: Deelnemers voerden reflexieve annotatie-opdrachten uit (post-its, pipeline-diagrammen, impact-matrices) en de sessies werden volledig getranscribeerd.
• Analyse: Reflexieve thematische analyse (volgens Braun & Clarke) van transcripten en artefacten.

Belangrijkste Bijdragen

Het paper levert drie hoofdbijdragen:

1. Conceptueel: Het pleit ervoor dat participatief auditing moet worden gezien als een aanvulling op traditionele, expert-gedreven audits voor zoeksystemen.
2. Empirisch: Het toont aan hoe gebruikers schade herkennen, miskennen of niet detecteren in gerangschikte resultaten, en hoe deze oordelen variëren afhankelijk van het waargenomen vermogen van het systeem (BM25 vs. MonoT5).
3. Methodologisch: Het operationaliseert participatief auditing voor IR via gestructureerde workshops die rankingmodellen vergelijken, interface-aanpassingen variëren en adversariale manipulatie bevatten.

Resultaten en Bevindingen

1. Ontdekking van Schade (RQ1):
Participatief auditing bracht vier categorieën van door gebruikers waargenomen impact aan het licht die in traditionele audits vaak onzichtbaar blijven:

• Epistemische impact: Misinformatie, bevestigingsbias, en het verplaatsen van vertrouwen in foutgevoelige rankings. Gebruikers zagen relevantie niet als een technische metriek, maar als een eigenschap van betrouwbaarheid en context.
• Representatieve impact: Systematische patronen van zichtbaarheid, het ontbreken van minderheden/alternatieve perspectieven en homogeniteit in resultaten.
• Infrastructuur impact: Opaque provenance van het corpus, gebrek aan beroepsmogelijkheden (recourse) en kwetsbaarheid voor manipulatie.
• Downstream sociale impact: Politieke polarisatie, versterking van stereotypen en agenda-setting effecten.

2. De "Overtuigende Onjuistheid" en Beperkingen (RQ2):
Een cruciale bevinding was dat het vertrouwen in het neurale model (MonoT5) de kritische scrutinie van gebruikers verminderde.

• Vertrouwen als blind vlek: Omdat MonoT5 semantisch overtuigende resultaten leverde, accepteerden gebruikers de output als waarheid. In Taak 4 (adversariale manipulatie) merkten de meeste deelnemers de gemanipuleerde resultaten niet op, tenzij ze expliciet hiernaar werden gevraagd.
• Anthropomorfisme: Gebruikers neigden tot antropomorfisme ("AI is wijs"), wat leidde tot een gebrek aan kritiek op systemen die ze als competent ervoeren.
• Noodzaak van Recourse: Gebruikers wilden niet alleen transparantie (inzicht in het proces), maar ook recourse (mogelijkheden om resultaten te corrigeren, te rapporteren of te beïnvloeden). Transparantie zonder actieopties creëerde slechts een illusie van verantwoordelijkheid.

3. Taxonomie van Impact:
De auteurs ontwikkelden een taxonomie (Tabel 3 in het paper) die gebruikerswaargenomen schade categoriseert op basis van epistemische, representatieve, infrastructuur- en sociale niveaus. Dit biedt een raamwerk voor het begrijpen van hoe gebruikers schade toekennen aan zoeksystemen.

Significantie en Conclusie

Dit onderzoek is significant omdat het aantoont dat:

• Participatief auditing noodzakelijk is om de "normatieve dimensie" van relevantie en eerlijkheid te begrijpen, die technische metrieken niet kunnen vangen.
• Vertrouwen een risico is: Hoe overtuigender een AI-model lijkt, hoe minder kritisch gebruikers worden, wat hen kwetsbaar maakt voor manipulatie. Dit suggereert dat audit-frames alleen niet genoeg zijn; gebruikers moeten actief worden uitgedaagd om hun vertrouwen te betwijfelen.
• Regulatie en Toekomst: In het licht van wetgeving zoals de EU AI Act en de Digital Services Act (DSA), biedt participatief auditing een praktische methode om verantwoordelijkheid en transparantie te verankeren in de werkelijke gebruikerservaring, in plaats van alleen in theoretische modellen.

De auteurs concluderen dat participatief auditing een complementaire rol speelt: het verbreedt wat als "schade" wordt beschouwd door de ervaringen van gebruikers centraal te stellen, en blootlegt onder welke sociotechnische voorwaarden accountability werkt of faalt.