Beyond the Interface: Redefining UX for Society-in-the-Loop AI Systems

Dit artikel pleit voor een herdefiniëring van gebruikerservaring (UX) bij AI-systemen met menselijke tussenkomst als een multi-laagse sociotechnische construct die backend-prestaties, governance en besluitvorming omvat, en introduceert een nieuw evaluatiekader met vier kernmetrieken om deze complexe systemen in realistische ecosystemen te beoordelen.

De kern

Titel: Van "Druk op de Knop" naar "Samenwerken met een Slimme Partner": Een Nieuwe Manier om AI te Beoordelen

Stel je voor dat je vroeger een automatische deur had. Je loopt erop af, de sensor ziet je, en de deur gaat open. Dat was vóór-AI. Alles was voorspelbaar: input (jij) leidde altijd tot output (deur open). De ervaring was simpel: werkt het? Ja of nee?

Maar nu hebben we AI-systemen die niet zo simpel zijn. Ze zijn als een zeer slimme, maar soms wat nerveuze assistent die continu gissen doet. Ze zien iets en zeggen: "Ik denk dat dit een gevaar is, maar ik ben maar 80% zeker." Soms heeft ze gelijk, soms niet. Dit is de wereld van Post-AI.

Deze paper stelt dat we onze manier van denken over "gebruiksvriendelijkheid" (User Experience of UX) volledig moeten herschrijven. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De Oude Kaart is Niet Geldig meer

Vroeger ontwierpen we systemen voor mensen die alleen maar knoppen drukten. Maar nu moeten mensen werken met AI die onzeker is.

• De Analogie: Stel je voor dat je vroeger een auto reed met een vaste route (GPS die altijd gelijk had). Nu rijdt je in een auto met een passagier die voortdurend roept: "Ik denk dat we links moeten, maar misschien is het rechts?"
• Als de interface (het dashboard) dit niet goed laat zien, ga je ofwel blindelings vertrouwen (en crashen) ofwel helemaal niets doen (en de weg kwijtraken). De oude manier van ontwerpen werkt niet meer voor deze "onzekere" slimme systemen.

2. De Oplossing: De Mens als "Co-Piloot" (Human-in-the-Loop)

De auteurs zeggen: "Laten we de mens niet zien als een knopduwer, maar als een co-piloot."
In hun systeem (een camera die rare dingen in video's ziet) is er een cyclus:

1. De AI ziet iets en zegt: "Hé, daar gebeurt iets vreemds!"
2. De mens kijkt er naar en zegt: "Ja, dat klopt" of "Nee, dat was gewoon een kat."
3. De AI leert hieruit en wordt slimmer.

Dit noemen ze Society-in-the-Loop. Het gaat niet alleen om de techniek, maar om hoe het hele team (mensen, regels, organisaties) samenwerkt met de machine.

3. Wat vinden Mensen echt belangrijk? (De "Sociale Constructie")

De onderzoekers hebben met 269 mensen gesproken (beveiliging, winkeliers, politie). Wat bleek?
Mensen kijken niet alleen naar "werkt de camera?". Ze maken zich zorgen over:

• Risico: "Als de camera een onschuldige beweging ziet als een misdrijf, krijgen we dan ruzie met de buren?"
• Vertrouwen: "Kan ik dit systeem vertrouwen als ik niet weet waarom het zo denkt?"
• Verantwoordelijkheid: "Wie is er schuldig als het fout gaat? De machine of ik?"

Het is alsof je een nieuw kind in huis neemt. Je kijkt niet alleen of het kind kan lopen (techniek), maar ook of het veilig is, of het regels begrijpt en of het past in je gezin (samenleving).

4. De Nieuwe "Scorekaart" voor AI

Omdat de oude manier van testen (alleen kijken of het werkt) niet meer volstaat, stellen de auteurs vier nieuwe maatstaven voor om AI te beoordelen. Denk hieraan als een nieuwe rapportcijferlijst voor een slimme assistent:

1. Nauwkeurigheid (Accuracy):

   • Oude manier: Hoe vaak is het goed?
   • Nieuwe manier: Hoe vaak maakt hij verkeerde alarmen (Fout Positief) of mist hij iets (Fout Negatief)?
   • Vergelijking: Als je alarmklok elke ochtend om 03:00 uur afgaat omdat hij dacht dat er een inbreker was (maar het was een muis), ga je hem uitzetten. Te veel valse alarmen maken de mens moe en wantrouwig.

2. Snelheid van Reactie (Latency):

   • Oude manier: Hoe snel reageert de computer?
   • Nieuwe manier: Hoe snel komt de boodschap bij de juiste persoon die er iets aan kan doen?
   • Vergelijking: Het is nutteloos als de brandmelder heel snel afgaat, maar het signaal belandt bij de verkeerde afdeling die het niet kan oplossen. De "trage" reactie is dan een menselijk probleem, geen technisch probleem.

3. Aanpassingstijd (Adaptation Time):

   • Oude manier: Hoe snel is de software geïnstalleerd?
   • Nieuwe manier: Hoe snel past het hele bedrijf zich aan?
   • Vergelijking: Je kunt een nieuwe, super-snelle auto kopen, maar als je geen rijbewijs hebt, geen benzine kunt vinden en je garage te klein is, ben je nog steeds niet onderweg. Hoe snel kan een organisatie "leren" om met de AI te werken?

4. Vertrouwen (Trust):

   • Oude manier: Werkt het?
   • Nieuwe manier: Durf ik er op te vertrouwen als het onzeker is?
   • Vergelijking: Je vertrouwt een piloot niet alleen omdat hij vliegt, maar omdat je ziet dat hij de regels kent, transparant is en weet wat hij doet als er iets misgaat.

Conclusie: De Bril van de Toekomst

De kernboodschap van dit paper is simpel: AI is geen los apparaatje meer; het is een nieuwe manier van samenwerken.

We moeten stoppen met kijken naar AI als een zwarte doos die alleen maar "werk" doet. We moeten kijken naar de relatie tussen de mens, de machine en de maatschappij. Een goed AI-systeem is niet alleen technisch perfect, maar het moet ook passen in de regels, het moet mensen niet vermoeien met valse alarmen, en het moet mensen het gevoel geven dat ze nog steeds de baas zijn.

Kortom: We zijn niet meer de chauffeurs die alleen sturen; we zijn de co-piloten die samen met de machine de weg vinden, en we moeten onze "scorekaart" voor succes helemaal opnieuw uitvinden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Beyond the Interface: Redefining UX for Society-in-the-Loop AI Systems", geschreven in het Nederlands.

Probleemstelling

Traditionele User Experience (UX) frameworks zijn ontworpen voor deterministische systemen, waarbij specifieke inputs leiden tot voorspelbare outputs. Deze benadering is echter ontoereikend voor moderne AI-systemen die opereren in risicovolle omgevingen en probabilistische voorspellingen genereren.

• De kloof: Bestaande UX-methoden focussen op taakvoltooiing en interactie-efficiëntie, maar falen om de onzekerheid, dynamische aanpassing en de complexe besluitvorming te adresseren die kenmerkend zijn voor AI.
• Het risico: Wanneer interfaces de inherente onzekerheid van AI niet communiceren, leidt dit tot over- of ondervertrouwen, operationele verwarring en ethische problemen, vooral in kritieke domeinen zoals videobewaking.
• De noodzaak: Er is een verschuiving nodig van een "Human-in-the-Loop" (HITL) benadering die puur als technische veiligheidsmaatregel wordt gezien, naar een "Society-in-the-Loop" paradigma. Hierbij moet UX de backend-prestaties, organisatorische workflows en besluitvormingsstructuren omvatten, niet alleen de frontend-gebruiksvriendelijkheid.

Methodologie

Het paper hanteert een mixed-methods aanpak die kwalitatief inzicht combineert met een operationeel technisch experiment:

1. Kwalitatieve Analyse (Sociale Constructie):

   • Data: Inductieve analyse van 269 inzichten van diverse stakeholders (beveiligingspersoneel, lokale ondernemers, wetshandhavers) verkregen via focusgroepen en semigestructureerde interviews.
   • Doel: Het in kaart brengen van hoe stakeholders AI-systemen ervaren in termen van risico, governance, en organisatorische capaciteit.
   • Resultaat: Identificatie van vier overkoepelende analytische categorieën: Requirements, Perceptions, Concerns, en Constraints.

2. Technisch Experiment (HITL Architectuur):

   • Systeem: Implementatie van een operationeel HITL-systeem voor video-anomaliedetectie.
   • Architectuur: Een gesloten lus bestaande uit een AI-node (CCTV-analyse), Cloud-node (S3, Lambda, DynamoDB), en een End-User Interface.
   • Feedbacklus: Gebruikers ontvangen meldingen van potentiële anomalieën, bevestigen of corrigeren deze (binary feedback: +1/-1), en dit feedback wordt gebruikt voor continue modeltraining (continual learning).
   • Verwerking: Toepassing van event-based post-processing op frame-level detecties om valse positieven te onderdrukken en temporale consistentie te garanderen.

Belangrijkste Bijdragen

Het paper introduceert een nieuw raamwerk voor het evalueren van AI-systemen met de volgende kernbijdragen:

1. Paradigmaverschuiving: Conceptualisering van de overgang van een "operator-centric" (pre-AI) naar een "analyst-centric" (post-AI) interactieparadigma, waarbij de gebruiker een analist is die onzekerheid moet kalibreren.
2. HITL als UX-strategie: Positionering van Human-in-the-Loop niet als een secundaire technische beveiliging, maar als een fundamentele UX-designstrategie die menselijke agentie en contextuele oordeelsvorming ondersteunt.
3. Nieuwe Evaluatiemetrics: Definities van vier sociotechnische metrics die de brug slaan tussen technische prestaties en gebruikerservaring:
   • Accuracy: Gedefinieerd als False Positive Rate (FPR) en False Negative Rate (FNR), gezien als determinanten van workflow-onderbreking en situational awareness.
   • Operational Latency: De tijd tussen alert en actie, gezien als een maatstaf voor de afstemming tussen informatiestroom en verantwoordelijkheidsstructuren.
   • Adaptation Time: De duur van implementatie tot stabiele integratie in workflows, beïnvloed door organisatorische capaciteit en procurement.
   • Trust: Geoperationaliseerd via gevalideerde schalen voor vertrouwen in automatisering, gebaseerd op governance, controle en risicobeperking.
4. Validatie: Empirische validatie van deze concepten via een real-world surveillance-systeem en stakeholderanalyse.

Resultaten

• Stakeholder Inzichten: De analyse toont aan dat technische prestaties (zoals nauwkeurigheid) onlosmakelijk verbonden zijn met organisatorische zorgen (zoals aansprakelijkheid en privacy). Stakeholders zien AI primair als een hulpmiddel voor besluitvorming, niet als een vervanging van menselijk oordeel.
• Technische Prestaties: Het experimentele systeem bereikte op de PoseLift-testset een precisie van 0,731 en een recall van 0,750 na toepassing van event-based post-processing. Dit toont een reductie in fragmentatie en verbeterde stabiliteit ten opzichte van puur frame-level outputs.
• UX Impact:
  • Valse positieven leiden direct tot "alert fatigue" en verhoogde cognitieve last.
  • Een duidelijke feedbacklus (waarbij gebruikers zien dat hun input het systeem verbetert) versterkt het gevoel van controle en vertrouwen.
  • De integratie van backend-prestaties (zoals FPR) in de UX-evaluatie is essentieel voor duurzame adoptie.

Significantie en Conclusie

Dit paper stelt dat UX in de post-AI-er niet langer alleen gaat over de interface, maar over het ecosysteem waarin het AI-systeem functioneert.

• Sociotechnische Integratie: De grens tussen technische lagen en ervaringslagen vervaagt. Technische metrics (zoals FPR) worden direct sociale en operationele variabelen die invloed hebben op werkdruk, verantwoordelijkheidsverdeling en institutioneel vertrouwen.
• Toekomstvisie: Het paper pleit voor een "Society-in-the-Loop" benadering waarbij UX-design rekening moet houden met governance, ethische allocatie van middelen en organisatorische beperkingen.
• Conclusie: Een succesvolle implementatie van AI vereist een herdefinitie van UX die verder gaat dan gebruiksgemak; het moet een rigoureuze evaluatie omvatten van hoe het systeem de menselijke besluitvorming, de organisatorische workflows en het maatschappelijk vertrouwen vormgeeft.