💻 computer science

Context and Symmetry in Auditing: A Case Study of Skeleton Inference in Motion Capture

Dit artikel introduceert "contextuele auditing" en maakt gebruik van het concept "symmetrie" uit de wetenschaps- en technologiestudies om uitdagingen bij het verifiëren van AI-systemen aan te pakken wanneer de grondwaarheid onbekend of omstreden is, waarbij de aanpak wordt gedemonstreerd door middel van een casestudy over skeletinferentie in motion capture.

Oorspronkelijke auteurs: Emma Harvey, Emanuel Moss, Hauke Sandhaus, Abigail Z. Jacobs, Mona Sloane

Gepubliceerd 2026-08-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Emma Harvey, Emanuel Moss, Hauke Sandhaus, Abigail Z. Jacobs, Mona Sloane

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om het menselijk lichaam te begrijpen. Je wilt dat de robot precies weet hoe lang een arm is, hoe breed een schouder is of hoe een knie buigt. Maar hier komt de crux: de robot kan niet in het lichaam kijken. Hij kan alleen de buitenkant zien. Dus hoe weet je of de robot de waarheid spreekt? Dit is de grote vraag in een vakgebied dat AI-auditing wordt genoemd. Meestal, om te controleren of een robot gelijk heeft, vergelijk je zijn antwoord met een "ground truth"—een perfect, onweerlegbaar feit, zoals een liniaal die nooit liegt. Maar wat gebeurt er als er geen perfecte liniaal is? Wat als het ding dat je meet (zoals de exacte lengte van een bot verborgen onder de huid) onmogelijk direct te zien is? Hier wordt het ingewikkeld. Wetenschappers moeten beslissen wat in de eerste plaats als "waar" wordt beschouwd, en soms verschillen experts van mening. Dit artikel duikt in die rommelige, verwarrende maar fascinerende wereld waarin we proberen AI-systemen te auditen die ons lichaam meten, zelfs wanneer we geen perfect antwoordformulier hebben om ze tegen te controleren.

De auteurs van dit artikel, een team van onderzoekers van plekken zoals Cornell Tech en de University of Virginia, besloten dit probleem aan te pakken door te kijken naar een specifiek type AI: motion capture-systemen (of "mocap"). Je hebt deze waarschijnlijk wel eens gezien in films of videogames, waarbij acteurs pakken dragen die bedekt zijn met kleine reflecterende stipjes, en camera's die die stipjes volgen om een digitaal skelet te creëren dat precies zo beweegt als de acteur. Het artikel richt zich op een specifieke taak die deze systemen uitvoeren, genaamd "skeleton inference", waarbij de computer de positie van botten raadt op basis van de stipjes op de huid.

De onderzoekers betogen dat de oude manier om deze systemen te controleren—het simpelweg vergelijken van de gok van de computer met een "perfecte" meting—hier niet goed werkt, omdat er voor veel lichaamsdelen vanaf het begin geen enkele "perfecte" meting bestaat. Is de lengte van een onderarm de afstand tussen twee botten binnenin, of de afstand tussen twee punten op de huid? Dat zijn verschillende dingen! Om dit op te lossen, introduceert het team een nieuwe manier van auditen die een contextuele audit wordt genoemd. In plaats van alleen naar getallen te kijken, kijken ze naar het hele "verhaal" van hoe de meting plaatsvindt: wie het doet, welke hulpmiddelen zij gebruiken en wat zij als waarheid beschouwen. Ze gebruiken ook een concept genaamd symmetrie, wat een beetje is als een regel voor een detective: behandel elke mogelijke manier van meten (zelfs de manieren die misschien fout zijn) met hetzelfde niveau van achterdocht en respect. Ga er niet zomaar vanuit dat jouw liniaal juist is en de computer fout; neem aan dat beiden op verschillende manieren gebrekkig kunnen zijn, en ontdek dan waarom ze van mening verschillen.

Om dit idee te testen, zette het team een echt experiment op aan de New York University. Ze werkten samen met motion capture-beoefenaars die deze systemen gebruiken voor creatief ontwerp, zoals het maken van videogames. Ze rekruteerden 24 mensen om hun lichaam op twee verschillende manieren te laten meten. Eerst gebruikten ze het hoogtechnologische motion capture-systeem met zijn camera's en 41 reflecterende markers. Daarna gebruikten ze een bescheiden, ouderwetse rolmaat, waarbij de standaard gezondheidsrichtlijnen werden gevolgd om dezelfde lichaamsdelen te meten.

Hier is de twist: de onderzoekers behandelden de rolmaat niet als de "waarheid" en de computer als de "leugenaar". In plaats daarvan beschouwden ze beide als verschillende manieren om hetzelfde te proberen te raden. Ze ontdekten dat het computersysteem heel goed werkte voor sommige mensen, maar moeite had met anderen, vooral als het lichaamsvorm van de persoon niet overeenkwam met de "gemiddelde" lichamen waarop het systeem oorspronkelijk was getraind (die historisch gezien voornamelijk slank en mannelijk waren). De rolmaat had ook zijn eigen problemen, afhankelijk van hoe de persoon die hem vasthield de herkenningspunten op het lichaam interpreteerde.

Door hun nieuwe "symmetrie"-aanpak te gebruiken, lieten de onderzoekers zien dat je deze systemen nog steeds effectief kunt auditen, zelfs zonder een perfecte ground truth. Ze ontdekten dat de fouten van de computer niet willekeurig waren; ze waren gekoppeld aan specifieke aannames die het systeem maakte over hoe het menselijk lichaam eruitziet. Als een persoon bijvoorbeeld meer zacht weefsel (vet of spieren) had dan het systeem verwachtte, zou de gok van de computer over de botlengte afwijken. Het artikel suggereert dat door de verborgen aannames en de context van hoe de metingen worden genomen te begrijpen, we kunnen vinden waar de AI ons in de steek laat, zelfs als we niet naar één enkel "correct" getal kunnen wijzen.

Uiteindelijk beweert dit artikel niet dat het motion capture heeft gerepareerd of het mysterie van de perfecte lichaamsmeting heeft opgelost. In plaats daarvan suggereert het een betere manier om vragen te stellen. Het laat zien dat wanneer we te maken hebben met AI die ons lichaam meet, we moeten stoppen met het zoeken naar een magische "waarheid" en moeten beginnen met het kijken naar de praktijken, de hulpmiddelen en de vooroordelen die in het systeem zijn ingebouwd. Het is een herinnering aan het feit dat, voordat we een robot vertrouwen om ons lichaam te meten voor zaken als veiligheid op de werkplek of medische diagnose, we moeten begrijpen wat het rommelige, menselijke verhaal is achter hoe die robot leerde om te meten.

Technische Samenvatting: Context en Symmetrie in Auditing: Een Casestudy van Skeletinferentie in Motion Capture

Probleemstelling
Het artikel adresseert een kritieke lacune in AI-auditing: de moeilijkheid van het evalueren van systemen die metingen verrichten over menselijke lichamen wanneer een definitieve "grondwaarheid" (ground truth) onbekend, onkenbaar of betwist is. Standaard AI-auditing berust op het vergelijken van de werkelijke output van een systeem met de nominale verwachte output (grondwaarheid). Echter, in velden zoals motion capture (mocap), waar systemen skeletposities en lichaamssegmentparameters (BSP's) afleiden uit oppervlaktedata, bestaat er geen enkele overeengekomen methode om de "ware" lengte van een lichaamssegment te definiëren (bijvoorbeeld of dit gemeten moet worden via botlengte, oppervlaktemarkers of weefselafstand). Zonder een verifieerbare grondwaarheid riskeren traditionele audits het behandelen van gebrekkige meetmodaliteiten als absolute standaarden, wat systematische biases en schade potentieel kan maskeren.

Methodologie
De auteurs stellen een Contextuele Audit-framework voor en demonstreren dit, geworteld in de Social Practice Theory en het concept van Symmetrie uit de Science and Technology Studies (STS). Deze benadering wordt toegepast op een casestudy van skeletinferentie in een marker-gebaseerd mocap-systeem (OptiTrack) dat wordt gebruikt voor creatief ontwerp.

Contextueel Audit-framework:
- Kwalitatieve Fase: De onderzoekers voerden etnografisch veldwerk uit, inclusief het observeren van praktijczijders, het interviewen van hen en het beoordelen van systeemdocumentatie en historische literatuur. Dit identificeerde de sociale praktijken, materialen en aannames (bijv. de afhankelijkheid van data van dunne mannelijke kadavers) die de "context" van de audit vormen.
- Sociaal-technische Matrix: Zij pasten een matrix aan om de objecten van capture te identificeren, hoe zij leesbaar worden gemaakt voor het systeem, historische grondwaarheid-praktijken en de aannames die in die praktijken zijn gecodeerd.
- Symmetrie-principe: In plaats van één meetmodaliteit als de "waarheid" en de andere als de "fout" te behanden, pasten de auteurs symmetrie toe. Zij behandelden zowel het mocap-systeem als een alternatieve modaliteit (meten met een lint) als voorlopig waar, waarbij zij de aannames en sociale praktijken achter beide analyseerden zonder één van beide als de grondwaarheid te bevoordelen.
Experimenteel Protocol:
- Deelnemers: 24 deelnemers werden gerekruteerd.
- Dataverzameling: Er werden twee fasen per deelnemer uitgevoerd:
  - Fase 1: Antropometrische metingen uitgevoerd met een meetlint volgens de protocollen van de National Health and Nutrition Examination Survey (NHANES).
  - Fase 2: Metingen uitgevoerd via het OptiTrack mocap-systeem, waarbij werd voldaan aan de standaard werkinstructies van de faciliteit (kalibratie, markerplaatsing op een "Baseline 41"-model, T-pose kalibratie en gescripte bewegingssequenties).
- Variabelen: De studie richtte zich op Lichaamssegmentparameters (BSP's), waaronder staande/zittende lengte, spanwijdte, biacromiale breedte en ledematenlengtes. Onafhankelijke variabelen waren lichaamsomvang (BMI, gewicht, segmentgrootte), geslacht en tijd (betrouwbaarheid over sessies).
Data-analyse:
- De auteurs gebruikten de Bland-Altman Limits of Agreement (LOA), uitgebreid met geneste regressiemodellen.
- Zij analyseerden het verschil tussen gepaarde metingen (bijv. mocap vs. lint, of sessie 1 vs. sessie 2) geregresseerd tegen het gemiddelde van het paar.
- Betrouwbaarheid werd gedefinieerd als regressiecoëfficiënten die niet statistisch significant verschillen van nul ( $p \ge 0,05$ ). Hiermee werd getest of de verschillen in metingen systematisch varieerden op basis van lichaamsomvang, geslacht of tijd.

Kernbijdragen

Introductie van Contextuele Audits: Het artikel definieert een methode om metingen te auditen binnen de specifieke praktijken die deze voortbrengen, waarbij men verder gaat dan synthetische of gedecontextualiseerde data om systemen te evalueren zoals ze daadwerkelijk worden gebruikt.
Toepassing van Symmetrie: Het demonstreert hoe het STS-concept van symmetrie audits mogelijk maakt in de afwezigheid van grondwaarheid. Door concurrerende meetmodaliteiten symmetrisch te behandelen, kunnen auditors de aannames van elk systeem bevragen zonder een definitief "juist" antwoord nodig te hebben, waardoor zij kunnen identificeren waar metingen in spanning staan.
Casestudy Demonstratie: Het artikel biedt een concreet blauwdruk voor het auditen van skeletinferentie, waarbij wordt getoond hoe contextuele en symmetrische audits geoperationaliseerd kunnen worden om de betrouwbaarheid van BSP's over verschillende lichaamstypen en tijd te beoordelen.

Resultaten
Opmerking: De verstrekte tekst schetst de methodologie, het framework en de hypothesen, maar vermeldt niet expliciet de uiteindelijke statistische bevindingen of specifieke numerieke resultaten van de regressieanalyse.

De studie heeft succesvol een protocol vastgesteld voor het vergelijken van mocap-afgeleide BSP's met antropometrie via een meetlint.
De analyse richtte zich op het testen van hypothesen over de betrouwbaarheid van metingen over tijd (H0), lichaamsomvang (H1), geslacht (H2) en tijdspunten (H3).
Het framework onthulde dat beide modaliteiten specifieke aannames coderen: mocap-systemen gaan uit van standaard lichaamslandmarks en weefselverdelingen (vaak gebaseerd op data van dunne mannen), terwijl antropometrische gidsen ervan uitgaan dat landmarks ongeacht de lichaamsvorm even identificeerbaar zijn.
De studie benadrukt dat zonder symmetrie, een audit de discrepanties mogelijk onterecht uitsluitend zou toeschrijven aan het falen van het mocap-systeem, in plaats van te erkennen dat de "grondwaarheid" zelf betwist is.

Betekenis en Claims
De auteurs beweren dat hun werk een noodzakelijke evolutie biedt in AI-auditing, met name voor systemen die het menselijk lichaam meten waarbij de grondwaarheid ongrijpbaar is.

Voorbij Accuraatheid: Zij stellen dat de vraag "is het systeem accuraat?" onvoldoende is wanneer de definitie van accuratheid betwist is. In plaats daarvan moeten auditors vragen: "welke aannames maakt dit systeem, en wat zijn de gevolgen van die aannames?"
Omgaan met Betwiste Waarheden: Het artikel stelt dat symmetrie auditors in staat stelt om door te gaan wanneer de grondwaarheid onbekend of betwist is, waarbij de focus verschuift van het vinden van één enkele juiste waarde naar het begrijpen van de sociale en technische praktijken die metingen valideren.
Voorkomen van Schade: Door de aannames onderliggend aan meetpraktijken (bijv. de historische afhankelijkheid van dunne mannelijke lichamen in mocap) bloot te leggen, kunnen contextuele audits potentiële representatieve schade en biases identificeren voordat deze systemen worden ingezet in contexten met hogere belangen (bijv. gezondheidszorg of veiligheidsmonitoring), waar deze biases ernstige reële gevolgen kunnen hebben.

Het artikel concludeert dat hoewel de casestudy zich richtte op het relatief laag-risico domein van creatief ontwerp, de methodologische aanpak cruciaal is voor toekomstige audits van hoog-risico mocap-toepassingen, om ervoor te zorgen dat de "waarheid" die wordt gebruikt om AI-systemen te evalueren, kritisch wordt onderzocht in plaats van als vanzelfsprekend te worden beschouwd.

Meer zoals dit