Position: Every Ground Truth is a Human Construction, not an Objective Truth

Technische Samenvatting: Elke Ground Truth is een Menselijke Constructie, geen Objectieve Waarheid

Probleemstelling
Het artikel adresseert een fundamenteel misverstand in machine learning (ML) onderzoek en ontwikkeling: de behandeling van "ground truth"-datasets als neutrale, objectieve en vooraf bestaande metingen van de werkelijkheid. De auteurs stellen dat ground truths geen natuurlijk gegeven feiten zijn, maar in plaats daarvan menselijke constructies die het resultaat zijn van een complexe afstemming van beslissingen, technologieën en sociale processen. Dit gebrek aan inzicht leidt tot het "black-box"-effect bij kritieke keuzes met betrekking tot databronnen, labeling-ontologieën en observatiemethoden. Als gevolg hiervan slaagt de ML-gemeenschap er vaak niet in om de contingentie (het "het had ook anders kunnen zijn"-karakter) van deze datasets te herkennen, wat leidt tot ongepaste toepassingen van modellen, een overschatting van de nauwkeurigheid en een gebrek aan transparantie over de grenzen van de betrouwbaarheid van modellen. Het artikel benadrukt dat het behandelen van ground truths als universele waarheden de gesitueerdheid ervan negeert, wat potentieel ernstige negatieve gevolgen kan hebben wanneer modellen worden ingezet in contexten die verschillen van de contexten waarin de data zijn geconstrueerd.

Methodologie en Analytisch Kader
In plaats van een nieuwe algoritmische methode voor te stellen of een specifieke empirische experiment uit te voeren, hanteert dit artikel een conceptueel en kritisch analyse-kader geworteld in Science and Technology Studies (STS) en Computer-Supported Collaborative Work (CSCW). De auteurs:

1. Herformuleren het Concept: Ze nemen de definitie van Jaton (2017) over waarbij "ground truthing" wordt gezien als een praktijk van het definiëren van problemen en doelen, waardoor de focus verschuift van "ontdekking" naar "constructie".
2. Categoriseren Constructieplaatsen: De auteurs analyseren vier verschillende "constructieplaatsen" waar ground truths worden gegenereerd om de variabiliteit van het constructieproces te illustreren:
   • Directe Meting: Zelfs sensor-gebaseerde data bevatten keuzes met betrekking tot apparatuur, plaatsing, timing en metadata.
   • Expertinterpretatie: Expert-labels (bijv. in medische beeldvorming) zijn onderhevig aan inter- en intra-expert variabiliteit, onderhandeling en de specifieke context van de training en instelling van de expert.
   • Crowd Consensus: Crowd-sourced labels maken gebruik van aggregatiemethoden (bijv. meerderheidsstemming) die vaak menselijke labelvariatie (HLV) en culturele subjectiviteit verhullen.
   • Synthetische Data: Simulaties en generatieve AI creëren "bekende waarheden" die inherent gefabriceerd zijn en afhankelijk zijn van de parameters en modellen die worden gebruikt om ze te genereren.
3. Analyseren van Communicatie en Samenwerking: Het artikel onderzoekt de "constructie van betekenis" en stelt dat betrouwbare ground truths een gedeeld begrip en onderhandeling vereisen tussen ML-praktici, domeinexperts en labelaars, in plaats van eenvoudige datacaptuur.

Belangrijkste Bijdragen
Het artikel levert theoretische en praktische bijdragen aan het ML-discours:

• Theoretische Verschuiving: Het stelt dat ground truths "gesitueerd" en "contingent" zijn, en verwerpt het idee van een enkele, universele objectieve waarheid. Het introduceert het concept van "gesitueerde betrouwbaarheid", gedefinieerd als betrouwbaarheid die alleen geldig is binnen een specifieke context, in plaats van een generieke kwantitatieve metriek.
• Deconstructie van de "Oracle" en de "Sensor": De auteurs dagen de visie uit dat menselijke experts onfeilbare "oracles" of neutrale "sensoren" zijn, door aan te tonen dat expert-labeling een sociaal proces is dat onderhevig is aan onderhandeling en onzekerheid.
• Identificatie van Constructiepaden: Door de beslismomenten in kaart te brengen (bijv. wie de ontologie definieert, hoe observaties worden gemaakt, welke bronnen worden gebruikt), biedt het artikel een kader om te begrijpen hoe verschillende paden leiden tot verschillende ground truths voor dezelfde taak.
• Kritiek op Huidige Praktijken: Het artikel bekritiseert het gebrek aan standaardvocabulaire en documentatie voor de beperkingen van ground truth, waarbij wordt opgemerkt dat huidige praktijken er vaak niet in slagen de herkomst (provenance) en de constructiekeuzes te vatten die de modelprestaties beïnvloeden.

Resultaten en Bevindingen
Als position paper presenteert het werk geen experimentele resultaten, maar synthetiseert het bestaande literatuur en casestudies om de gevolgen van het negeren van het geconstrueerde karakter van ground truths aan te tonen:

• Contextuele Drift: Het artikel citeert voorbeelden waarbij benchmark-datasets (bijv. MNIST, UCI Adult) ver buiten hun oorspronkelijke constructiecontext zijn toegepast, wat leidde tot misleidende conclusies of prestatieverlies (bijv. een daling van 47% in de prestaties van een MRI-model door ongedocumenteerde preprocessing).
• Impact van Constructiekeuzes: Het illustreert hoe specifieke beslissingen, zoals het verminderen van de beeldresolutie in MNIST vanwege hardwarebeperkingen in de jaren 90, de mogelijkheden van latere modellen permanent hebben beperkt.
• Variatie als Informatie: De analyse suggereert dat menselijke labelvariatie (HLV) vaak wordt behandeld als ruis die verwijderd moet worden, terwijl het erkend zou moeten worden als informatieve data die de complexiteit van het gemodelleerde fenomeen weerspiegelt.
• Interdisciplinaire Noodzaak: De bevindingen wijzen erop dat het creëren van betrouwbare ground truths interdisciplinele samenwerking vereist, aangezien ML-praktici alleen vaak niet in staat zijn om de domeinspecifieke nuances te interpreteren die nodig zijn voor nauwkeurige labeling.

Betekenis en Claims
De auteurs beweren dat het erkennen van ground truths als menselijke constructies essentieel is voor het verbeteren van de betrouwbaarheid, transparantie en verantwoording van ML-systemen.

• Verbeterde Betrouwbaarheid: Door een perspectief van "gesitueerde betrouwbaarheid" te adopteren, kan de gemeenschap beter begrijpen waar, wanneer en hoe modellen veilig kunnen worden gebruikt, wat het ongekritisch overnemen van slecht passende oplossingen voorkomt.
• Verhoogde Transparantie: Het "un-boxen" van het constructieproces maakt een betere documentatie van beperkingen mogelijk, waardoor onderzoekers de geldigheid van een dataset voor hun specifieke gebruiksdoel kunnen beoordelen.
• Interdisciplinaire Samenwerking: Het erkennen van het sociale en technische werk dat betrokken is bij ground truthing bevordert een betere samenwerking tussen ML-onderzoekers, domeinexperts en sociale wetenschappers.
• Onderwijshervorming: Het artikel pleit voor het integreren van kritische reflecties op dataconstructie en interdisciplinaire samenwerking in het ML-onderwijs om onderzoekers voor te bereiden op de complexiteit van real-world data.

Uiteindelijk roept het artikel op tot een verschuiving in de mindset van de ML-gemeenschap: van het zien van datacollectie als een passieve observatie van feiten naar het zien van het als een actief, intentioneel en collaboratief proces van dataconstructie. Deze verschuiving wordt gepresenteerd, niet als een last, maar als een noodzakelijke stap naar het creëren van robuustere en ethisch meer verantwoorde AI-systemen.