The Pragmatic Frames of Spurious Correlations in Machine Learning: Interpreting How and Why They Matter

Technische Samenvatting: De Pragmatische Kaders van Schijnbare Correlaties in Machine Learning

Probleemstelling
Machine learning (ML) vertrouwt op het leren van correlaties uit data om voorspellingen te doen. Modellen vangen echter vaak "schijnbare correlaties" op—relaties die statistisch aanwezig zijn in trainingsdata maar de onderliggende causale mechanismen van het doelphefenomen niet weerspiegelen. Hoewel de statistische definitie van schijnbaarheid helder is (een niet-causale relatie die voortkomt uit toeval of verwarrende factoren), toont de ML-literatuur een kloof tussen deze formele definitie en hoe onderzoekers het probleem in de praktijk daadwerkelijk identificeren en aanpakken.

Standaard ML-pijplijnen missen vaak het vermogen om causaliteit te onderscheiden van correlatie. Wanneer modellen dus falen door onbedoelde correlaties (bijvoorbeeld koeien classificeren op basis van grasachtergronden in plaats van dierlijke kenmerken), moeten onderzoekers bepalen waarom de correlatie problematisch is. Het artikel betoogt dat onderzoekers zelden steunen op formele causale definities om een correlatie als schijnbaar te labelen. In plaats daarvan betrekken ze "zingeving" via alternatieve lenzen die technische prestaties, taakuitlijning of ethische uitkomsten prioriteren boven strikte causale inferentie.

Methodologie
De auteurs voerden een tweestaps kritische literatuuranalyse uit om te identificeren hoe schijnbaarheid wordt ingekaderd en gerechtvaardigd in ML-onderzoek.

1. Datacollectie: Met behulp van de Semantic Scholar API haalden de auteurs 713 papers op die de termen "spurious correlation" (schijnbare correlatie), "spurious feature" (schijnbaar kenmerk) of "shortcut" (snelweg) bevatten, afkomstig uit ML-, NLP- en computer vision-venues (inclusief preprints, tijdschriftartikelen en conferentiepapers).
2. Steekproef en codering:
   • Stap 1: Een subset van 200 papers werd willekeurig geselecteerd voor handmatige screening, wat resulteerde in 49 relevante papers. Via een bibliografische review werden 16 extra hoog-impact werken toegevoegd, waardoor een initiële analytische steekproef van 65 papers ontstond. Twee auteurs codeerden deze papers onafhankelijk van elkaar om terugkerende redeneringen te extraheren voor het labelen van correlaties als schijnbaar.
   • Stap 2: Het vastgestelde coderingskader werd toegepast op de overige 513 papers (na filtering op relevantie en kwaliteit), wat resulteerde in 222 extra artikelen.
3. Eindsteekproef: De analyse resulteerde in een totale steekproef van 287 papers. De auteurs identificeerden vier dominante "pragmatische kaders" die worden gebruikt om schijnbaarheid te interpreteren, waarbij werd opgemerkt dat papers vaak meerdere kaders tegelijkertijd aanroepen.

Belangrijkste Bijdragen: De Vier Pragmatische Kaders
Het artikel stelt dat de wenselijkheid van een correlatie geen vaste statistische eigenschap is, maar een situationeel oordeel dat wordt ingegeven door "pragmatische kaders". Deze kaders vertegenwoordigen specifieke manieren van kijken die onderzoekers helpen aspecten van het probleem te isoleren en te interpreteren op basis van functie en normatieve doelen, in plaats van vaste definities. De vier geïdentificeerde kaders zijn:

1. Relevantie:

   • Definitie: Een correlatie is schijnbaar als deze niet relevant is voor de specifieke leertaak, zelfs als deze voorspellend is in de trainingsdata.
   • Redenering: Onderzoekers verwachten dat modellen kenmerken gebruiken die inherent relevant zijn voor het doellabel (bijvoorbeeld de vorm van een object) in plaats van incidentele artefacten (bijvoorbeeld achtergrondkleur of textuur).
   • Kritiek: "Relevantie" wordt vaak gedefinieerd door de beperkingen van de dataset en de intentie van de onderzoeker (bijvoorbeeld ervan uitgaande dat de achtergrond irrelevant is bij single-label beeldclassificatie) in plaats van door de intrinsieke eigenschappen van de data.

2. Generaliseerbaarheid:

   • Definitie: Een correlatie is schijnbaar als deze niet standhoudt over verschillende dataverdelingen, specifiek bij de overgang van trainings- naar testdata of onder "out-of-distribution" (OOD) verschuivingen.
   • Redenering: Modellen moeten stabiele, omgevingsinvariante relaties leren. Correlaties die "omgevingsspecifiek" zijn of vertrouwen op "misleidende heuristieken" die niet generaliseren, worden als schijnbaar beschouwd.
   • Kritiek: Onderzoekers specificeren zelden welke verdelingen een model moet generaliseren naar. De definitie van een "stress-test" of "natuurlijke verdelingsverschuiving" is afhankelijk van de verwachtingen van de onderzoeker en de praktische mogelijkheid om representatieve testsets te construeren.

3. Menselijkheid:

   • Definitie: Een correlatie is schijnbaar als deze steunt op besluitregels of kenmerken die een mens niet zou gebruiken om dezelfde taak uit te voeren.
   • Redenering: Dit kader gaat ervan uit dat een "mensachtige" functie de gouden standaard is. Als mensen bijvoorbeeld objecten herkennen op basis van vorm maar een model vertrouwt op textuur, wordt de correlatie van het model als schijnbaar beschouwd.
   • Kritiek: Dit kader veronderstelt een universeel, stabiel account van menselijke cognitie, wat wordt betwist door bewijs van culturele en demografische variatie in menselijke perceptie. Bovendien kan dit conflicteren met doelen om systemen te bouwen die menselijke prestaties overtreffen of anders functioneren om menselijke vooroordelen te vermijden.

4. Schadelijkheid:

   • Definitie: Een correlatie is schijnbaar als het gebruik ervan leidt tot sociaal of ethisch schadelijke uitkomsten, zoals het versterken van vooroordelen tegen beschermde groepen.
   • Redenering: Zelfs als een correlatie statistisch stabiel en voorspellend is, wordt deze als ongewenst beschouwd als deze maatschappelijke stereotypen codeert (bijvoorbeeld "CEO" associëren met mannen) of leidt tot prestatieverschillen voor minderheidsgroepen.
   • Kritiek: Het bepalen van "schade" vereist normatieve oordelen over hoe de wereld zou moeten worden weergegeven versus hoe deze is. Een correlatie die een stabiel feit weerspiegelt (bijvoorbeeld de geslachtsverdeling in de verpleegkunde) kan als schijnbaar worden gelabeld als het stereotypen versterkt, wat benadrukt dat het kader wordt gedreven door ethische doelen in plaats van dat eigenschappen.

Resultaten en Bevindingen

• Prevalentie: Onder de 287 geanalyseerde papers was Generaliseerbaarheid het meest aangesproken kader (44%), gevolgd door Relevantie (36%), Schadelijkheid (28%) en Menselijkheid (18%).
• Operationalisering: De studie vond dat onderzoekers zelden schijnbaarheid definiëren met formele causale theorie. In plaats daarvan gebruiken ze deze pragmatische kaders als motivatie voor het ontwikkelen van oplossingen (bijvoorbeeld robuustheidstechnieken, eerlijkheidsbeperkingen).
• Contingentie: De classificatie van een correlatie als "schijnbaar" is sterk afhankelijk van de intentie van de onderzoeker, de specifieke taak en de normatieve doelen van het project. Wat in één context als een "snelweg" wordt beschouwd (bijvoorbeeld achtergrondkleur bij objectherkenning), kan in een andere context een geldig kenmerk zijn.

Betekenis en Claims
Het artikel claimt bij te dragen aan bredere gesprekken over de epistemische cultuur van machine learning door aan te tonen dat technische concepten zoals "schijnbaarheid" worden gedefinieerd en geoperationaliseerd via contingente praktijken in plaats van statische definities.

• Epistemische Verschuiving: De auteurs betogen dat onderzoekers door te steunen op pragmatische kaders schijnbaarheid transformeren van een statische eigenschap van data naar een dynamische relatie tussen data en de verwachtingen van de onderzoeker.
• Normatieve Implicaties: De keuze welk kader prioriteit krijgt (bijvoorbeeld relevantie prioriteren boven menselijkheid) is een waardegeladen beslissing met trade-offs. Het artikel suggereert dat de ML-gemeenschap deze normatieve keuzes vaak verbergt door de term "schijnbaar" te gebruiken als technische afkorting.
• Toekomstrichtingen: De auteurs stellen dat het erkennen van deze kaders kan dienen als een hulpbron voor het verbeteren van ML-methoden. In plaats van de pragmatische aard van deze oordelen te negeren, zou toekomstig werk benchmarks en methoden kunnen ontwikkelen die expliciet inspelen op de specifieke kaders waar onderzoekers om geven (bijvoorbeeld ontwerpen voor specifieke verdelingsverschuivingen of het expliciet verminderen van schade).
• Bescheidenheid: De auteurs stellen expliciet dat hun typologie niet uitputtend is en dat naarmate ML-onderzoek evolueert naar multimodale en agent-gebaseerde domeinen, nieuwe kaders kunnen ontstaan. Ze benadrukken dat hun doel is om een theoretisch lens te bieden voor het bevragen van de grenzen van correlatie-gebaseerde ML, en niet om een definitieve causale oplossing te bieden.