Different representation learning objectives recover distinct latent structures from the same psychometric data

In de stille hoekjes van een klaslokaal zijn de dagelijkse ervaring van een leraar en het gedrag van een kind diep met elkaar verweven. We weten dat het welzijn van een leraar, hun vertrouwen in hun vaardigheden en het emotionele klimaat dat zij creëren, de manier waarop kinderen handelen en leren kunnen vormen. Decennialang hebben wetenschappers deze verbinding bestudeerd door leraren en kinderen vragenlijsten te laten invullen met lange lijsten over hun gevoelens en acties. Traditioneel hebben onderzoekers deze honderden individuele antwoorden samengevoegd tot een paar samenvattende scores, om vervolgens patronen tussen die scores te zoeken. Deze methode werkt, maar gaat ervan uit dat het belangrijkste verhaal verborgen ligt in de gemiddelden. Het behandelt de gedetailleerde, rommelige realiteit van een enkele vraag over de stemming van een kind of de stress van een leraar als minder belangrijk dan het uiteindelijke getal waar het bij helpt creëren.

Onlangs is er een nieuwe benadering opgekomen in de studie van menselijk gedrag, een benadering die krachtige computersystemen gebruikt om direct naar de ruwe, individuele antwoorden te kijken. Deze systemen, vaak way aangeduid als representation learning, proberen verborgen patronen in hoogdimensionale data te vinden zonder vooraf te worden verteld waarnaar ze moeten zoeken. Ze kunnen duizenden specifieke details comprimeren tot een eenvoudigerere kaart waarbij vergelijkbare zaken dicht bij elkaar liggen. Een natuurlijke vraag rijst voor wetenschappers die deze instrumenten gebruiken: als je dezelfde set antwoorden op vragenlijsten in verschillende computersystemen voert, vinden ze dan allemaal dezelfde verborgen kaart? Of verandert het specifieke doel van de computer de kaart die hij tekent? Deze vraag is van belang omdat als het doel van de computer de kaart verandert, de "waarheid" die we in de data vinden meer kan afhangen van het instrument dat we gebruiken dan van de mensen die we bestuderen.

Een team van onderzoekers zette zich in om deze vraag te beantwoorden met behulp van data uit een grote kleuterstudie in Cyprus. Zij hadden toegang tot 757 gekoppelde paren van leraren en kinderen, waarbij elke leraar 139 vragen over hun eigen welzijn en werk had ingevuld en elk kind was beoordeeld op 82 vragen over hun gedrag. De onderzoekers wilden zien of ze deze gekoppelde vragenlijsten konden gebruiken om een gedeelde kaart te bouwen waar een leraar en hun specifieke kind dicht bij elkaar zouden verschijnen. Tegelijkertijd wilden ze zien of deze kaart ook vanzelf kinderen zou groeperen met vergelijkbare gedragsprofielen, zoals kinderen die zeer aanpasbaar zijn versus kinderen die worstelen.

Om te beginnen stelden de onderzoekers eerst vast hoe een "gedragskaart" eruitzag met behulp van een standaard, goed begrepen methode. Ze namen de 82 gedragsvragen van de kinderen en gebruikten een techniek genaamd principal component analysis om de belangrijkste patronen te vinden. Dit proces onthulde vier duidelijke groepen kinderen. Eén groep vertoonde hoge niveaus van adaptief functioneren, wat betekent dat zij sociale situaties goed aankonden. Een andere groep was matig adaptief, een derde vertoonde enige kwetsbaarheid, en een vierde groep kampte met hoge gedragsrisico's. Deze groepen waren duidelijk en onderscheidend; de kinderen in de risicogroep scoorden heel anders op hun gedragsschalen vergeleken met de hoogfunctionerende groep. Dit bevestigde dat de data een sterke, natuurlijke structuur bevatte met betrekking tot hoe kinderen zich gedroegen.

Vervolgens probeerden de onderzoekers een kaart te bouwen die leraren met hun specifieke kinderen zou verbinden. Ze gebruikten een moderne computerleer-methode genaamd contrastive learning. Stel je een systeem voor dat wordt verteld: "Hier is een leraar en hier is hun kind; zorg dat hun digitale vingerafdrukken erg op elkaar lijken. Hier is een leraar en een kind die elkaar niet kennen; zorg dat hun vingerafdrukken heel verschillend zijn." De computer leerde zijn interne kaart aan te passen om dit doel te bereiken. De resultaten waren opmerkelijk. Wanneer de onderzoekers de computer vroegen om het juiste kind voor een bepaalde leraar te vinden, slaagde de computer veel beter dan met de standaardmethode. Met de standaardmethode kon de computer het juiste kind slechts in 0,13% van de gevallen raden. Met de nieuwe contrastive learning-methode had de computer het juiste kind in 7,27% van de gevallen bij de eerste poging gevonden, en binnen de top tien suggesties in 56,14% van de gevallen. Dit bewees dat de computer erin slaagde de unieke verbinding tussen een specifieke leraar en hun specifieke leerling te leren.

Echter, een verrassend probleem ontstond toen de onderzoekers naar de gedragsgroepen van de kinderen binnen deze nieuwe kaart keken. Hoewel de computer uitstekend was in het koppelen van leraren aan kinderen, was hij slecht in het groeperen van kinderen op basis van hun gedrag. De vier duidelijke gedregroepen die eerder waren gevonden, waren bijna verdwenen. De kinderen die zeer aanpasbaar waren, lagen verspreid over de hele kaart, gemengd met de kinderen die een hoog risico liepen. De computer had zo goed geleerd om de leraar-kindverbinding te zien, dat hij in feite de verschillen tussen de gedragstypen van de kinderen had uitgewist. De kaart was geoptimaliseerd voor relaties, niet voor persoonlijkheid.

Om te testen of dit een fundamentele afruil was, probeerden de onderzoekers een derde benadering. Ze bouwden een systeem dat twee taken tegelijk had: het moest leraren aan kinderen koppelen, en het moest ook de gedragsgroep van het kind voorspellen. Ze hoopten dat dit de computer zou dwingen om beide soorten informatie te behouden. Het resultaat was een compromis. Het systeem werd veel beter in het bij elkaar houden van de gedragsgroepen, waardoor de groepen weer duidelijk en onderscheidend werden. Maar deze verbetering ging gepaard met een prijs. Het vermogen van het systeem om leraren aan hun specifieke kinderen te koppelen, daalde drastisch naar niveaus die vergelijkbaar waren met de standaardmethode.

De studie concludeert dat er niet één enkele, perfecte kaart van deze data bestaat. De verborgen structuur die een computer vindt, hangt volledig af van wat de computer wordt gevraagd te zoeken. Als het doel is om de link tussen een leraar en een kind te vinden, vindt de computer een kaart vol van die verbindingen, maar verliest hij de gedragsgroepen. Als het doel is om gedragsgroepen te vinden, vindt de computer die, maar verliest hij de specifieke leraar-kindkoppelingen. De onderzoekers suggereren dat leraar-kind correspondentie en gedragsphenotypes twee verschillende soorten organisatie zijn die in dezelfde data bestaan. Geen van beide is "echter" dan de andere, maar een enkel computermodel kan beide niet even goed vastleggen. Deze bevinding dient als een herinnering dat wanneer we geavanceerde instrumenten gebruiken om het menselijk gedrag te bestudelen, de antwoorden die we krijgen worden gevormd door de vragen die we de machine stellen. De data ligt niet simpelweg te wachten om gelezen te worden; het onthult verschillende waarheden afhankelijk van de lens die we gebruiken om ernaar te kijken.