Psychometric inference without refitting across heterogeneous instruments and populations
Dit artikel introduceert METER, een via simulatie getraind psychometrisch model dat er succesvol in slaagt om persoonlijkheidskenmerken te infereren over diverse onbekende instrumenten en populaties zonder opnieuw te fitten, waarbij het een hoge correlatie bereikt met deskundige schattingen in real-world data terwijl het beperkingen vertoont in het afhandelen van specifieke structurele complexiteiten en het vaststellen van absolute validiteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van het meten van menselijke eigenschappen, van de diepte van iemands depressie tot de breedte van hun persoonlijkheid, vertrouwen wetenschappers op vragenlijsten. Deze instrumenten vragen mensen om hun gevoelens of gedragingen te beoordelen, en de antwoorden worden gebruikt om een verborgen score te berekenen, een zogenaamde latente eigenschap, die vertegenwoordigt wie ze zijn of hoe ze zich voelen. Traditioneel gezien moeten onderzoekers telkens wanneer ze een nieuwe vragenlijst willen gebruiken of een andere groep mensen willen bestuderen, weer helemaal opnieuw beginnen. Ze bouwen een op maat gemaakt wiskundig model, voeren het de nieuwe gegevens in en voeren een complexe berekening uit om de beste pasvorm te vinden. Dit proces is flexibel maar traag, omdat er voor elke nieuwe studie een nieuwe ronde zware berekeningen nodig is, vergelijkbaar met een timmerman die voor elk ander stuk hout een nieuwe set gereedschap moet maken.
Een team onderzoekers van de Columbia University en UNSW Sydney stelde een andere vraag: zou één enkel, vooraf gebouwd systeem kunnen leren om deze vragenlijsten te scoren zonder dat het voor elke nieuwe situatie opnieuw gebouwd hoeft te worden? Ze vroegen zich af of een computerprogramma volledig getraind kon worden op gesimuleerde gegevens—miljoens verzonnen testsituaties gegenereerd door een computer—om de algemene regels te leren van hoe mensen vragen beantwoorden. Als dit succesvol zou zijn, zou dit "geamortiseerde" systeem een nieuwe, ongeziene vragenlijst uit de echte wereld kunnen bekijken en direct een score kunnen produceren, zonder nieuwe training of aanpassing. Dit zou betekenen dat het zware werk om te begrijpen hoe men menselijke eigenschappen meet, één keer plaatsvindt in een virtuele wereld, waardoor het systeem direct herbruikbaar is voor verschillende culturen, talen en soorten tests.
De onderzoekers bouwden een systeem dat ze METER noemen, wat staat voor Measurement Engine for Transferable Estimation and Representation. In plaats van te leren van echte mensen, werd METER getraind op 40 verschillende gesimuleerde werelden waarin de computer de exacte waarheid wist over elke persoon en de moeilijkheidsgraad van elke vraag. In deze simulaties leerde het systeem patronen te herkennen in hoe mensen op vragen reageren, ongeacht hoeveel vragen er werden gesteld of wie ze beantwoordde. Zodra deze training voltooid was, bevroren de onderzoekers de interne instellingen van het systeem, zodat deze niet meer konden veranderen. Vervolgens testten ze dit bevroren systeem op echte gegevens van duizenden mensen over de hele wereld, met behulp van vragenlijsten die het systeem tijdens zijn training nog nooit had gezien.
De resultaten toonden aan dat het bevroren systeem de kennis inderdaad met opmerkelijke nauwkeurigheid naar de echte wereld kon overdragen. Bij een test op een depressieschaal die werd gebruikt in de European Social Survey, waarbij meer dan 40.000 mensen in 21 landen betrokken waren, kwamen de scores van het systeem overeen met die van traditionele, op maat gemaakte modellen met een correlatie van bijna 0,97. In een nog strengere test met een andere depressieschaal in de Survey of Health, Ageing and Retirement in Europe, behaalde het systeem een correlatie van bijna 0,99 over 28 landen. Dit betekent dat de volgorde van mensen van de laagste naar de hoogste op de eigenschapsschaal bijna identiek was aan wat een specialistisch model zou hebben geproduceerd, maar dan zonder dat het specialistische model gebouwd of uitgevoerd hoefde te worden. Het systeem werkte ook goed voor complexe persoonlijkheidstests die meerdere eigenschappen tegelijkertijd meten, mits de onderzoekers het systeem vertelden welke vragen bij welke eigenschap hoorden.
De studie definieerde echter ook duidelijk waar deze nieuwe aanpak ophoudt te werken. Het systeem faalde wanneer het werd gevraagd een cognitieve vaardigheidstest te analyseren die gebruikmaakte van meerkeuzevragen, een format dat zeer verschillend is van de beoordelingsschalen waarop het getraind was. Het kon ook niet zelfstandig nieuwe patronen of verborgen structuren in de gegevens ontdekken; het kon eigenschappen alleen scoren als de onderzoekers een duidelijke kaart leverden van hoe de vragen bij elkaar horen. Bovendien kon het systeem, hoewel het mensen accuraat kon rangschikken, nog niet de precieze statistische betrouwbaarheidsintervallen bieden die artsen of onderzoekers vaak nodig hebben om klinische beslissingen te nemen. Het systeem is een krachtig hulpmiddel voor het hergebruiken van scoringslogica in verschillende omgevingen, maar het is geen toverstaf die de noodzaak voor zorgvuldige studieontwerp of het begrip van wat er daadwerkelijk wordt gemeten vervangt.
De onderzoekers hebben aangetoond dat het mogelijk is om de regels van meting te leren in een gesimuleerde omgeving en deze zonder hertraining toe te passen op de echte wereld. Dit verschuift de focus van het oplossen van een nieuw wiskundig probleem voor elke studie naar het toepassen van een geleerde vaardigheid op nieuwe situaties. Hoewel het systeem nog geen vervanging is voor alle traditionele methoden, biedt het een manier om grote, diverse datasets snel en consistent te scoren. De studie concludeert dat deze aanpak het beste werkt wanneer de vragen vergelijkbaar zijn met de vragen waarvan het systeem heeft geleerd en wanneer de structuur van de test vooraf bekend is. Het vormt een belangrijke stap naar het efficiënter maken van psychometrische scoring, hoewel het een instrument blijft dat gebruikt moet worden met een duidelijk begrip van de grenzen en de specifieën van de gegevens die het kan verwerken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.