DfE-DB: A systematic database of 3.8 million human decisions across experience-based tasks

Het artikel introduceert de Decisions From Experience Database (DfE-DB), een uitgebreide open-access bron die 3,8 miljoen beslissingen op proefniveau van 11.921 deelnemers uit 168 studies harmoniseert om systematische vergelijkingen mogelijk te maken van hoe ontwerpelementen menselijke besluitvormingstendensen vormen en reproduceerbaar onderzoek stimuleren.

De kern

Stel je voor dat wetenschappers die al jaren proberen te begrijpen hoe mensen keuzes maken op basis van hun eerdere ervaringen, als detectives hebben gewerkt in aparte, geïsoleerde kamers. Elke detective heeft een stapel aanwijzingen (data), maar die zijn geschreven in verschillende talen, opgeslagen in verschillende notitieboeken en op verwarrende manieren georganiseerd. Hierdoor was het bijna onmogelijk om de bevindingen van de ene detective te vergelijken met die van de andere om het grote plaatje te zien.

Dit artikel introduceert een enorm nieuw instrument genaamd DfE-DB (Decisions From Experience Database) dat fungeert als een gigantische, universele vertaler en archiefkast voor al deze verspreide aanwijzingen.

Hier is wat ze hebben gedaan, eenvoudig uiteengezet:

1. De Grote Opruiming
De onderzoekers verzamelden een verbazingwekkende 3,8 miljoen individuele beslissingen die door bijna 12.000 mensen waren genomen in 168 verschillende studies. Vóór deze verzameling was deze data rommelig en gefragmenteerd. Het team heeft al deze ruwe, ongeorganiseerde stukjes informatie 'geharmoniseerd'. Denk hierbij aan het nemen van duizenden verschillende legpuzzels uit verschillende dozen, het sorteren van elk enkel stukje, en het plaatsen van ze allemaal in één grote, georganiseerde doos waar elk stukje perfect past.

2. De Universele Kaart
Ze hebben de data niet zomaar erin gegooid; ze hebben een gedetailleerde kaart gemaakt. Ze hebben elke studie gecategoriseerd op basis van 13 specifieke ontwerpeigenschappen. Stel je voor dat je probeert te begrijpen waarom mensen verschillende smaken ijs kiezen. In plaats van alleen naar de smaken te kijken, zou je ook de temperatuur van de kamer, de kleur van de lepel en of de persoon hongerig was, noteren. De DfE-DB doet precies dit voor besluitvorming, waarbij elk experiment wordt getagd met details zoals:

• Kreeg de persoon directe feedback?
• Waren de uitkomsten voorspelbaar of willekeurig?
• Bleven de spelregels hetzelfde of veranderden ze?

3. Wat Ze Ontdekten
Zodra ze deze verenigde kaart hadden, konden ze eindelijk patronen zien die eerder verborgen waren. Ze ontdekten dat hoe mensen kiezen – of ze de neiging hebben risico's te nemen, op safe te spelen of te gaan voor het gemiddelde resultaat – drastisch verandert afhankelijk van de 'spelregels' (de ontwerpeigenschappen).

Bijvoorbeeld, de manier waarop een taak is opgezet (zoals of je direct het resultaat wordt verteld of moet wachten) bepaalt sterk of iemand gedurfd of voorzichtig handelt. De database toonde aan dat deze specifieke ontwerpeigenschappen een groot deel van de verschillen tussen studies verklaren. Het is als het besef dat de reden dat mensen zich in verschillende experimenten anders gedragen, niet ligt aan het feit dat mensen inconsistent zijn, maar omdat de 'spellen' die ze spelen subtiele maar krachtige verschillen hebben.

4. Het Resultaat
Het hoofddoel van dit artikel is een verenigde, open-access basis voor de wetenschap te bieden. Door onderzoekers een enkele, betrouwbare plek te geven om data te vergelijken, stelt het hen in staat om te testen of de regels van menselijk gedrag die ze in één studie ontdekken, ook waar zijn in een andere. Het verandert een chaotische verzameling geïsoleerde experimenten in een samenhangende, geïntegreerde wetenschap van hoe we leren van onze ervaringen.

Kortom, het artikel bouwde niet alleen een grotere bibliotheek; het bouwde een systeem dat ons eindelijk in staat stelt om alle boeken in die bibliotheek tegelijkertijd te lezen om het volledige verhaal van menselijke besluitvorming te begrijpen.

Technische samenvatting

Technische Samenvatting: DfE-DB

Probleemstelling
Onderzoek naar leren uit ervaring bij menselijk besluitvorming is beperkt door een gebrek aan systematische vergelijkbaarheid tussen studies. Vooruitgang op dit gebied wordt gehinderd door twee hoofdzaken: heterogene taakontwerpen en gefragmenteerde dataformaten. Deze inconsistenties voorkomen dat onderzoekers verenigde kwantitatieve vergelijkingen kunnen uitvoeren, waardoor de generaliseerbaarheid van gedragsverschijnselen en computationele modellen over verschillende experimentele contexten heen wordt vertroebeld.

Methodologie
Om deze fragmentatieproblemen aan te pakken, hebben de auteurs de Decisions From Experience Database (DfE-DB) opgezet. Deze bron omvat de systematische aggregatie en harmonisatie van ruwe gedragsdata uit 168 verschillende studies met in totaal 11.921 deelnemers. De database omvat ongeveer 3,8 miljoen beslissingen op proefniveau die zich uitstrekken over 13 verschillende experimentele paradigma's.

De kernmethodologische bijdrage ligt in het standaardisatieproces. De auteurs hebben niet alleen data geaggregeerd; ze hebben ruwe gedragsrecords geharmoniseerd en elke studie geclassificeerd volgens 13 belangrijke ontwerpeigenschappen. Dit classificatieraamwerk maakt een systematische mapping van experimentele variabelen mogelijk, zoals feedbacktypes, uitkomststructuren, stationariteit en bemonsteringsmethoden, waardoor kwantitatieve vergelijkingen mogelijk worden die eerder onmogelijk waren vanwege structurele heterogeniteit.

Belangrijkste Bijdragen

1. Verenigde Infrastructuur: De DfE-DB dient als een gestructureerde, open-access bron die uiteenlopende datasets verenigt in één enkele, uitbreidbare data-infrastructuur.
2. Taxonomie van Ontwerpeigenschappen: Door studies te classificeren langs 13 specifieke ontwerpeigenschappen, biedt de database een mechanisme om te analyseren hoe specifieke experimentele parameters besluitvormingsuitkomsten beïnvloeden.
3. Reproduceerbaarheid: De bron is ontworpen om reproduceerbaar onderzoek te faciliteren, waardoor de strenge toetsing van de generaliteit van gedragsverschijnselen en computationele modellen mogelijk wordt over een breed spectrum aan experimentele voorwaarden.

Resultaten
Met gebruikmaking van de DfE-DB hebben de auteurs een analyse uitgevoerd van keuzetendensen, specifiek gericht op voorkeuren voor hoger risico, verwachte waarde of ervaren gemiddelde. De resultaten geven aan dat deze tendensen aanzienlijk variëren tussen verschillende paradigma's. Cruciaal is dat de analyse aantoont dat deze variabiliteit sterk wordt gevormd door kernontwerpeigenschappen, waaronder:

• Feedbacktype
• Uitkomststructuur
• Stationariteit
• Bemonsteringsmethoden

De database onthult dat deze ontwerpeigenschappen een substantieel deel van de variabiliteit in besluitvormingsgedrag tussen studies verklaren. Bovendien benadrukt de analyse het bestaan van onderbelichte varianten van paradigma's binnen de bestaande literatuur.

Betekenis
Het artikel positioneert de DfE-DB als een fundamenteel instrument voor het bevorderen van een meer geïntegreerde wetenschap van beslissingen uit ervaring. Door een verenigd platform te bieden, stelt de database onderzoekers in staat om voorbij geïsoleerde studievergelijkingen te gaan en systematische, kwantitatieve evaluaties uit te voeren van hoe experimenteel ontwerp menselijk gedrag vormgeeft. De auteurs stellen dat deze infrastructuur essentieel is voor het toetsen van de robuustheid en generaliteit van bestaande gedrags-theorieën en computationele modellen, en zo de beperkingen aanpakt die worden opgelegd door gefragmenteerde data en heterogene taakontwerpen.