Rethinking Model Selection in Choice Behavior

Technische Samenvatting: Het heroverwegen van modelselectie in keuzegedrag

Auteur
Naoki Kamiya, die aan het Instituut voor Wiskundige Statistiek was verbonden toen het werk dat in het manuscript wordt gerapporteerd werd uitgevoerd, en die momenteel onderzoek voert via het Relations & Behavior Lab, Tokio, Japan.

Probleemstelling
Traditioneel onderzoek naar de experimentele analyse van keuzegedrag heeft zwaar geleund op een "theoretisch monisme", waarbij één enkel canoniek model (meestal de Gegeneraliseerde Matching Law of specifieke logit/probit-formuleringen) wordt geselecteerd om keuze over diverse contexten te beschrijven. Deze benadering frameert modelvergelijking als een zoektocht naar de enkele "correcte" formulering. De auteur betoogt echter dat dit perspectief fundamenteel niet in lijn is met de doelen van gedragsanalyse, die prioriteit geven aan de voorspelling en controle van gedrag door de manipulatie van omgevingsvariabelen (bijv. versterkingssnelheden, magnitudes, changeover-vertragingen).

Het artikel stelt dat geen enkele parametrische vorm adequaat keuze over alle contexten kan beschrijven. Statische ratio-gebaseerde modellen kunnen goed presteren onder stabiele contingenties, maar falen in het vastleggen van geschiedenisafhankelijke dynamiek of zwak gestructureerde omgevingen. Bovendien belemmert de afhankelijkheid van een enkel model het feit dat verschillende modellen onderscheidende, manipuleerbare componenten van de omgeving vastleggen. Het huidige methodologische kader, dat streeft naar een universele "beste" model, beperkt het vermogen om flexibele hypotheseruimtes te construeren die noodzakelijk zijn voor prospectieve controle.

Methodologie
Het artikel hanteert een verenigd Bayesiaans kader om meerdere modellen van keuzegedrag te evalueren en te integreren. De methodologie bestaat uit drie primaire componenten:

1. Ensemble Learning Technieken: In plaats van één "winnaar" te selecteren, maakt de studie gebruik van twee ensemble-methoden:

   • Bayesian Model Averaging (BMA): Berekent posterieure modelkansen, uitgaande van de aanname dat één van de kandidaat-modellen het ware datagenereerde mechanisme is (een "M-closed" perspectief).
   • Stacking: Bepaalt optimale gewichten door de leave-one-out (LOO) voorspellende log-densiteit van een mengverdeling te maximaliseren, uitgaande van de aanname dat geen enkel kandidaat-model volledig correct is (een "M-open" perspectief). Stacking legt de nadruk op voorspellende complementariteit boven structurele getrouwheid.

2. Simulatiestudies:

   • Simulatie 1 (Statisch): Virtuele keuzedata ($N=2000$) werden gegenereerd met behulp van een logistische functie. Drie statische Generalized Linear Models (GLMs) werden getest: een Log-ratio model (Gegeneraliseerde Matching Law), een Logit model, en een Probit model.
   • Simulatie 2 (Dynamisch): Virtuele data ($N=3000$) werden gegenereerd met behulp van een geschiedenisafhankelijk proces (Value Difference model). Vier modellen werden getest: een Simpel model (vorige consequentie alleen), een Interactie model (keuze $\times$ consequentie), een Value Difference model (dynamische waarde-update), en een Dynamisch GML model (ratio-gebaseerde dynamische update).

3. Empirische Heranalyse:

   • Twee klassieke datasets over gelijktijdige variabele-interval (VI) schema's (Alsop & Elliffe, 1988; Elliffe & Alsop, 1996) werden opnieuw geanalyseerd.
   • Omdat de data op conditieniveau waren geaggregeerd, werd Beta regressie gebruikt met subject-specifieke random effects.
   • Vijf modellen werden vergeleken: drie statische modellen (GML, Logit-verschil, Probit-verschil) en twee pseudo-dynamische modellen die exponentieel gewogen voortschrijdende gemiddelden (EWMA) van versterkingsgeschiedenissen incorporeerden.
   • Sensitiviteit voor de EWMA-decay parameter ($\lambda$) en voorspellende nauwkeurigheid (ELPD) werden beoordeeld.

Belangrijkste Bijdragen

• Herformulering van Modelselectie: Het artikel betoogt dat modelselectie niet moet worden gezien als een wedstrijd voor een universele wet, maar als een evaluatie van "redelijke benaderingen" van specifieke theoretische vragen. De adequaatheid van een model is afhankelijk van het doel (verklaring vs. voorspelling), het mechanisme en de context.
• Onderscheid tussen BMA en Stacking: De studie toont aan dat BMA en Stacking gewichten vaak uiteenlopen. BMA-gewichten reflecteren structurele getrouwheid aan het aangenomen generatieve proces, terwijl Stacking-gewichten voorspellende complementariteit reflecteren. Deze divergentie benadrukt dat verschillende modellen verschillende, niet-overlappende aspecten van gedragsorganisatie kunnen vastleggen (bijv. steady-state sensitiviteit vs. transiënte geschiedeniseffecten).
• Hybride Modelontwerp: Het artikel stelt "hybride" formuleringen voor die statische ratio-gebaseerde structuren integreren met dynamische geschiedenisafhankelijke termen. Dit maakt het systematisch testen mogelijk van hoe verschillende temporele mechanismen (bijv. kortetermijnrepetitie vs. langetermijnaccumulatie) gezamenlijk bijdragen aan de controleerbaarheid van keuze.
• Context-afhankelijke Hypotheseruimtes: De analyse laat zien dat de "beste" hypotheseruimte niet invariant is; deze reorganiseert zich op basis van de structuur van de gearrangeerde contingenties. In sommige contexten domineert een enkel model; in andere is de ruimte diffuus, waarbij meerdere modellen nodig zijn om de data te verklaren.

Resultaten

• Simulatie 1: Wanneer het ware generatieve proces een Logit model was, kende BMA correct het hoogste gewicht toe aan het Logit model (0.72). Echter, Stacking kende het hoogste gewicht toe aan het Probit model (0.70), waarbij het Logit model 0.30 ontving. Dit kwam doordat de foutenstructuur van het Probit model iets complementairder was aan het Logit model in de mix, ondanks het feit dat het Logit model de ware generator was. Het Log-ratio model presteerde slecht in beide metrieken vanwege een structurele mismatch (ratio vs. verschil).
• Simulatie 2: Wanneer het ware proces geschiedenisafhankelijk was (Value Difference model), ontving het ware model het hoogste BMA-gewicht (0.97). Stacking verdeelde de gewichten echter over het Interactie model (0.23) en het Dynamisch GML (0.31), wat aangaf dat deze modellen complementaire temporele patronen vastlegden (kortetermijninteracties vs. langetermijntrends) die de algehele voorspellende nauwkeurigheid verbeterden.
• Empirische Heranalyse (1988 Dataset): De hypotheseruimte was "scherp geconcentreerd" rond de Gegeneraliseerde Matching Law (GML). Statische ratio-gebaseerde modellen domineerden zowel de BMA als de Stacking gewichten. Dynamische termen voegden weinig voorspellende waarde toe. Dit suggereert dat de contingenties in deze dataset stabiele, ratio-gebaseerde controle produceerden.
• Empirische Heranalyse (1996 Dataset): De hypotheseruimte was "diffuus". Geen enkel model bereikte een consistente dominantie. Modelgewichten waren verdeeld over GML, Logit en Probit formuleringen, en dynamische modellen vertoonden instabiele directionele veranderingen. Dit suggereert dat de contingenties zwak gestructureerd waren en de mapping tussen versterking en keuze niet invariant was.
• Robuustheid: De sensitiviteit van de versterkingsgeschiedenis-coëfficiënt ($\beta_1$) en de voorspellende nauwkeurigheid (ELPD) waren robuust over een brede reeks EWMA-decay parameters ($\lambda$), wat aangeeft dat de conclusies over geschiedeniseffecten geen artefacten waren van specifieke parametervariaties.

Betekenis en Claims
Het artikel claimt dat de traditionele zoektocht naar één enkel "correct" model van keuze conceptueel misleidend is, gezien de contextafhankelijke aard van gedragscontrole. Door een ensemble learning-kader te adopteren, kunnen onderzoekers:

1. Flexibele Hypotheseruimtes Construeren: Voorbij gaan aan "M-closed" aannames om te erkennen dat meerdere modellen gedeeltelijk geldig kunnen zijn en verschillende componenten van het gedragsproces kunnen vastleggen.
2. Prospectieve Controle Verbeteren: Ensemble-methoden bieden robuustere voorspellende distributies voor het voorspellen van gedrag onder nieuwe of niet-stationaire contingenties (bijv. veranderingen in versterkingssnelheden of schema's) dan enig enkel model.
3. Afstemmen op Gedragsanalytische Doelen: Deze benadering stemt modelgebaseerde inferentie af op de kernpunten van gedragsanalyse — beschrijving, voorspelling en controle — door modellen te behandelen als instrumenten om manipuleerbare variabelen te identificeren (sensitiviteit, bias, geschiedeniskernen) in plaats van als vaste natuurwetten.

De auteur concludeert dat theoretische vooruitgang in de gedragsanalyse minder afhangt van het verdedigen van een specifieke parametrische vorm, en meer van het ontwerpen van rijkere hypotheseruimtes die de manipuleerbare dimensies van de omgeving en de meervoudige processen waarlangs versterking controle uitoefent, weerspiegelen.