Rethinking Model Selection in Choice Behavior

Technisches Resümee: Überdenken der Modellselektion im Wahlverhalten

Problemstellung
Die traditionelle Forschung in der experimentellen Analyse des Wahlverhaltens stützte sich weitgehend auf eine „theoretische Monismus“, bei der ein einzelnes kanonisches Modell (meist das verallgemeinerte Matching-Gesetz oder spezifische Logit-/Probit-Formulierungen) ausgewählt wird, um die Wahl über verschiedene Kontexte hinweg zu beschreiben. Dieser Ansatz rahmt den Modellvergleich als Suche nach der einen „korrekten“ Formulierung. Der Autor argumentiert jedoch, dass diese Perspektive fundamental nicht mit den Zielen der Verhaltensanalyse übereinstimmt, welche die Vorhersage und Kontrolle von Verhalten durch die Manipulation von Umweltvariablen (z. B. Verstärkungsraten, Magnituden, Wechselverzögerungen) priorisiert.

Das Paper postuliert, dass keine einzelne parametrische Form den Wahlprozess über alle Kontexte hinweg adäquat beschreiben kann. Statische ratio-basierte Modelle mögen unter stabilen Kontingenzen gut funktionieren, scheitern jedoch daran, geschichtungsabhängige Dynamiken oder schwach strukturierte Umgebungen zu erfassen. Darüber hinaus verschleiert die Abhängigkeit von einem einzigen Modell oft die Tatsache, dass verschiedene Modelle unterschiedliche, manipulierbare Komponenten der Umwelt erfassen. Der aktuelle methodische Rahmen, der nach einem universellen „besten“ Modell sucht, begrenzt die Fähigkeit, die notwendigen flexiblen Hypothesenräume für die prospektive Kontrolle zu konstruieren.

Methodik
Das Paper verwendet einen vereinheitlichten Bayesianischen Rahmen, um mehrere Modelle des Wahlverhaltens zu evaluieren und zu integrieren. Die Methodik besteht aus drei Primärkomponenten:

1. Ensemble-Learning-Techniken: Anstatt einen einzelnen „Gewinner“ zu wählen, nutzt die Studie zwei Ensemble-Methoden:

   • Bayesian Model Averaging (BMA): Berechnet posteriore Modellwahrscheinlichkeiten unter der Annahme, dass eines der Kandidatenmodelle der wahre datengenerierende Mechanismus ist (eine „M-closed“-Perspektive).
   • Stacking: Bestimmt optimale Gewichte durch Maximierung der Leave-one-out (LOO) prädiktiven Log-Dichte einer Mischverteilung, unter der Annahme, dass kein einzelnes Kandidatenmodell vollständig korrekt ist (eine „M-open“-Perspektive). Stacking betont die prädiktive Komplementarität gegenüber der strukturellen Treue.

2. Simulationsstudien:

   • Simulation 1 (Statisch): Virtuelle Wahl-Daten ($N=2000$) wurden mittels einer logistischen Funktion generiert. Drei statische verallgemeinerte lineare Modelle (GLMs) wurden getestet: ein Log-Ratio-Modell (verallgemeinertes Matching-Gesetz), ein Logit-Modell und ein Probit-Modell.
   • Simulation 2 (Dynamisch): Virtuelle Daten ($N=3000$) wurden durch einen geschichtungsabhängigen Prozess (Value Difference Modell) generiert. Vier Modelle wurden getestet: ein einfaches Modell (vorheriger Konsequenz nur), ein Interaktionsmodell (Wahl $\times$ Konsequenz), ein Value-Difference-Modell (dynamische Wertaktualisierung) und ein dynamisches GML-Modell (ratio-basiertes dynamisches Update).

3. Empirische Reanalyse:

   • Zwei klassische Datensätze zu concurrent variable-interval (VI) Schedules (Alsop & Elliffe, 1988; Elliffe & Alsop, 1996) wurden reanalysiert.
   • Da die Daten auf Bedingungsebene aggregiert waren, wurde eine Beta-Regression mit subjekt-spezifischen Random Effects verwendet.
   • Fünf Modelle wurden verglichen: drei statische Modelle (GML, Logit-Differenz, Probit-Differenz) und zwei pseudo-dynamische Modelle, die exponentiell gewichtete gleitende Durchschnittswerte (EWMA) der Verstärkungsgeschichten einbeziehen.
   • Die Sensitivität gegenüber dem EWMA-Zerfallsparameter ($\lambda$) und die prädiktive Genauigkeit (ELPD) wurden bewertet.

Wesentliche Beiträge

• Neukonzeption der Modellselektion: Das Paper argumentiert, dass Modellselektion nicht als Wettbewerb um ein universelles Gesetz gesehen werden sollte, sondern als Evaluierung „vernünftiger Approximationen“ spezifischer theoretischer Fragen. Die Angemessenheit eines Modells ist konditional auf den Zweck (Erklärung vs. Vorhersage), den Mechanismus und den Kontext.
• Unterscheidung zwischen BMA und Stacking: Die Studie zeigt, dass sich BMA- und Stacking-Gewichte oft unterscheiden. BMA-Gewichte reflektieren die strukturelle Treue zum angenommenen generativen Prozess, während Stacking-Gewichte die prädiktive Komplementarität widerspiegeln. Diese Divergenz verdeutlicht, dass verschiedene Modelle unterschiedliche, nicht überlappende Aspekte der behavioralen Organisation erfassen können (z. B. Steady-State-Sensitivität vs. transiente Geschichtenseffekte).
• Hybride Modellgestaltung: Das Paper schlägt „hybride“ Formulierungen vor, die statische Ratio-basierte Strukturen mit dynamischen, geschichtungsabhängigen Termen integrieren. Dies ermöglicht die systematische Untersuchung, wie verschiedene zeitliche Mechanismen (z. B. kurzfristige Repetition vs. langfristige Akkumulation) gemeinsam zur Kontrollierbarkeit der Wahl beitragen.
• Kontextabhängige Hypothesenräume: Die Analyse zeigt, dass der „beste“ Hypothesenraum nicht invariant ist; er reorganisiert sich basierend auf der Struktur der arrangierten Kontingenzen. In einigen Kontexten dominiert ein einzelnes Modell; in anderen ist der Raum diffus, was mehrere Modelle erfordert, um die Daten zu erklären.

Ergebnisse

• Simulation 1: Als der wahre generative Prozess ein Logit-Modell war, ordnete BMA korrekt das höchste Gewicht dem Logit-Modell zu (0,72). Stacking hingegen wies dem Probit-Modell das höchste Gewicht zu (0,70), wobei das Logit-Modell 0,30 erhielt. Dies geschah, weil die Fehlerstruktur des Probit-Modells im Mixture etwas komplementärer zum Logit war, obwohl das Logit-Modell der wahre Generator war. Das Log-Ratio-Modell schnitt in beiden Metriken schlecht ab, bedingt durch einen strukturellen Mismatch (Ratio vs. Differenz).
• Simulation 2: Als der wahre Prozess geschichtungsabhängig war (Value Difference Modell), erhielt das wahre Modell das höchste BMA-Gewicht (0,97). Stacking verteilte die Gewichte jedoch auf das Interaktionsmodell (0,23) und das Dynamic GML (0,31), was darauf hindeutet, dass diese Modelle komplementäre temporale Muster (kurzfristige Interaktionen vs. langfristige Trends) erfassten, die die gesamte prädiktive Genauigkeit verbesserten.
• Empirische Reanalyse (1988 Datensatz): Der Hypothesenraum war „scharf konzentriert“ um das verallgemeinerte Matching-Gesetz (GML). Statische ratio-basierte Modelle dominierten sowohl die BMA- als auch die Stacking-Gewichte, und dynamische Terme fügten kaum prädiktiven Wert hinzu. Dies deutet darauf hin, dass die Kontingenzen in diesem Datensatz eine stabile, ratio-basierte Kontrolle erzeugten.
• Empirische Reanalyse (1996 Datensatz): Der Hypothesenraum war „diffus“. Kein einzelnes Modell erreichte eine konsistente Dominanz. Modellgewichte waren auf GML-, Logit- und Probit-Formulierungen verteilt, und dynamische Modelle zeigten instabile Richtungsänderungen. Dies deutet darauf hin, dass die Kontingenzen schwach strukturiert waren und die Abbildung zwischen Verstärkung und Wahl nicht invariant war.
• Robustheit: Die Sensitivität des Koeffizienten der Verstärkungsgeschichte ($\beta_1$) und die prädiktive Genauigkeit (ELPD) waren über ein breites Spektrum von EWMA-Zerfallsparametern ($\lambda$) robust, was zeigt, dass die Schlussfolgerungen bezüglich der Geschichtenseffekte keine Artefakte spezifischer Parameterwahl sind.

Bedeutung und Ansprüche
Das Paper behauptet, dass die traditionelle Suche nach einem einzigen „korrekten“ Modell der Wahl angesichts der kontextabhängigen Natur der Verhaltenskontrolle konzeptionell fehlgeleitet ist. Durch die Anwendung eines Ensemble-Learning-Rahmens können Forscher:

1. Flexible Hypothesenräume konstruieren: Über „M-closed“-Annahmen hinausgehen, um anzuerkennen, dass mehrere Modelle teilweise gültig sein können und unterschiedliche Komponenten des Verhaltensprozesses erfassen können.
2. Prospektive Kontrolle verbessern: Ensemble-Methoden bieten robustere prädiktive Verteilungen zur Prognose von Verhalten unter neuen oder nicht-stationären Kontingenzen (z. B. Änderungen in Verstärkungsraten oder Schedules) als jedes einzelne Modell.
3. Sich mit verhaltensanalytischen Zielen in Einklang bringen: Dieser Ansatz bringt die modellbasierte Inferenz mit den Kernzielen der Verhaltensanalyse – Beschreibung, Vorhersage und Kontrolle – in Einklang, indem er Modelle als Werkzeuge behandelt, um manipulierbare Variablen (Sensitivität, Bias, Geschichtungs-Kernel) zu identifizieren, statt als feste Naturgesetze.

Der Autor, Naoki Kamiya, der zum Zeitpunkt der Durchführung der im Manuskript berichteten Arbeit am Institut für Statistikmathematik tätig war und nun Forschung über das Relations & Behavior Lab in Tokio, Japan, durchführt, kommt zu dem Schluss, dass der theoretische Fortschritt in der Verhaltensanalyse weniger von der Verteidigung einer spezifischen parametrischen Form abhängt, sondern vielmehr von der Gestaltung reichhaltigerer Hypothesenräume, die die manipulierbaren Dimensionen der Umwelt und die multiplen Prozesse widerspiegeln, durch die Verstärkung Kontrolle ausübt.