Technische Samenvatting: Een Statistisch Kader voor het Leren van Voorkeuren uit het Verleden

Probleemstelling

In diverse real-world domeinen zoals online aanbevelingen, modellering van consumentenkiesgedrag en streamingdiensten, doen individuen herhaalde keuzes uit een vast aanbod van opties. Het nauwkeurig schatten van onderliggende gebruikersvoorkeuren is cruciaal voor het genereren van gepersonaliseerde toekomstige aanbevelingen. Hoewel bestaande methoden vaak vertrouwen op de frequentie van keuze, betoogt dit artikel dat de intensiteit van een keuze (bijvoorbeeld het uitgegeven bedrag, de kijkduur of de bestelwaarde) een sterkere kwantificering van voorkeur biedt dan frequentie alleen.

De kernuitdaging die wordt aangepakt, is het schatten van gebruikersvoorkeurskansen op basis van eerdere beslissingen onder een natuurlijke monotonie-aanname: opties die in het verleden vaker of intensiever zijn gekozen, zijn waarschijnlijker om in de toekomst opnieuw te worden gekozen. De auteurs beogen verder te gaan dan heuristische curve-fitting en parametrische modellen (zoals die gebruikt voor mierenkolonie-voedselverzameling) om een statistisch rigoureus, niet-parametrisch kader te ontwikkelen dat rekening houdt met zowel de geschiedenis van keuzes als hun variërende intensiteiten.

Methodologie

Modelformulering

De auteurs stellen een probabilistisch kader voor waarbij de keuze van een gebruiker op tijdstip $t+1$ wordt geconditioneerd op de relatieve intensiteit van eerdere keuzes tot tijdstip $t$.

• Datastructuur: Voor $N$ gebruikers maakt elke gebruiker een reeks keuzes uit twee opties ($c_1$ en $c_0$) over een discrete tijdsperiode. Elke keuze is gekoppeld aan een intensiteit $W_t$.
• Relatieve Intensiteit ($R_t$): Gedefinieerd als het gewogen aandeel van het aantal keren dat optie $c_1$ is gekozen, relatief tot de totale intensiteit van alle keuzes tot tijdstip $t$:
  $$R_t = \frac{\sum_{i=1}^t U_i W_i}{\sum_{i=1}^t W_i}$$
  waarbij $U_i \in \{0, 1\}$ de keuze aangeeft en $W_i$ de intensiteit is.
• Voorkeursfunctie ($h$): De kans om $c_1$ te kiezen op tijdstip $t+1$ wordt gemodelleerd als $P(U_{t+1}=1 | R_t) = h(R_t)$.
• Beperking: De functie $h: [0, 1] \to [0, 1]$ wordt verondersteld niet-dalend te zijn, wat de versterkingsdynamiek vastlegt waarbij een hogere eerdere relatieve intensiteit de kans op toekomstige selectie verhoogt.

Verbinding met Stochastische Processen

Het kader put inspiratie uit de gegeneraliseerde olifant-wandelgang (geïntroduceerd door [16]). In het speciale geval waarin keuzintensiteiten gelijk zijn ($W_t \equiv 1$), komt de reeks keuzes in dit model één-op-één overeen met de stappen van een generaliseerde olifant-wandelgang. Deze connectie motiveert het gebruik van niet-parametrische methoden in plaats van de parametrische modellen die eerder werden toegepast op mierenpad-selectie (bijvoorbeeld [7], [9]).

Schattingsprocedure

De auteurs maken gebruik van Niet-parametrische Maximum Likelihood Schatting (NPMLE) onder de monotonie-beperking.

1. Constructie van de Likelihood: De log-likelihood wordt geformuleerd op basis van waarnemingen van keuzes en hun corresponderende relatieve intensiteiten.
2. Optimalisatie: De schatter $\hat{h}_N$ wordt gedefinieerd als de unieke niet-dalende, rechtscontinue stapfunctie die de log-likelihood maximaliseert. Dit wordt opgelost als een convex optimalisatieprobleem (isotonische regressie) met behulp van het Pool Adjacent Violators Algorithm (PAVA).
3. Vertrouwenssets: In plaats van te vertrouwen op Wald-type intervallen (die het schatten van storende parameters vereisen, zoals afgeleiden van $h$ en de verdeling van $R_t$), construeren de auteurs vertrouwenssets door likelihood-ratio toetsen te inverteren. Deze benadering maakt gebruik van de asymptotische verdeling van de likelihood-ratio statistiek, die pivot is en geen schatting van storende parameters vereist.

Belangrijkste Theoretische Resultaten

Het artikel vestigt rigoureuze asymptotische eigenschappen voor de voorgestelde schatter onder standaard regulariteitsaannames (begrensde ondersteuning van keuzetellingen, gladheid van de onderliggende verdeling, en een niet-nul afgeleide van $h$).

1. Asymptotische Verdeling van de Schatter:
   De schatter $\hat{h}_N(r_0)$ op een vast punt $r_0$ convergeert met een snelheid van $N^{1/3}$ (trager dan de standaard $N^{1/2}$-snelheid die typisch is in parametrische settings). De limietverdeling wordt gekenmerkt door de Chernoff-verdeling (de verdeling van de locatie van het minimum van een tweezijdige Brownse beweging met kwadratische drift).
   $$N^{1/3}(\hat{h}_N(r_0) - h(r_0)) \xrightarrow{d} C \cdot \arg\max_{x \in \mathbb{R}} (B(x) - x^2)$$
   waarbij $B(x)$ een tweezijdige Brownse beweging is.

2. Likelihood-ratio Statistiek:
   De likelihood-ratio statistiek voor het toetsen van $H_0: h(r_0) = h_0$ convergeert in verdeling naar een stochastische variabele $D$, gedefinieerd als het integraal van het gekwadrateerde verschil tussen de grootste convexe minorant van een Brownse beweging met drift en haar restrictie.
   $$2 \log \lambda_N(h_0) \xrightarrow{d} \int \left( (g_{1,1}(x))^2 - (g^0_{1,1}(x))^2 \right) dx$$
   Dit resultaat maakt de constructie van betrouwbaarheidsintervallen mogelijk zonder het schatten van de afgeleide $h'(r_0)$ of de dichtheid van de covariaten, waardoor het "storende parameter"-probleem dat gebruikelijk is bij schatting van monotoone functies, wordt vermeden.

Empirische Resultaten

Simulatiestudies

De auteurs hebben uitgebreide simulaties uitgevoerd over zes configuraties met variatie in het aantal keuzes (constant versus willekeurig) en intensiteitsregimes (gelijk, uniform en persistent).

• Prestatiemetingen: Ze evalueerden de Testfout (voorspellende nauwkeurigheid tegenover een orakel) en de Verwachte Kalibratiefout (ECE).
• Vondsten:
  • Zowel de testfout als de ECE namen gestaag af naarmate de steekproefgrootte $N$ toenam, wat consistentie aantoont.
  • De schatters waren goed gekalibreerd, zelfs bij gematigde steekproefgroottes.
  • De 95% vertrouwenssets vertoonden gewenst gedrag: hun lengte nam monotoon af met $N$, en de dekkingkansen bleven dicht bij het nominale niveau van 0,95 over alle configuraties heen.

Toepassing in de Realiteit

Het kader werd toegepast op de MovieLens (20M) dataset om gebruikersvoorkeuren voor filmgenres te schatten (bijvoorbeeld Actie versus Romance).

• Opzet: De beoordelingen van gebruikers werden behandeld als keuzintensiteiten. Het model werd getraind op keuzes 11–15 en getest op keuzes 16–20.
• Vergelijking van Intensiteit: De auteurs vergeleken een model met "Constante Intensiteit" (alle keuzes gelijk gewogen) met een model op basis van "Beoordelings-intensiteit" (gewichten gelijk aan de beoordeling van de gebruiker).
• Resultaten: De beoordelingsgebaseerde intensiteit leverde geen substantiële verbeteringen op ten opzichte van het model met constante intensiteit, wat betreft voorspellende nauwkeurigheid of kalibratie. Dit suggereert dat voor deze specifieke dataset het eenvoudigere model met constante intensiteit de essentiële structuur van de data vastlegt.
• Interpreteerbaarheid: De geschatte voorkeursfuncties en hun vertrouwenssets leverden bruikbare inzichten op. Bijvoorbeeld, de betrouwbaarheidsintervallen maakten risicobewuste besluitvorming mogelijk, door onderscheid te maken tussen gebruikers met een hoge zekerheid over hun voorkeur en diegenen met een hoge onzekerheid.

Betekenis en Claims

Het artikel claimt een nieuw statistisch kader te bieden dat de kloof overbrugt tussen versterkingsdynamiek waargenomen in de natuur (mierenkolonies) en menselijk besluitvorming. De primaire bijdragen zijn:

1. Niet-parametrische Flexibiliteit: In tegenstelling tot eerdere parametrische benaderingen, legt dit kader geen sterke aannames op over de functionele vorm, waardoor het diverse gebruikersgedragingen kan vastleggen.
2. Incorporatie van Intensiteit: Het modelleert expliciet de intensiteit van keuzes, erkennend dat niet alle gebruikersacties evenveel gewicht dragen.
3. Statistische Rigor: Het biedt de eerste theoretische garanties (consistentie, asymptotische verdeling en vertrouwenssets) voor voorkeurschatting onder monotonie-beperkingen in deze specifieke versterkingssetting.
4. Praktische Nut: De op likelihood-ratio gebaseerde vertrouwenssets bieden een principiële manier om onzekerheid te kwantificeren zonder complexe schatting van storende parameters, waardoor de methode robuust en toepasbaar is op real-world aanbevelingssystemen.

De auteurs concluderen dat hoewel het kader momenteel is ontworpen voor stationaire settings, het dient als een fundamentele stap voor toekomstig werk dat niet-stationaire dynamiek en de opname van gebruikersspecifieke covariaten omvat.