Linear Multidimensional Regression with Interactive Fixed-Effects

Dit artikel introduceert een Neyman-orthogonale schatter voor lineaire regressie met interactieve vaste effecten in meervoudige paneldata, die via een tweestapsprocedure een parametrische convergentiesnelheid bereikt en wordt toegepast om de vraagelasticiteit voor bier te schatten.

De kern

Stel je voor dat je een gigantische, driedimensionale puzzel probeert op te lossen. De puzzelstukken zijn niet alleen links en rechts, maar ook voor en achter, en boven en onder. In de econometrie (de wiskunde van de economie) noemen we dit meerdimensionale data.

Dit artikel, geschreven door Hugo Freeman, gaat over hoe we de beste manier vinden om deze enorme puzzels te analyseren, zelfs als er onzichtbare krachten in het spel zijn die alles verstoren.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Onzichtbare "Geesten"

Stel je voor dat je wilt weten hoeveel mensen bier kopen als de prijs stijgt. Je hebt data over:

• Producten (verschillende biermerken),
• Winkels (verschillende supermarkten),
• Tijd (elke twee weken).

Maar er is een probleem. Er zijn "geesten" (onwaarneembare factoren) die de verkoop beïnvloeden. Bijvoorbeeld:

• Een groot sportevenement (zoals de NBA-finale) zorgt ervoor dat mensen in Chicago meer bier kopen, maar misschien alleen op bepaalde momenten en in bepaalde wijken.
• Een reclamecampagne voor whisky (een concurrent) kan de bierverkoop beïnvloeden.

Deze factoren werken interactief: ze veranderen niet alleen per tijd, of alleen per winkel, maar ze veranderen tegelijkertijd op een complexe manier die afhangt van de combinatie van product, winkel én tijd.

De oude methode (Additieve vaste effecten):
Vroeger probeerden economen dit op te lossen door te zeggen: "Oké, we tellen het gemiddelde effect van elke winkel op, plus het gemiddelde effect van elk tijdstip."

• Vergelijking: Dit is alsof je probeert een complexe dans te beschrijven door alleen te kijken naar hoe elke danser op zichzelf beweegt, en dan de bewegingen van de groep simpelweg bij elkaar optelt. Het mist de magie van de interactie tussen de dansers. Als een groep mensen plotseling in een kring gaat dansen, zie je dat niet als je alleen naar individuen kijkt.

2. De Oplossing: De "Gewogen Binnen"-Transformatie

Freeman introduceert een nieuwe manier om deze data te "schoonmaken" van die onzichtbare geesten. Hij noemt dit de gewogen binnen-transformatie (weighted-within transformation).

Hoe werkt het?
In plaats van het simpele gemiddelde te nemen (waarbij elke winkel evenveel telt), gebruikt deze methode gewogen gemiddelden.

• Vergelijking: Stel je voor dat je een luidspreker hebt die muziek afspeelt. Als je het geluid wilt zuiveren van achtergrondruis, doe je dat niet door simpelweg het volume lager te zetten. Je gebruikt een slimme filter die precies weet welke frequenties tot de ruis behoren en die weghaalt, terwijl de muziek intact blijft.
• Freeman's methode is zo'n slimme filter. Hij kijkt naar hoe vergelijkbare winkels of producten zich gedragen, en gebruikt die informatie om een "gewicht" toe te kennen. Als een winkel erg lijkt op een andere, telt die meer mee bij het berekenen van het gemiddelde. Hierdoor kan hij de complexe, interactieve "geesten" (de onzichtbare factoren) eruit filteren, zonder de echte relatie tussen prijs en vraag te beschadigen.

3. De Twee Stappen: Eerst ruw, dan fijn

De auteur beschrijft een proces in twee stappen:

1. Stap 1: De "Ruw" Schatting (Het 2D-probleem)
   Eerst wordt de 3D-puzzel (producten, winkels, tijd) platgelegd tot een 2D-probleem (bijvoorbeeld: producten als rijen, en winkels+tijd als kolommen).

   • Vergelijking: Dit is alsof je een 3D-terrein platlegt op een kaart. Je ziet de contouren, maar de diepte is verdwenen. Je krijgt een schatting, maar die is niet heel precies en kan wat "wankelen". Het is een goed begin, maar niet het einddoel.

2. Stap 2: De "Fijn" Schatting (De Gewogen Methode)
   Vervolgens gebruikt hij de resultaten van stap 1 om de gewichten te berekenen voor zijn nieuwe filter (de gewogen binnen-transformatie).

   • Vergelijking: Nu dat je de ruwe kaart hebt, gebruik je een microscoop om de kleine details te zien. Je past de filter zo aan dat hij perfect past bij de specifieke ruis in jouw data. Het resultaat is een schatting die niet alleen correct is, maar ook heel snel convergeert naar het echte antwoord (de "parametrische snelheid").

4. Het Experiment: Bier in Chicago

Om te bewijzen dat dit werkt, heeft Freeman dit getest op echte data: de verkoop van bier in supermarkten in Chicago tussen 1991 en 1995.

• Het resultaat: De oude methoden gaven wazige antwoorden of waren erg gevoelig voor hoe je de data in elkaar zette (zoals of je de winkels als rijen of kolommen zette).
• De nieuwe methode: De "gewogen binnen"-methode gaf een heel scherp beeld. Het toonde aan dat de vraag naar bier sterk daalt als de prijs stijgt (ongeveer -3,12), en dit met veel meer zekerheid dan eerdere methoden. Het was net zo goed als de beste instrumentele methoden, maar dan veel sneller en nauwkeuriger.

Samenvatting in één zin

Dit artikel introduceert een slimme nieuwe wiskundige "filter" die complexe, onzichtbare invloeden in grote datasets (zoals bierverkoop over tijd, plek en product) eruit haalt, waardoor economen veel nauwkeuriger de echte oorzaak-en-gevolg relaties kunnen meten dan ooit tevoren.

De kernboodschap: Als je een complexe 3D-wereld wilt begrijpen, moet je niet proberen hem plat te drukken en simpelweg gemiddelden te nemen. Je moet een slimme, gewogen filter gebruiken die de interacties tussen alle dimensies respecteert.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Linear Multidimensional Regression with Interactive Fixed-Effects" van Hugo Freeman, in het Nederlands.

1. Probleemstelling

De economische analyse maakt steeds meer gebruik van grote datasets met een meerdimensionale structuur (meer dan twee dimensies, bijvoorbeeld producten $i$, winkels $j$ en tijd $t$). Traditionele econometrische modellen voor paneldata (twee dimensies) zijn vaak ontoereikend voor deze data.

• Beperking van additieve fixed effects: Additieve fixed effects (bijv. $a_i + b_j + c_t$) kunnen alleen variatie in onwaargenomen heterogeniteit controleren over een subset van de dimensies. Ze kunnen geen interactieve effecten controleren die over alle dimensies tegelijkertijd variëren (bijv. een culturele gebeurtenis die specifiek invloed heeft op een bepaald product in een bepaalde winkel op een specifiek moment).
• Interactieve fixed effects: Het artikel richt zich op modellen waar de onwaargenomen heterogeniteit wordt gemodelleerd als een interactieve term:
  $$Y_{ijt} = X'_{ijt}\beta + \sum_{\ell=1}^L \lambda_{i\ell}\delta_{j\ell}\gamma_{t\ell} + \varepsilon_{ijt}$$
  Hierbij zijn $\lambda, \delta, \gamma$ onwaargenomen factoren die over de verschillende dimensies variëren.
• Uitdaging: Het schatten van de parameter $\beta$ is moeilijk omdat de regressoren $X$ willekeurig gecorreleerd kunnen zijn met deze interactieve fixed effects. Bestaande methoden (zoals het "flattenen" van de tensor naar een matrix en toepassen van Bai (2009)) leiden tot consistente schatters, maar met zeer trage convergentiesnelheden (niet-parametrisch), wat betrouwbare inferentie (zoals hypothesetoetsing) onmogelijk maakt in eindige steekproeven.

2. Methodologie

De auteur ontwikkelt een schatter die gebruikmaakt van een Neyman-orthogonale aanpak met twee voorlopige stappen om de onwaargenomen heterogeniteit te elimineren en de parametrische convergentiesnelheid te bereiken.

Stap 1: Matrix Low-Rank Benadering (Voorlopige Schatter)

• Het meerdimensionale probleem wordt tijdelijk omgezet naar een tweedimensionaal panelprobleem door de tensor te "flattenen" (bijvoorbeeld producten als rijen, andere dimensies als kolommen).
• Er wordt een factormodel (volgens Bai, 2009) toegepast om de onwaargenomen componenten te schatten.
• Resultaat: Deze schatter is consistent, maar convergeert langzaam (bijvoorbeeld met een snelheid van $N^{-1/6}$ in 3D), wat onvoldoende is voor directe inferentie. Deze stap dient echter als een noodzakelijke voorloper om proxies voor de fixed effects te genereren.

Stap 2: Gewogen-Within Transformatie (Novelty)

• De kern van de nieuwe methode is een gewogen "within"-transformatie. In plaats van simpele gemiddelden te gebruiken (zoals bij standaard fixed effects), worden gewogen gemiddelden toegepast.
• De transformatie projecteert de data uit de ruimte van de fixed effects door gebruik te maken van kernel-gewichten gebaseerd op de geschatte factoren uit Stap 1.
• Formeel wordt de transformatie beschreven als een reeks $n$-modus producten:
  $$\check{Y} := Y \times_1 M_1 \times_2 M_2 \dots \times_d M_d$$
  waarbij $M_n = I - W_n$ en $W_n$ een matrix van gewichten is gebaseerd op de afstand tussen de geschatte factoren (gebruikmakend van een kernelfunctie $k(\cdot)$).
• Als de gewichten correct zijn gekozen, wordt de interactieve fixed-effect term volledig geprojecteerd (gedifferenced) uit het model, zelfs als de heterogeniteit complex is.

Stap 3: Neyman-Orthogonale Correctie (Inference Corrected Estimator)

• Om de eindige steekproefbias te elimineren en asymptotische normaliteit te garanderen, wordt een double debias-procedure toegepast (gebaseerd op Chernozhukov et al., 2022).
• De schatter voor $\beta$ wordt gecorrigeerd voor de fouten die ontstaan door het schatten van de fixed effects ($\hat{\Gamma}_X, \hat{\Gamma}_Y$).
• Door de Neyman-orthogonaliteit eigenschap, hangt de convergentie van de schatter voor $\beta$ niet af van de precieze snelheid waarmee de fixed effects worden geschat, zolang deze maar voldoende snel convergeren. Dit maakt de methode robuust.

3. Belangrijkste Bijdragen

1. Generalisatie naar Meerdere Dimensies: Het artikel toont aan hoe interactieve fixed effects kunnen worden gemodelleerd en geschat in data met drie of meer dimensies, een gebied dat technisch complex is vanwege de "ill-posed" aard van lage-rank benaderingen in tensorruimtes (volgens De Silva en Lim, 2008).
2. De Gewogen-Within Schatter: De introductie van een gewogen transformatie die robuust is voor multidimensionale interactieve fixed effects zonder dat de econometrist vooraf moet weten welke dimensies "laag-rang" (low-rank) zijn. Dit is een significant voordeel ten opzichte van standaard factormodellen die gevoelig zijn voor hoe de data wordt georganiseerd.
3. Parametrische Convergentie en Asymptotische Normaliteit: Het bewijst dat de gecombineerde methode (voorlopige schatting + gewogen transformatie + bias-correctie) de parametrische convergentiesnelheid ($\sqrt{N}$) bereikt en asymptotisch normaal verdeeld is. Dit maakt standaard inferentie (zoals t-toetsen en betrouwbaarheidsintervallen) mogelijk.
4. Robuustheid: De methode is minder gevoelig voor modelspecificaties (zoals het kiezen van de juiste dimensie om te flattenen) dan bestaande matrix-methoden.

4. Resultaten

• Theoretische Resultaten:
  • Propositie 1: Toont aan dat het flattenen van de data leidt tot een consistente schatter, maar met trage snelheid.
  • Propositie 2: Bepaalt de bovengrens voor de convergentie van de kernel-gewogen schatter, afhankelijk van de nauwkeurigheid van de proxy's voor de fixed effects.
  • Stellingen 1-3: Bewijzen de asymptotische normaliteit van de gecorrigeerde schatter onder homocedasticiteit, heterocedasticiteit en correlatie in de fouttermen.
• Simulaties:
  • De simulaties tonen aan dat standaard factormodellen (Matrix-methoden) zeer gevoelig zijn voor de keuze van de dimensie om te flattenen. Als de verkeerde dimensie wordt gekozen (waar de rang niet laag is), is de bias groot.
  • De voorgestelde Weighted-within schatter vertoont verwaarloosbare bias en behoudt de correcte dekking (coverage) van betrouwbaarheidsintervallen, zelfs als de rang van de fixed effects over de dimensies varieert (heterogeen).
• Empirische Toepassing (Bierverkoop):
  • De methode wordt toegepast op Dominick's supermarktdata (1991-1995) om de vraagelasticiteit voor bier te schatten.
  • Vergelijking met Instrumentele Variabelen (IV) en additieve fixed effects:
    • IV-schattingen waren negatief maar zeer onnauwkeurig (grote standaardfouten).
    • Additieve fixed effects gaven een zwakke schatting.
    • De Weighted-within schatter leverde een elasticiteit van -3.12 op met een veel hogere precisie (kleinere standaardfouten) dan de IV-methode, en was vergelijkbaar met eerdere literatuur (Hausman et al., 1994).
  • De resultaten tonen aan dat het controleren voor interactieve shocks over product, winkel en tijd essentieel is voor nauwkeurige schattingen.

5. Betekenis en Conclusie

Dit artikel biedt een cruciale doorbraak in de econometrie van meerdimensionale paneldata. Het lost het probleem op van onwaargenomen heterogeniteit die interactief varieert over alle dimensies, wat additieve modellen niet kunnen vangen.

De belangrijkste implicatie is dat onderzoekers nu betrouwbare inferentie kunnen uitvoeren op complexe datasets (zoals consumentengedrag over producten, locaties en tijd) zonder afhankelijk te zijn van sterke aannames over de rang van de onwaargenomen factoren of de specifieke manier waarop de data wordt georganiseerd. De methode combineert de flexibiliteit van niet-parametrische benaderingen met de efficiëntie van parametrische schatters, wat het een krachtig instrument maakt voor moderne economische analyse.