Technische Samenvatting: Fit CATE Once: Model-ondersteunde randomisatietests zonder steekproefverdeling

1. Probleemstelling

Gepanelde gerandomiseerde experimenten genereren reeksen uitkomsten die geschikt zijn voor het bestuderen van dynamische causale effecten. Hoewel randomisatietests eindige-steekproefvaliditeit bieden die is gebaseerd op het bekende toewijzingsmechanisme, missen ze vaak kracht wanneer behandelingseffecten heterogeen zijn. Omgekeerd kunnen flexibele modellen voor behandelingseffecten (zoals Conditional Average Treatment Effect, of CATE-modellen) complexe heterogeniteit vastleggen, maar vereisen ze doorgaans sterke modelaannames of steekproefverdeling om geldigheid te behouden in randomisatie-inferentie.

De kernuitdaging die wordt aangepakt, is de afweging bij het construeren van model-ondersteunde randomisatietests:

1. Geldigheid: Het storende model (bijvoorbeeld een CATE-schatter) moet onafhankelijk zijn van de gerealiseerde toewijzingen ($A[N]$) om ervoor te zorgen dat de randomisatieverdeling geldig blijft. Het aanpassen van een model op $A[N]$ en het gebruik ervan in de teststatistiek breekt de symmetrie die nodig is voor geldige p-waarden.
2. Kracht: Om de kracht te verbeteren, moet de teststatistiek gebruikmaken van nauwkeurige schattingen van heterogeniteit in behandelingseffecten.
3. Huidige Beperkingen: Bestaande oplossingen passen het model voor elke gesimuleerde toewijzing opnieuw aan (wat computationeel onhaalbaar is) of gebruiken steekproefverdeling (waarbij statistische kracht wordt opgeofferd door data weg te gooien).

Dit artikel stelt een methode voor om CATE's te schatten zonder gebruik te maken van de gerealiseerde toewijzingen, waardoor geldigheid wordt behouden zonder het verlies aan efficiëntie van steekproefverdeling.

2. Methodologie

De voorgestelde aanpak, Fit CATE Once, maakt gebruik van de covariantiestructuur van geresidualiseerde uitkomsten in paneldata om de grootte van behandelingseffecten te schatten, waarbij alleen het teken nog moet worden bepaald.

2.1. Opzet en Aannames

• Data: $N$ eenheden waargenomen over $T$ tijdsperioden met covariaten $X_i$, uitkomsten $Y_{i,t}$, en een starttijd van de behandeling $A_i$.
• Additief Uitkomstenmodel: De waargenomen uitkomst volgt $Y_{i,t} = \mu_{0,t}(X_i) + \sum_{l=0}^{t-1} \mathbb{1}\{A_i = t-l\}\tau_l(X_i) + \epsilon_{i,t}$.
• Geen Anticipatie: Een behandeling die na tijd $t$ begint, heeft geen invloed op $Y_{i,t}$.
• Residualisatie: Uitkomsten worden geresidualiseerd door het conditionele gemiddelde $\mu_t(X_i)$ af te trekken, wat resulteert in residuen $R_{i,t}$.

2.2. Ongetekende CATE-schatting

Het kerninzicht is dat onder het additieve model de momenten van de tweede orde (covarianties) van de geresidualiseerde uitkomsten de grootte van behandelingseffecten coderen, onafhankelijk van de tekens van de gerealiseerde toewijzingen.

• Diagonale Momenten (Lag-invariante Effecten): Als het behandelingseffect constant is over lags ($\tau_l(x) \equiv \tau^*(x)$), hangen de diagonaalelementen van de residucovariantiematrix $\Sigma_R(x)$ af van de gekwadrateerde effectgrootte $\tau^{*2}(x)$ en een bekende ontwerpfactor $v_t(x)$. Door diagonale momenten over de tijd te vergelijken, kan de storende variantie worden weggedifferentieerd, waardoor $|\tau^*(x)|$ wordt geïdentificeerd.
• Off-diagonale Momenten (Lag-variërende Effecten): Als effecten variëren per lag en residu-fouten seriële correlatie missen (Aanname 4), hangen de off-diagonale residucovarianties af van de CATE-vector $\tau(x)$ via kwadratische vormen: $c(x) = F_x(\tau) = (\tau^\top H_{t,s}(x) \tau)_{(t,s)}$.
  • Dit creëert een moment-matchingprobleem waarbij de off-diagonale covarianties de vector $\tau(x)$ identificeren tot op een globaal teken.
  • De auteurs stellen een convexe relaxatie voor (het schatten van de rang-een matrix $B = \tau\tau^\top$ via semidefiniete programmering) en een niet-lineaire kleinste-kwadraten (NLS)-benadering om de ongetekende schatter $\hat{\tau}_\pm(x)$ op te lossen.

2.3. Tekenoriëntatie

Omdat moment-gebaseerde schatters alleen de grootte (of richting tot op een teken) herstellen, is een laatste stap vereist om het teken te bepalen.

• Toewijzingsvrije Oriëntatie: Het teken wordt gekozen om het best te passen bij de waargenomen geresidualiseerde uitkomsttrajectorie voor elke eenheid, waarbij de kwadratische fout tussen de waargenomen residuen en het model dat wordt voorspeld door de ongetekende schatter, wordt geminimaliseerd.
• Gedeeltelijke Toewijzingsoriëntatie: Alternatief kan een kleine subset van waargenomen toewijzingen uitsluitend worden gebruikt om het teken te leren, terwijl het merendeel van de eenheden overblijft voor de randomisatietest. Dit is computationeel goedkoper dan het opnieuw aanpassen van een volledig CATE-model.

2.4. CATE-ondersteunde Randomisatietest

Zodra de getekende CATE-schatter $\hat{\tau}(X_i)$ is verkregen, wordt deze gebruikt om een teststatistiek te construeren (bijvoorbeeld een likelihood-ratio-score of AIPW-score) die gevoeliger is voor heterogene effecten.

• Geldigheid: Omdat de CATE-schatter is afgeleid van residucovarianties (die afhankelijk zijn van covariaten en uitkomsten, maar niet van de gerealiseerde $A[N]$), geldt de conditionele onafhankelijkheidsvoorwaarde $\hat{\eta} \perp A[N] \mid X, Y$.
• Procedure: De test berekent een p-waarde door de waargenomen statistiek te vergelijken met de verdeling van statistieken die zijn gegenereerd door de toewijzingsvector $A[N]$ te permuteren terwijl het storende model constant blijft.

3. Belangrijkste Bijdragen

1. Toewijzingsvrije CATE-schatting: Het artikel stelt vast dat in gepanelde experimenten de covariantiestructuur van geresidualiseerde uitkomsten toelaat om CATE-groottes (en vectoren tot op een teken) te identificeren zonder te fitten op gerealiseerde toewijzingen.
2. Theoretische Garantiën:
   • Identificatie: Bewijst lokale en globale identificatie van de ongetekende CATE-vector tot op een globaal teken onder rangvoorwaarden op de Jacobiaan van de momentenkaart.
   • Consistentie: Vestigt de consistentie van de convexe relaxatie en NLS-schatters voor de ongetekende CATE als $N \to \infty$.
3. Geldige Model-ondersteunde Tests: Demonstreert dat het gebruik van deze toewijzingsvrije schatters in randomisatietests eindige-steekproefvaliditeit (Type I-foutcontrole) behoudt, terwijl het vermijden wordt van het krachtverlies dat gepaard gaat met steekproefverdeling.
4. Subgroepontdekking: Laat zien dat toewijzingsvrije CATE-schattingen achteraf kunnen worden gebruikt om heterogene subgroepen te ontdekken en geldige randomisatietests binnen die subgroepen uit te voeren.

4. Experimentele Resultaten

De auteurs evalueren de methode via synthetische, semi-synthetische en consistentie-experimenten:

• Type I-foutcontrole: Over verschillende steekproefgroottes en lag-structuren (lag-invariant en lag-variërend) controleert de voorgestelde CATE-ondersteunde randomisatietest (RT CATE) het Type I-fout op het nominale niveau (0,1), vergelijkbaar met niet-gecorrigeerde (RT DM) en met covariaten gecorrigeerde (RT cDM) tests.
• Kracht: RT CATE bereikt consequent hogere kracht dan:
  • Niet-gecorrigeerde tests (RT DM).
  • Met covariaten gecorrigeerde tests die alleen uitkomstgemiddelden gebruiken (RT cDM).
  • Alternatieven met steekproefverdeling (RT SS), die data opofferen voor geldigheid.
  • Deze winst is vooral uitgesproken wanneer behandelingseffecten heterogeen zijn over eenheden of lags.
• Consistentie: De ongetekende schatter convergeert naar de ware CATE-grootte (tot op teken) naarmate de steekproefgrootte toeneemt.
• Warm-starting: Het gebruik van de ongetekende schatter als "warm start" maakt nauwkeurige getekende CATE-schatting mogelijk met aanzienlijk minder onthulde toewijzingen dan het leren van de volledige CATE-vector vanaf nul.
• Semi-synthetische Validatie: Met behulp van een dataset op county-niveau over tienerwerkgelegenheid (gebaseerd op Callaway en Sant'Anna, 2021) presteert de methode beter dan standaard Two-Way Fixed Effects (TWFE)-regressies voor gebeurtenisstudies, zowel wat betreft groottecontrole (het vermijden van oververwijzing) als kracht.
• Subgroepanalyse: De methode herstelt succesvol op drempels gebaseerde subgroepen en ondersteunt geldige inferentie binnen die ontdekte groepen.

5. Betekenis en Beweringen

Het artikel beweert dat Fit CATE Once de fundamentele spanning tussen geldigheid en kracht in model-ondersteunde randomisatietests voor paneldata oplost. Door gebruik te maken van de momentenstructuur van de tweede orde van residuen, onttrekt de methode informatie over behandelingseffecten die "toewijzingsvrij" is, waardoor onderzoekers flexibele, krachtige teststatistieken kunnen gebruiken zonder het raamwerk van randomisatie-inferentie te compromitteren.

De auteurs benadrukken dat deze aanpak niet beperkt is tot de specifieke panelontwerpen die zijn onderzocht, maar wijst op een bredere klasse van model-ondersteunde tests waarbij residuen alleen via behandelingseffecten afhankelijk zijn van toewijzingen. De methode wordt gepresenteerd als een praktische oplossing die de computationele last van het opnieuw aanpassen van modellen voor elke permutatie en de statistische inefficiëntie van steekproefverdeling vermijdt.

Beperkingen opgemerkt door de auteurs:

• De off-diagonale schatter gaat uit van seriële ongecorreleerde residu-fouten; gecorreleerde fouten zouden behandelingseffecten kunnen verwarren met de foutenstructuur.
• De stap voor tekenherstel is afhankelijk van het signaal-ruisverhouding en het tijdstip van behandeling; vroege starttijden van de behandeling bieden meer informatie voor tekenherstel dan late starts.
• Globale identificatie is afhankelijk van rangvoorwaarden die, hoewel over het algemeen vervuld in standaardontwerpen, kunnen falen in specifieke ontaarde gevallen.