Optimal Inference with Black-box Predictions

Technische Samenvatting: Optimale Inferentie met Black-box Voorspellingen

Probleemstelling
Dit werk behandelt de uitdaging van het uitvoeren van geldige en efficiënte statistische hypothesetests in hoogdimensionale omgevingen wanneer hulpbronnen in de vorm van black-box voorspellingen van de datadistributie beschikbaar zijn. Specifiek bestuderen de auteurs het Gaussische sequentiemodel waarbij men $n$ monsters observeert $X_1, \dots, X_n \sim N(\theta, I_d/n)$ en $m$ vaste black-box voorspellingen $\{\hat{\theta}_1, \dots, \hat{\theta}_m\}$ van het onbekende gemiddelde $\theta \in \mathbb{R}^d$. Het doel is om de nulhypothese $H_0: \theta = 0$ te testen tegen een alternatief $H_1: \|\theta\|_2 \geq \epsilon$.

Er bestaat een centrale spanning: hoewel informatieve voorspellingen de statistische kracht kunnen concentreren op specifieke richtingen, kunnen slechte voorspellingen een test misleiden. Cruciaal is dat in de praktijk de nauwkeurigheid (foutradius) van deze voorspellingen onbekend is. Dit artikel streeft ernaar de informatie-theoretische limieten van inferentie in deze setting te karakteriseren en tests te ontwikkelen die adaptern aan onbekende voorspellingsnauwkeurigheden zonder de validiteit op te offeren.

Methodologie en Raamwerk
De auteurs maken gebruik van een minimax-raamwerk om de moeilijkheid van het onderscheiden van $H_0$ van $H_1$ te analyseren. Zij definiëren de "oracle"-setting waarbij de voorspellingsnauwkeurigheden $r = (r_1, \dots, r_m)$ bekend zijn, en de "adaptieve" setting waarbij deze onbekend zijn.

1. Oracle Inferentie: Wanneer de nauwkeurigheden bekend zijn, wordt de alternatieve hypothese gelokaliseerd tot de intersectie van bollen $B_r = \bigcap_{i=1}^m B(\hat{\theta}_i, r_i)$. De auteurs karakteriseren de optimale scheidingssnelheid $\epsilon^*(r)$ op basis van de geometrie van de intersectie $S_\epsilon \cap B_r$ (waarbij $S_\epsilon$ de sfeer van straal $\epsilon$ is).

   • Zij introduceren $\gamma_*(\epsilon, r)$, de lengte van de kleinste projectie van het alternatieve gemiddelde op de span van de voorspellingen.
   • Zij definiëren een "worst-case cosine similarity" $CS(\epsilon, r)$ om de uitlijning tussen het datagemiddelde en de voorspellingsspan te meten.
   • De optimale oracle-test schakelt tussen een standaard chi-kwadraat-test (wanneer voorspellingen niet-informatief zijn) en een likelihood-ratio of projectie-gebaseerde test (wanneer voorspellingen informatief zijn).

2. Adaptieve Inferentie (Orthogonale Voorspellingen): Wanneer de voorspellingen orthogonaal zijn en de nauwkeurigheden onbekend zijn, stellen de auteurs een adaptieve test voor die projecties op alle voorspellingsrichtingen aggregeert met behulp van een chi-kwadraat-statistiek op de span van de voorspellingen. Zij analyseren de "adaptiviteitskloof" — de kosten in steekproefomvang omdat de test richtingen niet kan wegen op basis van hun onbekende nauwkeurigheden.

3. Adaptieve Inferentie (Arbitraire Voorspellingen): Voor niet-orthogonale voorspellingen (bijv. van hetzelfde model via resampling) zijn standaard projectietests suboptimaal omdat ze alle richtingen in de span gelijk behandelen. De auteurs stellen een intrinsieke projectietest voor. Deze methode weegt projecties op basis van de singuliere waarden van de voorspellingsmatrix $\hat{U}$, waarbij specifiek gebruik wordt gemaakt van de gekwadrateerde cosine similarity matrix $\Sigma = \hat{U}^T \hat{U}$. De teststatistiek hangt af van de intrinsieke dimensie van $\Sigma^2$, gedefinieerd als $Int(\Sigma^2) = \text{Tr}(\Sigma^2) / \|\Sigma^2\|_{op}$, in plaats van de ambient dimensie van de voorspellingsspan.

Belangrijkste Bijdragen en Resultaten

• Oracle Limieten (Theorema's 1 & 2): De auteurs karakteriseren de optimale steekproefcomplexiteit voor een oracle-test. De snelheid hangt af van de worst-case cosine similarity tussen het ware gemiddelde en de voorspellingsspan.

  • Als de gelijkenis laag is ($CS \lesssim d^{-1/4}$), biedt de voorspelling geen voordeel, en blijft de snelheid gelijk aan de voorspellingsvrije snelheid van $n \gtrsim \sqrt{d}/\epsilon^2$.
  • Als de gelijkenis hoog is, bereikt de oracle een dimensie-onafhankelijke snelheid van $n \gtrsim 1/\gamma_*^2$, wat effectief het probleem reduceert tot een eendimensionale test.
  • Als de voorspelling extreem accuraat is (disjuncte bollen), worden parametrische snelheden $n \gtrsim 1/\|\theta^*\|^2$ bereikt.

• Kosten van Adaptatie voor Orthogonale Voorspellingen (Theorema's 3 & 4): Voor orthogonale voorspellingen stellen de auteurs vast dat een adaptieve test een steekproefomvang vereist die een factor $\sqrt{m}$ groter is dan de oracle.

  • De adaptieve snelheid is $n \gtrsim \sqrt{m}/\gamma_*^2$.
  • Deze kloof ontstaat omdat de adaptieve test moet zoeken naar afwijkingen over alle $m$ orthogonale richtingen, terwijl de oracle deze kan aggregeren in één enkele optimale richting.
  • De auteurs bewijzen dat deze $\sqrt{m}$ afhankelijkheid optimaal is onder een natuurlijke invariantie-eigenschap (Eigenschap 1) die voldoet aan de scheidingscurven, waarmee zij aantonen dat een "gratis lunch" onmogelijk is voor orthogonale voorspellingen.

• Adaptatie voor Arbitraire Voorspellingen (Theorema 5): Voor niet-orthogonale voorspellingen tonen de auteurs aan dat de kosten van adaptatie afhangen van de intrinsieke dimensie ($Int(\Sigma^2)$), in plaats van het aantal voorspellingen $m$ of de rang van de span.

  • De adaptieve test met intrinsieke projectie bereikt snelheden $n \gtrsim \sqrt{Int(\Sigma^2)}/\tilde{\gamma}_*^2$.
  • Omdat $Int(\Sigma^2) \leq \text{rank}(\hat{U})$, kunnen niet-orthogonale voorspellingen (die vaak clusteren) de adaptatiekosten aanzienlijk verlagen vergeleken met het orthogonale geval.
  • Het artikel demonstreert dat wanneer voorspellingen aanzienlijke informatie delen (lage intrinsieke dimensie), adaptieve methoden beter kunnen presteren dan concurrerende methoden die deze structuur negeren.

Betekenis en Claims
Het artikel claimt een verenigend principe te bieden voor het integreren van black-box voorspellingen in hypothesetests. De primaire bijdragen zijn:

1. Karakterisering van Limieten: Het stelt de informatie-theoretische limieten van inferentie met black-box voorspellingen vast, waarbij onderscheid wordt gemaakt tussen regimes waarin voorspellingen nuttig zijn versus niet-nuttig op basis van geometrische uitlijning.
2. Kwantificering van Adaptatiekosten: Het kwantificeert rigoureus de "kosten van adaptatie" (de straf in steekproefomvang door het niet kennen van de voorspellingsnauwkeurigheid). Het onthult dat voor orthogonale voorspellingen deze kosten schalen met $\sqrt{m}$, maar voor gecorreleerde voorspellingen schalen ze met de intrinsieke dimensie van de voorspellingsset.
3. Praktische Algoritmen: Het stelt praktische, adaptieve tests voor (projectie-gebaseerd en intrinsiek projectie-gebaseerd) die automatisch de toewijzing van kracht (power allocation) aanpassen. Deze tests zijn geldig ongeacht de kwaliteit van de voorspelling (behoud van Type I fout controle), maar bereiken optimale kracht wanneer de voorspellingen informatief zijn.

De auteurs positioneren dit werk binnen de bredere context van structuur-agnostische inferentie en voorspellingsgestuurde inferentie (prediction-powered inference), waarbij zij deze concepten uitbreiden naar hypothesetests. Zij benadrukken dat hoewel voorspellingen de efficiëntie kunnen verbeteren, de optimale strategie kritisch afhangt van de geometrische relatie tussen de voorspellingen en de onbekende waarheid, en dat adaptatie aan onbekende kwaliteit een specifieke, kwantificeerbare kostenpost met zich meebrengt.