Technische Samenvatting: Over het focussen van statistische kracht voor zoektochten en metingen in de deeltjesfysica

1. Probleemstelling

Experimenten in de deeltjesfysica vertrouwen zwaar op de Generalized Likelihood Ratio Test (GLRT) voor zowel het zoeken naar nieuwe fenomenen als het meten van bekende parameters. Deze analyses omvatten doorgaans samengestelde hypothesetests (bijv. het testen van een nulhypothese $H_0: \mu = \mu_0$ tegen een samengestelde alternatieve hypothese $H_1: \mu \neq \mu_0$).

Hoewel het Neyman-Pearson-lemma garandeert dat de Likelihood Ratio Statistic (LRS) optimaal is voor eenvoudige-tegen-eenvoudige hypothesetests, garandeert het niet optimaliteit voor samengestelde tests. In algemene settings bestaat er geen enkele teststatistiek die tegelijkertijd het meest krachtig is voor alle mogelijke waarden van de alternatieve parameterruimte. Bij gevolg is de keuze van de LRS impliciet bepalend voor hoe de statistische kracht over de parameterruimte wordt verdeeld, wat vaak resulteert in suboptimale sensitiviteit in specifieke gebieden van belang. Bovendien vereist het construeren van geldige betrouwbaarheidsintervallen voor deze complexe modellen vaak computationeel dure Monte Carlo (MC) pseudo-experimenten, met name wanneer asymptotische benaderingen (zoals de stelling van Wilks) falen door kleine steekproefomvang of randeffecten.

2. Methodologie

De auteurs stellen een Focused Test Statistic (FTS) voor als een directe vervanging voor de standaard LRS. De FTS wordt gedefinieerd als:

$$T_f(D; \mu_0) = -2 \log \left( \frac{p(D; \mu_0)}{\int_{\Theta} p(D; \mu) f(\mu) d\mu} \right)$$

Waar:

• $p(D; \mu)$ de likelihood van de data is gegeven de parameter $\mu$.
• $f(\mu)$ een focusfunctie (een wegefunctie) is, gedefinieerd door de analist, niet door de data. Deze functie vertegenwoordigt natuurkundig gemotiveerde gebieden van belang (bijv. een Gaussische verdeling gecentreerd op een Standaardmodel-voorspelling of een nulhypothese).
• De noemer de gewogen gemiddelde van de likelihood over de alternatieve hypotheseruimte vertegenwoordigt.

Belangrijke methodologische kenmerken:

• Frequentistische geldigheid: Hoewel de FTS Bayesiaanse wortels heeft (het vertoont gelijkenissen met een Bayes-factor), passen de auteurs deze strikt binnen een frequentistisch kader toe. De resulterende betrouwbaarheidsintervallen worden geconstrueerd door de hypothesetests te inverteren.
• Optimaliteit: Er is bewezen dat de FTS de verwachte lengte van het betrouwbaarheidsinterval minimaliseert met betrekking tot de marginale distributie geïnduceerd door de focusfunctie $f(\mu)$, terwijl de exacte dekking ($1-\alpha$) behouden blijft voor elke $\mu \in \Theta$.
• Bias versus Kracht: De methode introduceert opzettelijk een vorm van technische bias (verminderde kracht in regio's waar $f(\mu)$ klein is) om de kracht te maximaliseren in regio's waar $f(\mu)$ groot is. Dit is verschillend van de CLs-methode; FTS garandeert correcte dekking over de gehele parameterruimte.
• Efficiënte Kalibratie: Om de computationele kosten van traditionele MC-methoden voor het bepalen van kritieke waarden $C_{\mu_0}$ te vermijden, maken de auteurs gebruik van Quantile Regression (QR) via machine learning. Dit maakt de snelle schatting van kritieke waarden als functie van $\mu_0$ mogelijk, wat de constructie van geldige betrouwbaarheidsintervallen mogelijk maakt, zelfs in regimes met kleine steekproeven waar asymptotiek faalt.

3. Belangrijkste Bijdragen

1. Introductie van FTS: Een nieuwe teststatistiek die analisten in staat stelt om statistische kracht te "focussen" op specifieke, natuurkundig gemotiveerde regio's van de parameterruimte zonder de geldigheid van de betrouwbaarheidsintervallen op te offeren.
2. Theoretische Garanties: Bewijs dat FTS-intervallen de kortste zijn onder alle geldige intervallen wanneer ze worden gemiddeld over de door de focusfunctie geïnduceerde distributie, terwijl de exacte frequentistische dekking behouden blijft.
3. Computationeel Kader: Een demonstratie van het gebruik van machine learning (kwantielregressie) om kritieke waarden voor zowel LRS als FTS efficiënt te kalibreren, wat de noodzaak voor massale Monte Carlo-simulaties vermindert.
4. Empirische Validatie: Toepassing van de methode op twee verschillende scenario's in de hoge-energiefysica: een meting van de Higgs-koppelingssterkte en een zoektocht naar Donkere Materie (WIMP).

4. Resultaten

De auteurs evalueerden de FTS tegen de standaard LRS met behulp van gesimuleerde datasets van het ATLAS-experiment (Higgs $\to \tau\tau$) en een dataset geïnspireerd door het LZ-experiment voor donkere materie.

Higgs Koppelingsmeting

• Opzet: Het meten van de signaalsterkte $\mu$ van de Higgs-tau koppeling, met de Standaardmodel-voorspelling bij $\mu=1$.
• Prestaties:
  • Bij gebruik van een brede focus ($s=2.4$) gecentreerd rond $\mu=1$, produceerde de FTS 68%-betrouwbaarheidsintervallen die 13% korter waren dan die van LRS wanneer het ware signaal $\mu=1$ was.
  • Bij gebruik van een smalle focus ($s=1.2$), waren de intervallen 21% korter dan die van LRS bij $\mu=1$.
  • De verbetering bleef robuust, zelfs wanneer de ware signaalsterkte matig afweek van het centrum van de focus.
• Observabelen: Winsten werden waargenomen met zowel de gereconstrueerde Higgs-massa als de zichtbare massa-observabelen.

Zoektocht naar Donkere Materie (WIMP)

• Opzet: Zoeken naar WIMPs waarbij de nulhypothese $\mu=0$ is (geen signaal). De focus was gecentreerd rond $\mu=0$.
• Prestaties:
  • Wanneer er geen signaal aanwezig is ($\mu^*=0$), produceerde de FTS met een brede focus 68%-betrouwbaarheidsintervallen die 47% korter waren dan die van LRS.
  • Met een smalle focus waren de intervallen 65% korter.
  • Wanneer er wel een signaal aanwezig is ($\mu^*=1$), bleven de FTS-intervallen aanzienlijk korter (45% korter met brede focus, 60% met smalle focus).
• Grensbepaling (Limit Setting): FTS bood nauwere bovengrenzen wanneer geen signaal aanwezig was en hogere ondergrenzen wanneer een signaal aanwezig was, wat effectief de sensitiviteit verbeterde om signalen uit te sluiten of te ontdekken met minder data.

Computationele Efficiëntie

Het gebruik van Kwantielregressie om kritieke waarden te schatten, heeft het benodigde simulatiebudget aanzienlijk verminderd. Met een laag budget van 9.000 pseudo-experimenten bereikte QR een Mean Squared Error (MSE) die vergelijkbaar is met MC-methoden die 1,35 miljoen (voor LRS) en 30.000 (voor FTS) pseudo-experimenten vereisten.

5. Betekenis en Claims

Het artikel claimt dat de FTS een principiële manier biedt om de sensitiviteit van experimenten in de deeltjesfysica te verbeteren, met name in regimes die gekenmerkt worden door lage signaal-ruisverhoudingen en kleine steekproefomvang (bijv. zoektochten naar donkere materie, neutrino-oscillaties en zeldzame Higgs-vervallen).

• Flexibiliteit: De methode stelt natuurkundigen in staat om voorkennis (bijv. theoretische voorspellingen of eerdere metingen) in de statistische test te integreren via de focusfunctie, zonder de frequentistische dekking van de resultaten in gevaar te brengen.
• Generaliteit: De aanpak is toepasbaar op elke bestaande analyse in de deeltjesfysica als een "drop-in" vervanging voor de LRS en strekt zich uit tot hoog-dimensionale of ongebinte analyses waar traditionele MC-belt constructies computationeel onhaalbaar zijn.
• Waarschuwing: De auteurs benadrukken dat hoewel FTS een vorm van technische bias introduceert om de kracht te optimaliseren, dit niet gelijkstaat aan Bayesiaanse inferentie of ongeldige dekking. Ze waarschuwen ook dat lege betrouwbaarheidssets (een bekend probleem in de HEP) nog steeds kunnen voorkomen en suggereren om in dergelijke gevallen singleton punt-schattingen of geschatte sensitiviteiten te rapporteren, in plaats van lege sets als betekenisvolle uitsluitingen te interpreteren.

De auteurs concluderen dat door de statistische kracht te richten op regio's van fysiek belang, de FTS de ontdekkingspotentie en precisie van belangrijke metingen in het hele vakgebied kan verbeteren.