A framework and implementation for data-driven trigger efficiency estimation at LHCb

Dit artikel introduceert een data-gedreven raamwerk en de softwareimplementatie TriggerCalib voor het schatten van trigger-efficiënties bij LHCb, inclusief de behandeling van statistische en systematische onzekerheden.

De kern

Stel je voor dat je een gigantisch, drukke concertzaal bent (deeltjesversneller LHCb) waar elke seconde miljoenen mensen (deeltjes) binnenstromen. Je wilt alleen die specifieke artiesten vastleggen die een uniek nummer spelen (bijvoorbeeld een zeldzame deeltjesverval). Het probleem? Je hebt niet genoeg cameramanagers om alles op te nemen. Je hebt dus een slimme trigger-systeem (een soort poortwachter) nodig die in een fractie van een seconde beslist: "Deze opname is interessant, houden!" of "Nee, weg met die."

Maar hier zit de adder onder het gras: hoe weet je of je poortwachter eerlijk werkt? Misschien laat hij per ongeluk te veel "interessante" artiesten binnen, of juist te weinig? Als je dat niet precies weet, zijn al je metingen aan het concert onbetrouwbaar.

Dit artikel introduceert een nieuwe, slimme manier om die poortwachter te testen en een softwarepakket (TriggerCalib) dat dit voor je regelt.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Gouden Poortwachter"

In deeltjesfysica proberen wetenschappers zeldzame gebeurtenissen te vinden. Maar de data is zo groot dat ze niet alles kunnen opslaan. Ze gebruiken een filter (de trigger).

• Het dilemma: Je kunt de filter niet zomaar testen met een simpele telling, want je hebt geen "ongefilterde" data om mee te vergelijken (dat zou een berg data zijn die niemand kan opslaan).
• De oplossing: Ze gebruiken een methode genaamd TISTOS.

2. De TISTOS-methode: De "Tag-and-Probe" Speurtocht

Stel je voor dat je wilt weten hoe goed een beveiligingscamera werkt bij het herkennen van die ene specifieke artiest (het "Signaal"). Je kunt niet alles filmen, maar je hebt wel een slimme truc:

Je kijkt naar twee soorten situaties in de menigte:

1. TOS (Trigger On Signal): De camera ziet de artiest en zegt: "Aha! Dat is die artiest! Ik neem op." De artiest zelf was de reden voor de opname.
2. TIS (Trigger Independent of Signal): De camera neemt ook op, maar niet vanwege de artiest. Misschien zag hij een andere, heel opvallende persoon in de buurt. De artiest zit er ook bij, maar was niet de reden.

De slimme rekensom:
De wetenschappers zeggen: "Als we weten hoeveel keer de camera toevallig opnam (TIS), en we weten hoeveel keer hij opnam specifiek voor de artiest (TOS), dan kunnen we berekenen hoe goed hij de artiest echt herkent."

Het is alsof je zegt: "Als ik weet dat de camera 100 keer opnam omdat er een brandblusser langs liep (TIS), en 10 keer omdat de artiest langs liep (TOS), dan weet ik hoe vaak hij de artiest missen zou als er geen brandblusser was."

3. Het Nieuwe Gereedschap: TriggerCalib

Vroeger moest elke wetenschapper dit ingewikkelde rekenwerk zelf uitwerken voor elk experiment. Dat was als elke kok die zijn eigen mes moet smeden voordat hij een soep kan koken. Het kostte tijd en leidde tot fouten.

Dit artikel presenteert TriggerCalib:

• Wat is het? Een kant-en-klaar softwarepakket (een soort "keukengerei" voor data).
• Wat doet het? Het automatiseert de hele TISTOS-berekening. In plaats van dagen te werken, duurt het nu minuten.
• Hoe werkt het? Het pakt de data, sorteert de "TOS" en "TIS" gevallen, en rekent de efficiëntie uit. Het is zo ontworpen dat het naadloos past in de bestaande workflow van de LHCb-wetenschappers.

4. Het "Ruis" Probleem: Achtergrondgeluid

In een drukke zaal is er altijd ruis (combinatorische achtergrond). Soms denkt de camera dat twee willekeurige mensen een artiest zijn, terwijl het niets is.
TriggerCalib heeft drie slimme manieren om deze ruis te filteren:

1. Zijband-aftrekking: Je kijkt naar de mensen die niet op de artiest lijken (de zijbanden) en telt ze af van je totale telling.
2. Fit-and-count: Je gebruikt een wiskundig model om precies te schatten hoeveel er echt artiesten zijn en hoeveel ruis.
3. sPlot: Een geavanceerde statistische techniek die aan elke opname een "gewicht" geeft: "Deze is 90% artiest, 10% ruis."

Het artikel toont aan dat al deze drie methoden in hun testcases tot hetzelfde resultaat leiden, wat betekent dat het systeem robuust is.

5. Waarom is dit belangrijk?

Zonder deze methode zouden wetenschappers hun resultaten moeten vertrouwen op computermodellen (simulaties). Maar computersimulaties zijn nooit 100% perfect.
Met TriggerCalib en TISTOS kunnen ze hun metingen direct op de echte data baseren.

• Voorbeeld: Stel je wilt weten hoe vaak een bepaalde zeldzame deeltjesreactie gebeurt. Als je trigger-systeem 10% minder effectief is dan je dacht, dan heb je je hele berekening over de frequentie van dat deeltje verkeerd. TriggerCalib zorgt ervoor dat die 10% correctie precies wordt toegepast.

Samenvatting in één zin

Dit artikel introduceert een slimme, geautomatiseerde "rekenmachine" (TriggerCalib) die wetenschappers helpt om precies te meten hoe goed hun deeltjes-filter werkt, door slimme statistische trucs (TISTOS) te gebruiken in plaats van alleen te vertrouwen op computermodellen, waardoor hun ontdekkingen in de deeltjesfysica veel betrouwbaarder worden.

Technische samenvatting

Titel: Een framework en implementatie voor datagedreven schatting van trigger-efficiëntie bij LHCb

Auteurs: Johannes Albrecht et al. (LHCb-collectie)
Doel: Presentatie van de TISTOS-methode en de software-implementatie TriggerCalib voor het schatten van trigger-efficiënties in deeltjesfysica-analyses.

---

1. Het Probleem

Moderne deeltjesfysica-experimenten, zoals LHCb, maken gebruik van multi-stap triggersystemen om interessante gebeurtenissen te selecteren uit enorme hoeveelheden data. De nauwkeurige schatting van de efficiëntie waarmee deze triggers geselecteerde kandidaten behouden, is cruciaal voor elke analyse.

• Beperkingen van simulatie: Simulaties alleen zijn onvoldoende omdat de complexe aard van trigger-selecties moeilijk nauwkeurig te modelleren is.
• Beperkingen van ruwe data: Het direct evalueren van efficiënties als het naïeve fractie van geaccepteerde kandidaten in opgenomen data is onmogelijk, omdat dit onbetaalbaar grote hoeveelheden ongefilterde data zou vereisen.
• Huidige praktijk: Analisten moesten de TISTOS-methode (een datagedreven aanpak) vaak handmatig en opnieuw implementeren voor elke analyse, wat tijdrovend was en expertise vereiste.

2. Methodologie: De TISTOS-methode

Het artikel beschrijft de TISTOS-methode (Trigger Independent of Signal / Trigger On Signal), een volledig datagedreven aanpak om trigger-efficiënties te schatten zonder ongefilterde data.

• Principe: De methode gebruikt een "tag-and-probe" benadering.
  • TOS (Trigger On Signal): Het signaalobject zelf is voldoende om de trigger te activeren.
  • TIS (Trigger Independent of Signal): Een ander object in de gebeurtenis is voldoende om de trigger te activeren, onafhankelijk van het signaal.
  • TISTOS: De overlap waarbij beide voorwaarden gelden.
• Classificatie: De methode classificeert detector-hits (bijv. in de VELO en SciFi trackers) die bijdragen aan een trigger-object, ten opzichte van de hits die bijdragen aan een fysiek signaal-kandidaat (bijv. een $B^+$-deeltje).
  • Als een voldoende groot deel van de trigger-hits ook in het signaal zit, is het TOS.
  • Als het overlappercentage verwaarloosbaar is, is het TIS.
• Efficiëntieberekening: De totale trigger-efficiëntie ($\varepsilon_{Trig}$) wordt berekend als:
  $$\varepsilon_{Trig} \approx \frac{N_{Trig}}{N_{TIS}} \times \frac{N_{TISTOS}}{N_{TOS}}$$
  Waarbij alle $N$-waarden direct uit de data kunnen worden berekend.
• Kinematische correlaties: Om bias door kinematische correlaties tussen TIS- en TOS-steekproeven te voorkomen, wordt de efficiëntie berekend in kleine bins van kinematische variabelen (zoals impuls $p_T$).

3. Belangrijkste Bijdragen: TriggerCalib Software

De kern van dit artikel is de introductie van TriggerCalib, een centraal geïmplementeerde Python-softwarepakket dat de TISTOS-berekeningen standaardiseert.

• Efficiëntie: Het reduceert de implementatietijd van dagen naar minuten voor analisten.
• Functionaliteit:
  • Datagedreven schatting: Directe berekening van efficiënties op data voor hoog-statistiek kanalen.
  • Correcties voor simulatie: Berekening van wegingen (weights) op basis van data om de trigger-respons in simulaties te corrigeren, essentieel voor zeldzame processen met weinig statistiek.
• Achtergrondmitigatie: Het pakket implementeert drie methoden om achtergrondruis te verwijderen bij het tellen van kandidaten:
  1. Sideband-subtractie: Aftrekken van achtergrond geschat uit zijbanden van het massaspectrum.
  2. Fit-and-count: Een statistisch model (PDF) past op de data om signaal en achtergrond te scheiden.
  3. sPlot: Een globale fit om per-event gewichten (sWeights) te genereren voor signaal en achtergrond.
• Onzekerheidsberekening: Implementatie van een geavanceerde methode voor het berekenen van statistische onzekerheden, rekening houdend met de correlaties tussen de TIS, TOS en TISTOS-categorieën (via een gegeneraliseerde Wilson-interval).

4. Resultaten en Validatie

De prestaties van TriggerCalib werden getest met een gesimuleerde steekproef van $B^+ \to J/\psi (\mu^+\mu^-) K^+$ verval, representatief voor de LHCb Run 3-omstandigheden.

• Consistentie: De drie achtergrondmitigatiemethoden (sideband, fit-and-count, sPlot) leverden consistent resultaten op voor de geïntegreerde trigger-efficiëntie (ongeveer 97,3%).
• Validatie van sWeights: Er werden tests uitgevoerd (likelihood-ratio test en Kendall's $\tau$ test) om te controleren of de gebruikte variabelen onafhankelijk waren. Hoewel er correlaties werden gevonden tussen de invariantie massa en transversale impuls, bleek dat de bias in de sWeights voor alle categorieën gelijk was, waardoor de uiteindelijke efficiëntieschatten niet significant beïnvloed werden.
• Prestatie: De software produceert ROOT-objekten (histogrammen) die direct bruikbaar zijn in het LHCb-offline-ecosysteem.

5. Betekenis en Conclusie

Dit werk biedt een robuust en gestandaardiseerd raamwerk voor de LHCb-gemeenschap en andere experimenten.

• Standaardisatie: Het elimineert de noodzaak om complexe TISTOS-codes handmatig te herschrijven voor elke nieuwe analyse.
• Nauwkeurigheid: Door het centraal beheer van statistische onzekerheden en de flexibiliteit in achtergrondmitigatie, verhoogt het de betrouwbaarheid van fysieke metingen.
• Toepasbaarheid: De methode is essentieel voor het analyseren van zowel veelvoorkomende als zeldzame vervalprocessen (zoals lepton-favoriet-universaliteitstests), waar directe datametingen onmogelijk zijn en correcties op simulaties nodig zijn.

Kortom, TriggerCalib vertaalt een theoretisch datagedreven concept naar een praktische, gebruiksvriendelijke tool die de precisie en reproduceerbaarheid van LHCb-analyses aanzienlijk verbetert.