Searching for Anomalies with Foundation Models

✨

Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Each language version is independently generated for its own context, not a direct translation.

De Zoektocht naar het Onbekende: Een Verhaal over AI en Deeltjesfysica

Stel je voor dat je een enorme berg met miljoenen stenen hebt. De meeste stenen zijn gewoon rood, grijs of bruin. Maar ergens in die berg zit misschien één unieke, glinsterende blauwe steen die nog nooit iemand heeft gezien. Dat is wat natuurkundigen doen bij het CMS-experiment (een gigantische deeltjesdetector in Zwitserland): ze zoeken naar nieuwe, vreemde deeltjes tussen de miljarden gewone botsingen.

In dit artikel vertellen twee onderzoekers, Vinicius en Benjamin, een spannend verhaal over hoe ze een slimme AI (kunstmatige intelligentie) hebben gebruikt om die "blauwe steen" te vinden, en hoe ze erachter kwamen dat de AI misschien wel iets te slim was.

1. De AI als een Super-Detective

De onderzoekers gebruikten een nieuw type AI, een zogenaamd "Foundation Model" (een basismodel). Denk hierbij niet aan een simpele calculator, maar aan een detective die eerst miljoenen boeken heeft gelezen over de natuurkunde. Hij weet dus precies hoe een "normale" steen eruit ziet.

Ze gaven de AI de taak om in de berg stenen te zoeken naar alles wat niet normaal is.

De kleine AI: Toen ze de "kleine" versie van de detective gebruikten, vond hij precies wat ze verwachtten: een hoopje stenen die leken op top-quarks (een bekend, zwaar deeltje). De AI zei: "Kijk, hier is een hoopje top-quarks!" en dat klopte perfect.
De grote AI: Toen ze de "grote", nog slimmere versie van de detective gebruikten, gebeurde er iets vreemds. De AI vond ook top-quarks, maar hij keek ook naar een andere plek in de berg. Daar zag hij een rare, onverklaarbare hoop stenen die niet leek op wat ze kenden. Het was alsof de detective plotseling een spook zag in de hoek van de kamer.

2. De Grote Vraag: Is het een Spook of een Foutje?

De onderzoekers dachten: "Wauw, misschien hebben we een nieuw deeltje gevonden!" Maar in de wetenschap moet je eerst controleren of het niet gewoon een foutje in je meetapparatuur is.

Ze deden een uitgebreide check:

Ze keken of de "normale" stenen (de achtergrond) wel goed werden voorspeld. In de meeste delen van de berg klopte dit perfect.
Maar in het gebied waar de grote AI het "spook" zag, klopte de voorspelling niet. De data (de echte stenen) leken niet op wat de theorie (de voorspelling) zei.

3. De "ABCD"-Truc: Een Slimme Vermoedensmethode

Om te begrijpen wat er aan de hand was, gebruikten ze een slimme truc die ze de ABCD-methode noemen.
Stel je voor dat je vier kamers hebt:

Kamer A: De kamer met de rare stenen (waar de AI naar kijkt).
Kamer B, C en D: Kamers met "normale" stenen.

De regel is: als je weet hoeveel stenen er in B, C en D zitten, kun je precies berekenen hoeveel er moeten zitten in Kamer A, als er geen spook is.
Ze deden dit en ontdekten: in Kamer A zaten er veel meer stenen dan de berekening voorspelde. Er was echt een afwijking.

4. Het Raadsel: Wat is dit voor een Steen?

Ze probeerden uit te vinden wat die extra stenen waren.

Hypothese 1: Twee Higgs-bosons. Ze dachten: "Misschien zijn dit twee Higgs-deeltjes die samen botsen?" (Een Higgs-deeltje is een bekend deeltje, maar twee tegelijk is heel zeldzaam).
- Resultaat: Als ze dit als verklaring gebruikten, paste het beeld veel beter! Het leek alsof ze de "blauwe steen" hadden gevonden.
- Maar... Om dit te verklaren, moesten ze de theorie met 4000 keer opblazen. Dat is onmogelijk; de natuurkunde zou dan volledig instorten. Het was alsof je zegt: "Ik heb een muis gezien," maar je moet de theorie aanpassen alsof het een olifant is.
Hypothese 2: De AI ziet iets anders.
Ze probeerden een andere AI die specifiek was getraind om Higgs-deeltjes te vinden. Die AI zag niets vreemds.
- Dit betekent dat de "grote AI" en de "Higgs-AI" naar heel verschillende dingen kijken. De grote AI selecteert stenen op een manier die we nog niet begrijpen. Misschien heeft de AI een patroon gevonden dat wij niet zien, of misschien is het gewoon een rare statistische fluctuatie (een toevalstreffer).

5. De Conclusie: "Kijk maar zelf"

De onderzoekers trekken geen definitieve conclusie dat ze een nieuw deeltje hebben gevonden. Ze zeggen in feite:

"We hebben een raadsel gevonden. De grote AI ziet iets vreemds dat niet past bij onze huidige theorieën. Het lijkt op een dubbel-Higgs-deeltje, maar dat is onmogelijk. Misschien is het een fout in de AI, misschien is het een nieuw fenomeen, of misschien is het gewoon toeval."

Ze nodigen de rest van de wereld uit om hun data en code te bekijken. Ze zeggen: "Kijk zelf maar eens goed. Misschien zien jullie iets dat wij over het hoofd hebben gezien."

Samengevat in één zin:
De onderzoekers gebruikten een super-slimme AI om nieuwe deeltjes te zoeken, en hoewel ze een raadselachtig patroon vonden dat niet paste bij de theorie, is het nog te vroeg om te zeggen of het een nieuwe ontdekking is of gewoon een rare droom van de computer.

Each language version is independently generated for its own context, not a direct translation.

Titel: Zoeken naar Anomalieën met Foundation Models

Auteurs: Vinicius Mikuni en Benjamin Nachman

1. Probleemstelling en Context

Anomaliedetectie (AD) is een geautomatiseerde zoektocht naar nieuwe fenomenen in deeltjesfysica, zonder voorafgaande kennis van het specifieke signaal. Foundation Models (FM), zoals het OmniLearned-model, zijn vooraf getrainde machine learning-representaties die op grote datasets zijn getraind en kunnen worden gebruikt voor diverse downstream-taken, waaronder AD.

Eerdere studies toonden aan dat kleinere OmniLearned-modellen (klein en medium) succesvol de top-quark konden "herontdekken" als een anomalie in CMS-data. Echter, bij het toepassen van het grote OmniLearned-model (met ongeveer 250 keer meer trainingsparameters) op dezelfde data, werd een onverwacht gedrag waargenomen in de massazijband (sideband). De fit van de achtergrond was hier slecht, wat suggereerde dat het model structuren selecteerde die niet volledig door de standaardmodellen (Standard Model - SM) konden worden verklaard.

Het doel van dit artikel is om een volledige, rigoureuze analyse uit te voeren van de door het grote model geselecteerde fase-ruimte, inclusief een complete achtergrondschatting en kwantificering van onzekerheden, om te bepalen of deze afwijkingen echt nieuw fysisch signaal zijn of artefacten.

2. Methodologie

Data en Simulatie:

Data: Gebruik gemaakt van de CMS Open Data (2016 release), met proton-proton botsingen bij een centrum-energie van 13 TeV en een geïntegreerde lichtsterkte van 16,39 fb⁻¹.
Selectie: Gebeurtenissen werden geselecteerd met twee grote straal-jets ( $R=0.8$ ) met een hoge transversale impuls ( $p_T > 450$ GeV) en een zachte drop-massa (soft drop mass) $> 60$ GeV.
Anomalie Score: De score wordt berekend als de som van de voorspellingen voor niet-QCD-processen (zoals 2-, 3- of 4-prong jets) gedeeld door de som van alle QCD-gerelateerde klassen.

Achtergrondschatting (Data-driven):

ABCD-methode: Om de QCD-achtergrond te schatten zonder afhankelijkheid van simulatie in de signaalgewenste regio, werd de ABCD-methode gebruikt. Twee onafhankelijke observabelen (de anomalie-scores van de twee jets) definieerden vier regio's (A, B, C, D). De achtergrond in regio A (signaalregio) wordt geschat als $N_A = (N_B \times N_C) / N_D$ .
Validatieregio's: De data werd verder gesplitst op basis van de $\tau_{21}$ sub-jettiness-observabele (een maat voor jet-substructuur) om regio's te scheiden die rijk zijn aan $W/Z$ -bosonen ( $\tau_{21} < 0.45$ ) versus die rijk zijn aan top-quark paren ( $\tau_{21} > 0.45$ ). Dit resulteerde in acht onafhankelijke regio's die simultaan werden gebruikt om de achtergrond te constraineren.
Schaalfactoren: Schaalfactoren werden bepaald om simulaties van bekende processen (top-quark paren, $V$ +jets, etc.) af te stemmen op de data.

Statistische Analyse:

Een binned maximum likelihood fit werd uitgevoerd op de soft drop-massa verdeling van de leidende jet.
Systematische onzekerheden (jet-energieschaal, resolutie, luminositeit, theorie-onzekerheden) werden behandeld als nuisance parameters.
Goedeheid-van-fit (GOF) tests werden uitgevoerd om de consistentie tussen data en het model te beoordelen.

3. Belangrijkste Resultaten

Resultaten met het Kleine Model:

Het kleine OmniLearned-model toonde een duidelijke excess in het top-quark massavenster.
De achtergrondschatting (ABCD + simulatie) beschreef de data uitstekend in alle regio's.
De significantie voor top-quark productie was zeer hoog (>10 $\sigma$ ), wat consistent is met eerdere bevindingen.

Resultaten met het Grote Model:

Onverwachte Structuur: Het grote model selecteerde gebeurtenissen met een zwakke top-quark piek, maar toonde een significante afwijking in de zijband rond een soft drop-massa van ~150 GeV.
Slecht Fit: De achtergrondfit (alleen SM-processen) paste slecht op de data in de regio waar beide jets een lage $\tau_{21}$ hebben ( $\tau_{21} < 0.45$ ). De p-waarde van de GOF-test was laag ( $p \approx 0.092$ ), wat wijst op een inconsistentie.
Hypothesetest (Di-Higgs): Toen een signaalhypothese voor de productie van twee Higgs-bosonen ( $HH \to b\bar{b}b\bar{b}$ $H H \to b \overset{ˉ}{b} b \overset{ˉ}{b}$ ) werd toegevoegd, verbeterde de fit aanzienlijk.
- De fit vereiste een schaalvergroting van het SM-di-Higgs signaal met een factor 4000.
- De waargenomen significantie ten opzichte van de achtergrond-only hypothese steeg naar 3.92 $\sigma$ (en 4.11 $\sigma$ bij het toevoegen van een b-tagging vereiste).
Substructuur Analyse: Verdere splitsing van de data toonde aan dat de excess het sterkst is wanneer de sub-leadende jet een soft drop-massa $> 100$ GeV heeft.
Vergelijking met X(bb) Tagger: Een cross-check werd uitgevoerd met een specifieke $X \to b\bar{b}$ tagger. Hoewel de kinematica van de door OmniLearned geselecteerde gebeurtenissen leken op di-Higgs, overlapten slechts 20-30% van deze gebeurtenissen met die van de $X(bb)$ tagger. Dit suggereert dat het grote model een unieke jet-substructuur selecteert die niet volledig overeenkomt met standaard di-Higgs productie.

4. Bijdragen en Conclusies

Belangrijkste Bijdragen:

Volledige Analyse: Dit is de eerste volledige analyse van een anomalie gevonden door een groot foundation model in CMS-data, inclusief een robuuste data-driven achtergrondschatting.
Validatie van Methodiek: De auteurs valideren dat de ABCD-methode en data-driven achtergrondschatting werken voor het kleine model, maar falen bij het grote model zonder extra signaalcomponenten.
Identificatie van een Anomalie: Het grote model selecteert een populatie gebeurtenissen die niet goed wordt beschreven door het Standaardmodel, met een kenmerkende massa-structuur rond 150 GeV.

Conclusie en Significance:

De auteurs concluderen dat de waargenomen excess niet waarschijnlijk het standaardmodel-di-Higgs signaal is (gezien de enorme schaalvergroting die nodig is en de kleine overlap met gespecialiseerde taggers).
De anomalie wijst erop dat het grote foundation model mogelijk gevoelig is voor een nieuwe, onbekende jet-substructuur of een nieuw fysisch proces dat nog niet in de simulaties is opgenomen.
Het artikel nodigt de wetenschappelijke gemeenschap uit om deze gebeurtenissen en methoden verder te onderzoeken. De code en data zijn openbaar beschikbaar.
De resultaten benadrukken het potentieel van foundation models om nieuwe fenomenen te ontdekken die traditionele zoekstrategieën missen, maar waarschuwen ook voor de complexiteit van het interpreteren van "zwarte doos"-modellen zonder grondige achtergrondvalidatie.

Kortom, het papier toont aan dat grotere foundation modellen meer "kracht" hebben om afwijkingen te vinden, maar dat deze afwijkingen soms leiden tot complexe, niet-triviale vragen die verder onderzoek vereisen dan alleen het opzoeken van bekende deeltjes.