Searching for Anomalies with Foundation Models

Diese Studie untersucht unerwartete Anomalien in CMS-Daten, die durch den OmniLearned-Foundation-Modell entdeckt wurden, und stellt fest, dass die Hintergrundschätzung im Signalbereich versagt, was zu einer Aufforderung an die wissenschaftliche Gemeinschaft führt, die Ereignisse und Methoden weiter zu überprüfen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der in einer riesigen, chaotischen Bibliothek nach einem Buch sucht, das noch niemand je geschrieben hat. Das ist im Grunde das, was Physiker am CERN (dem größten Teilchenbeschleuniger der Welt) tun: Sie suchen nach „Anomalien" – also nach neuen, unbekannten Phänomenen, die über das hinausgehen, was wir bereits kennen.

Dieser wissenschaftliche Artikel beschreibt eine spannende, aber etwas verwirrende Reise mit einem neuen Werkzeug: einer KI, die wie ein „Allwissender" trainiert wurde.

Hier ist die Geschichte, einfach erklärt:

1. Der neue Detektiv: Der „Allwissende" (Foundation Model)

Früher suchten Physiker nach neuen Teilchen, indem sie genau wussten, wonach sie suchten (wie ein Jäger, der weiß, dass er einen Hirsch sucht). Heute nutzen sie Foundation Models (Grundlagenmodelle).

Stellen Sie sich diesen KI-Modell wie einen Schüler vor, der alle Bücher der Bibliothek gelesen hat. Er kennt die Geschichte, die Physik, die Chemie – alles. Er weiß also genau, wie ein „normales" Buch (ein bekanntes Teilchen) aussieht. Wenn er nun ein Buch sieht, das sich komisch anfühlt, das nicht in seine gewohnten Muster passt, schreit er: „Achtung! Das ist seltsam!"

Die Autoren dieses Papers haben zwei Versionen dieses „Schülers" getestet: einen kleinen und einen riesigen, sehr komplexen (den „großen Modell").

2. Das Problem: Der riesige Schüler sieht Geister

Als der kleine Schüler die Daten des CMS-Experiments (eine Art riesiges Fotoalbum von Teilchenkollisionen) durchsah, fand er genau das, was er finden sollte: Er „wiederentdeckte" das Top-Quark (ein bekanntes, schweres Teilchen). Das war wie ein Schüler, der einen bekannten Hirsch im Wald erkennt. Alles lief perfekt.

Aber dann kam der große Schüler an die Reihe.

• Er fand auch das Top-Quark.
• ABER: Er fand auch etwas anderes. In einem Bereich, wo eigentlich nur „leerer Raum" (Hintergrundrauschen) sein sollte, sah er eine seltsame Kurve. Es sah aus, als ob dort etwas Neues lauern würde.

Das war aufregend! Aber es war auch beunruhigend. War das ein neues Teilchen? Oder war der große Schüler einfach nur verwirrt und hat einen Schatten für ein Monster gehalten?

3. Die Untersuchung: Der große Check

Die Autoren sagten: „Wir trauen unseren Augen nicht. Wir müssen das genau prüfen."
Sie führten eine komplette Analyse durch, vergleichbar mit einer forensischen Untersuchung:

• Die Methode (ABCD-Methode): Stellen Sie sich vor, Sie wollen herausfinden, wie viele Menschen in einem Raum sind, ohne sie zu zählen. Sie teilen den Raum in vier Zonen auf. Wenn Sie wissen, wie viele Menschen in drei Zonen sind, können Sie mathematisch berechnen, wie viele in der vierten Zone sein müssten.
  • Die Autoren nutzten diese Methode, um den „Hintergrund" (das normale Rauschen) so genau wie möglich zu berechnen, ohne auf Simulationen zu vertrauen, die vielleicht falsch liegen.
• Das Ergebnis: In den meisten Bereichen passte die Rechnung perfekt. Der Hintergrund wurde gut verstanden.
• Das Rätsel: In dem speziellen Bereich, den der große KI-Schüler als „seltsam" markiert hatte, passte die Rechnung nicht. Die Daten sahen anders aus als erwartet.

4. Die Vermutung: Ist es ein „Doppel-Higgs"?

Da die Standard-Physik (das, was wir kennen) die seltsame Kurve nicht erklären konnte, warfen die Autoren einen Blick auf eine mögliche Erklärung: Doppel-Higgs-Produktion.
Stellen Sie sich das Higgs-Teilchen wie eine Art „Schwerkraft-Stein" vor. Normalerweise taucht es einzeln auf. Aber theoretisch könnten zwei davon gleichzeitig entstehen.

• Als sie ihre Daten mit dem Muster von „zwei Higgs-Teilchen" verglichen, passte das Bild plötzlich viel besser! Es war, als ob das fehlende Puzzleteil gefunden worden wäre.
• Aber Vorsicht: Die Autoren betonen: „Wir haben keinen Beweis!" Es könnte sein, dass die KI einfach nur eine statistische Unregelmäßigkeit (ein Rauschen) falsch interpretiert hat. Die Wahrscheinlichkeit, dass es wirklich ein neues Teilchen ist, ist noch nicht hoch genug für einen „Nobel-Preis".

5. Der Twist: Ein anderer Detektiv sieht nichts

Um sicherzugehen, testeten sie eine andere Methode. Sie nutzten einen spezialisierten „Jäger", der nur nach bestimmten Mustern (schwere Teilchen, die in zwei andere zerfallen) sucht.

• Dieser spezialisierte Jäger sah nichts Seltsames.
• Interessanterweise: Nur etwa 20–30 % der Ereignisse, die der „Allwissende" (große KI) als seltsam markierte, wurden auch vom spezialisierten Jäger gefunden.

Das deutet darauf hin, dass der große KI-Schüler vielleicht etwas sieht, das wir noch gar nicht verstehen – eine Art „Substruktur" in den Teilchen, die unsere bisherigen Werkzeuge übersehen.

Fazit: Was lernen wir daraus?

Dieses Papier ist keine Ankündigung einer neuen Entdeckung, sondern eine wichtige Warnung und Einladung.

1. KI ist mächtig, aber manchmal rätselhaft: Große KI-Modelle können Dinge finden, die wir nicht suchen, aber sie können auch „Halluzinationen" produzieren.
2. Vorsicht ist geboten: Wenn eine KI etwas Seltsames findet, müssen wir erst beweisen, dass es kein Fehler in unserer Rechnung ist.
3. Ein offenes Buch: Die Autoren laden die gesamte wissenschaftliche Welt ein, ihre Daten und Methoden zu prüfen. Sie sagen im Grunde: „Schaut mal, hier ist ein komisches Muster. Wir haben es mit allen Mitteln geprüft. Es könnte ein neues Teilchen sein, oder es könnte ein Fehler. Aber es ist auf jeden Fall interessant genug, um genauer hinzusehen."

Zusammenfassend: Es ist wie bei einem Detektiv, der in einem alten Haus einen seltsamen Schatten sieht. Er weiß nicht, ob es ein Geist ist oder nur ein Vorhang im Wind. Aber er hat die Lichter angemacht, die Fenster überprüft und ruft jetzt alle Nachbarn, um gemeinsam hinzusehen. Vielleicht finden sie ja wirklich etwas Neues!

Technische Zusammenfassung

Titel: Suche nach Anomalien mit Foundation Models

Autoren: Vinicius Mikuni und Benjamin Nachman

---

1. Problemstellung und Motivation

Das Ziel der Arbeit ist die Untersuchung der Eignung von Foundation Models (FM) für die automatische Suche nach neuen physikalischen Phänomenen (Anomaly Detection, AD) in Teilchenkollisionsdaten.

• Hintergrund: In einer früheren Studie (Ref. [5]) wurde gezeigt, dass das „OmniLearned"-Modell (ein auf großen Datensätzen vortrainiertes Modell) in der Lage ist, bekannte Teilchen wie das Top-Quark als Anomalie wiederzufinden, ohne dass Simulationen für den Trainingsprozess verwendet wurden.
• Das Problem: Bei der Anwendung des großen OmniLearned-Modells (im Vergleich zum kleinen und mittleren Modell) auf Daten des CMS-Experiments wurde ein unerwartetes Verhalten beobachtet. Während das kleine Modell einen klaren Peak bei der Top-Quark-Masse zeigte, wies das große Modell eine verzerrte Verteilung im linken Massenseitenband (Sideband) auf. Dies deutete darauf hin, dass das große Modell entweder eine neue Physik entdeckt hat oder dass die Hintergrundmodellierung für dieses spezifische Modell versagt.
• Ziel der Studie: Eine vollständige, rigorose Analyse des vom großen Modell ausgewählten Phasenraums, einschließlich einer datengestützten Hintergrundschätzung, um zu klären, ob die beobachteten Abweichungen echte Signale oder Artefakte sind.

2. Methodik

Datengrundlage

• Daten: CMS Open Data (2016), Proton-Proton-Kollisionen bei $\sqrt{s} = 13$ TeV, integrierte Luminosität von 16,39 fb$^{-1}$.
• Simulierte Daten: Verschiedene Standardmodell-Prozesse (QCD-Multijets, $t\bar{t}$, $W/Z$+Jets, Dibosonen, Higgs) wurden mit Generatoren wie MadGraph5_aMC@NLO, POWHEG-BoxV2 und Pythia8 simuliert, um Validierungsstrategien zu testen.

Ereignisauswahl und Anomalie-Score

• Objekte: Große Jets (Radius $R=0.8$) mit hohem transversalem Impuls ($p_T > 450$ GeV).
• Anomalie-Score: Der Score basiert auf der Summe der Vorhersagen für Klassen, die zu 2-, 3- oder 4-Prong-Jets führen, dividiert durch die Summe aller QCD-Jet-Klassen. Das Modell wurde mit 200 Klassen vortrainiert.
• Selektion: Ereignisse müssen mindestens zwei große Jets erfüllen. Zusätzlich wird die „Soft Drop"-Masse ($m_{SD}$) mit Parametern $z_{cut}=0.1, \beta=0$ gefordert ($m_{SD} > 60$ GeV).
• Anomalie-Region: Der Schwellenwert für den Anomalie-Score wurde so gewählt, dass nur 0,2 % der Daten als „anomal" gelten (ca. 1000 Ereignisse), um den dominierenden QCD-Hintergrund zu unterdrücken.

Hintergrundschätzung (ABCD-Methode)

Da Simulationen für den QCD-Hintergrund in den vom Anomalie-Score ausgewählten Regionen unzuverlässig sein können, wurde eine datengestützte ABCD-Methode verwendet:

• Zwei unabhängige Observablen: Der Anomalie-Score für Jet 1 und Jet 2.
• Vier Regionen:
  • A (Signalregion): Beide Jets bestehen die Selektion.
  • B & C (Kontrollregionen): Ein Jet besteht, einer fällt durch.
  • D (Sideband): Beide Jets fallen durch.
• Schätzung: Die QCD-Ereignisse in Region A werden geschätzt als $N_A = (N_B \cdot N_C) / N_D$.
• Erweiterung: Um verschiedene Hintergrundprozesse zu trennen, wurde die ABCD-Methode in zwei Subjettiness-Regionen ($\tau_{21} < 0.45$ und $\tau_{21} > 0.45$) angewendet, was insgesamt acht unabhängige Regionen für den Fit ergibt.

Statistische Analyse

• Verwendung eines binned Maximum-Likelihood-Fits (mit COMBINE/ROOFIT).
• Einbeziehung systematischer Unsicherheiten (Jet-Energie-Skala, Masse, Pile-up, theoretische Unsicherheiten).
• Goodness-of-Fit (GOF) Test: Verwendung eines gesättigten Teststatistik-Ansatzes (Saturated Test Statistic) zur Bewertung der Übereinstimmung zwischen Daten und Modell.

3. Wichtige Ergebnisse

Validierung des kleinen Modells

• Das kleine OmniLearned-Modell bestätigte die früheren Ergebnisse: Es zeigt einen klaren Überschuss bei der Top-Quark-Masse (~172 GeV).
• Die datengestützte Hintergrundschätzung (ABCD) beschreibt die Daten in allen Validierungsregionen hervorragend (p-Werte im akzeptablen Bereich).

Analyse des großen Modells

• Diskrepanz: Das große Modell zeigt eine signifikante Abweichung von den Erwartungen. Im Bereich $\tau_{21} < 0.45$ (typisch für 2-Prong-Jets wie W/Z/Higgs) gibt es eine unerwartete Struktur bei einer Soft-Drop-Masse von ca. 150 GeV.
• GOF-Test: Der p-Wert für den Fit im Signalbereich des großen Modells ist sehr niedrig (p = 0,092), was auf eine Inkonsistenz zwischen dem reinen Standardmodell-Hintergrund und den Daten hindeutet. Im Gegensatz dazu war der p-Wert für das kleine Modell hoch (p = 0,588).
• Hypothesentest (Di-Higgs):
  • Um die Struktur bei 150 GeV zu erklären, wurde ein Di-Higgs-Signal ($HH \to b\bar{b}b\bar{b}$) als Signalhypothese getestet.
  • Der Fit erforderte eine Skalierung des Standardmodell-Di-Higgs-Signals um den Faktor 4000, um die Daten zu beschreiben.
  • Die beobachtete Signifikanz gegenüber dem Hintergrund-only-Modell beträgt 3,92 $\sigma$ (steigt auf 4,11 $\sigma$ bei zusätzlicher Anforderung eines $b$-tagged Jets und $m_{subleading} > 100$ GeV).
• Kreuzvalidierung:
  • Als Kontrolle wurde ein spezifischer $X \to b\bar{b}$ Tagger verwendet, der auf generische Higgs-Zerfälle trainiert ist.
  • Mit diesem Tagger verschwand der Überschuss; die Signifikanz fiel auf 1,02 $\sigma$ (konsistent mit dem Hintergrund).
  • Die Überlappung der von OmniLearned und dem $X(bb)$-Tagger ausgewählten Ereignisse beträgt nur 20–30 %. Dies deutet darauf hin, dass das große OmniLearned-Modell eine andere, möglicherweise unbekannte Jet-Substruktur selektiert, die nicht einfach mit bekannten $b\bar{b}$-Zerfällen übereinstimmt.

4. Beiträge und Bedeutung

1. Rigorose Validierung von Foundation Models: Die Studie demonstriert, dass große Foundation Models in der Teilchenphysik nicht nur bekannte Signale finden, sondern auch unerwartete Strukturen in den Daten aufdecken können, die eine tiefgehende physikalische Analyse erfordern.
2. Methodische Strenge: Es wird ein vollständiger Analyse-Workflow vorgestellt, der datengestützte Hintergrundschätzungen (ABCD) mit komplexen Machine-Learning-Modellen kombiniert, um systematische Fehler zu minimieren.
3. Hinweis auf neue Physik oder Modellartefakte: Die beobachtete Diskrepanz (4$\sigma$-Effekt) im großen Modell ist statistisch signifikant, aber nicht als Entdeckung zu werten.
   • Es könnte ein Hinweis auf eine neue Physik sein (z. B. ein nicht-standardmäßiger Higgs-Zerfall oder ein neues Teilchen).
   • Es könnte jedoch auch ein Artefakt des Modells sein (z. B. Überanpassung an spezifische Merkmale der Trainingsdaten oder Simulationen, die nicht im Testdatensatz vorhanden sind).
4. Offenheit und Reproduzierbarkeit: Die Autoren laden die wissenschaftliche Gemeinschaft ein, die Daten und Methoden zu überprüfen. Der Code und die Daten sind öffentlich verfügbar, was einen wichtigen Schritt für die Transparenz von KI-gestützter Physik darstellt.

Fazit

Das Papier zeigt, dass Foundation Models mächtige Werkzeuge für die Anomalieerkennung sind, aber ihre Ergebnisse mit großer Vorsicht interpretiert werden müssen. Während das große Modell eine spannende Abweichung bei ~150 GeV aufdeckt, die mit einem Di-Higgs-Signal übereinstimmen könnte, fehlt eine Bestätigung durch andere Tagger. Die Arbeit unterstreicht die Notwendigkeit, KI-Ergebnisse durch strenge, datengestützte Hintergrundschätzungen und unabhängige Validierungen zu untermauern, bevor neue physikalische Entdeckungen beansprucht werden können.