The Latent Information Geometry of Jet Classification

Dit paper introduceert concepten uit de differentiaal- en informatiegeometrie om de latent geometrie van neurale netwerken te analyseren en past deze toe op het begrijpen van de fysica achter quark-gluon en vetjet-classificatie.

De kern

De Latente Geometrie van Jet-classificatie: Een Reis door de Wiskunde van de Deeltjesfysica

Stel je voor dat je een superintelligente robot hebt die miljoenen foto's van deeltjesbotsingen bekijkt. Deze robot moet onderscheid maken tussen verschillende soorten "jets" (bundels deeltjes die ontstaan na een botsing), zoals die van een kwark versus een gluon, of een top-quark versus een Z-deeltje. De robot doet dit uitstekend, maar hij is een "zwarte doos": we weten niet precies hoe hij tot zijn conclusies komt.

Deze paper is als een detectiveverhaal. De auteurs willen de "geheime taal" van deze robot ontcijferen. Ze gebruiken een wiskundig gereedschap genaamd informatie-geometrie.

Hier is de uitleg in simpele taal, met een paar creatieve analogieën:

1. De Verborgen Landkaart (De Latente Ruimte)

Wanneer een neurale netwerk (de robot) data leert, vertaalt het die data naar een soort "geheime kaart" of latente ruimte.

• De Analogie: Stel je voor dat je een enorme berg met verschillende landschappen hebt (de ruwe data). De robot maakt een miniatuurmodel van deze berg in een doosje (de latente ruimte). Op deze kaart staan punten die dicht bij elkaar liggen als de deeltjes op elkaar lijken, en ver weg als ze verschillend zijn.
• Het Probleem: Meestal kijken we alleen naar de afstand tussen de punten op deze kaart. Maar deze paper zegt: "Kijk niet alleen naar de afstand, maar ook naar de vorm van de kaart zelf!"

2. De Vorm van de Wereld: Kromming en Rekken

In de gewone wereld (Euclidische ruimte) zijn lijnen recht en zijn afstanden altijd hetzelfde, ongeacht waar je loopt. Maar in de "geheime kaart" van de robot is de wereld anders.

• Kromming (Curvature): Stel je voor dat je een touw over een bol legt. Het touw volgt de kromming. Als de robot de wereld als een bol ziet, betekent dat dat bepaalde patronen in de data heel sterk met elkaar verbonden zijn.
• Niet-metriciteit (Nonmetricity): Dit is het belangrijkste nieuwe idee in deze paper. Stel je voor dat je een meetlint hebt dat niet constant is. Als je van punt A naar punt B loopt, is je meetlint 1 meter. Maar als je van B naar C loopt, is datzelfde meetlint plotseling 1,5 meter, en als je terugloopt, is het weer 0,8 meter.
  • De Betekenis: De robot "rekkt" of "knijpt" de afstand tussen deeltjes afhankelijk van hoe belangrijk ze zijn voor de classificatie. Als twee deeltjes heel moeilijk te onderscheiden zijn, maakt de robot de afstand tussen hen enorm groot (alsof ze in verschillende landen wonen), zelfs als ze er op het eerste gezicht hetzelfde uitzien.

3. De Nieuwe Meetlaten (De Scalars)

De auteurs hebben vier nieuwe "meetlaten" (wiskundige getallen) bedacht om deze vreemde rekken en krommingen te meten. Ze noemen ze $C_1, C_2, C_3$ en $C_4$.

• De Analogie: Stel je voor dat je een landkaart tekent. Normaal meet je alleen de afstand. Deze nieuwe getallen meten:
  • Hoeveel de kaart is "uitgerekt" op plekken waar de robot twijfelt.
  • Of de kaart eerlijk is (symmetrisch) of dat de robot een voorkeur heeft voor één kant.
  • Waar de "beslissingslijnen" liggen (waar de robot zegt: "Dit is een kwark, dat is een gluon").

4. Toepassing: Het Oplossen van Deeltjesraadsels

De auteurs testen hun theorie op twee grote problemen in de deeltjesfysica:

A. Kwark vs. Gluon (De Tweestrijd)

• De Uitdaging: Het is heel moeilijk om een jet van een kwark te onderscheiden van een jet van een gluon. Het is als het onderscheiden van twee bijna identieke tweelingen.
• De Vinding: De robot gebruikt zijn "rek-landkaart" om de verschillen te benadrukken. De paper laat zien dat de robot vooral kijkt naar het aantal deeltjes in de jet en hoe ze verspreid zijn. De wiskunde bevestigt wat fysici al vermoedden: kwarks stralen minder uit dan gluons. De "rek" in de kaart is het grootst precies op de lijn waar de robot twijfelt.

B. Drie Soorten Jets (De Driestrijd)

• De Uitdaging: Nu moeten ze drie soorten onderscheiden: Kwark/Gluon, Z-deeltjes (die in tweeën splijten) en Top-quarks (die in drieën splijten).
• De Vinding: De "landkaart" heeft hier een interessante vorm. Om van een Top-quark (drie stukken) naar een Kwark (één stuk) te gaan, moet je volgens de robot eerst door een gebied gaan dat lijkt op een Z-deeltje (twee stukken).
• De Metaphor: Het is alsof je van een driepersoonsauto naar een eenpersoonsfiets wilt. De kortste route gaat niet direct, maar eerst via een tweepersoonsfiets. De wiskunde van de paper laat zien dat de robot deze "tussenstop" in zijn geheime wereld ziet als de logische weg.

5. Waarom is dit belangrijk?

Vroeger keken we alleen naar hoe goed de robot scoorde (bijvoorbeeld: 99% juist). Nu kunnen we kijken waarom hij het goed doet.

• We kunnen zien of de robot echte fysica leert (zoals het aantal deeltjes) of dat hij trucs gebruikt (zoals ruis in de detector).
• Het helpt ons om de robot te vertrouwen. Als de "rek" in de kaart overeenkomt met wat we weten over de natuurkunde, dan weten we dat de robot de waarheid heeft gevonden.

Samenvattend:
Deze paper zegt: "Laten we niet alleen kijken naar wat de robot denkt, maar naar de vorm van zijn gedachten. Door te kijken hoe hij afstanden rekkt en buigt, kunnen we de diepe geheimen van de deeltjesfysica ontcijferen die hij heeft geleerd." Het is alsof we de robot niet alleen laten werken, maar hem ook vragen om zijn landkaart te tekenen, zodat we kunnen zien hoe hij de wereld ziet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "The Latent Information Geometry of Jet Classification" in het Nederlands.

Titel: De Latente Informatiegeometrie van Jet-classificatie

Auteurs: Rebecca Maria Kuntz, Tilman Plehn, Björn Malte Schäfer, Benedikt Schosser, Sophia Vent.

---

1. Probleemstelling

Moderne machine learning (ML) voor fundamentele fysica, met name bij het Large Hadron Collider (LHC), staat voor de uitdaging om niet alleen hoge prestaties te leveren, maar ook interpreteerbaarheid en verklaring van de beslissingen van neurale netwerken te bieden.

• De uitdaging: Netwerken zoals ParticleNet gebruiken complexe, hoogdimensionale latent spaces (verborgen representaties) om deeltjesjets te classificeren (bijv. quark vs. gluon, of top-quark vs. Z-boson). Het is echter onduidelijk welke fysische eigenschappen het netwerk gebruikt en hoe deze eigenschappen in de latent space zijn georganiseerd.
• De beperking van bestaande methoden: Traditionele analyse kijkt vaak alleen naar de output-kansen of gebruikte features, maar mist een wiskundig robuust raamwerk om de geometrie van de leerprocesruimte te begrijpen.
• Specifiek geval: Quark-gluon classificatie is theoretisch uitdagend omdat quark- en gluonjets in QCD (Quantum Chromodynamica) niet goed gedefinieerd zijn buiten de leidende orde en sterk afhankelijk zijn van de deeltjesdop (parton shower) en hadronisatie.

2. Methodologie: Informatiegeometrie

De auteurs introduceren een nieuwe aanpak gebaseerd op informatiegeometrie, een tak van de wiskunde die differentiaalmeetkunde toepast op statistische modellen. In plaats van te kijken naar de Euclidische ruimte, analyseren ze de latent space als een statistisch manifold.

Kernconcepten:

• Fisher-informatiemetriek ($g_{ij}$): Dit fungeert als de metriek van het manifold. Het meet de "afstand" tussen twee waarschijnlijkheidsverdelingen (bijv. de output van het classifier-netwerk). Een grote Fisher-afstand betekent dat twee gebeurtenissen makkelijk te onderscheiden zijn.
• Verbindingen (Connections) en Kromming: De auteurs gebruiken de Levi-Civita-verbinding (standaard in Riemanniaanse meetkunde) en de Amari $\alpha$-verbindingen (specifiek voor informatiegeometrie).
  • Ze analyseren de Ricci-kromming (Riemann-kromming).
  • Ze analyseren non-metriciteit: Het feit dat de verbinding de metriek niet behoudt tijdens paralleltransport. Dit wordt gekwantificeerd door de Amari-Chentsov tensor (ACT), ook wel de skewness-tensor genoemd.
• Dualiteit: Informatiegeometrie is "dual-vlak" voor exponentiële families. Dit betekent dat er twee coördinatenstelsels zijn waarin de autoparallelle lijnen (de equivalenten van rechte lijnen in deze kromme ruimte) recht zijn:
  1. Natuurlijke coördinaten: Log-likelihood ratio's.
  2. Verwachtingscoördinaten: Lineaire mengsels van waarschijnlijkheden.

Nieuwe Scalars:
De auteurs introduceren vier nieuwe scalars gebaseerd op de ACT om de complexiteit van de geometrie te meten:

1. $C_1$: Volledige contractie van de ACT (meet de totale asymmetrie/skeewness).
2. $C_2$: Contractie van de spoor (Chebyshev-veld).
3. $C_3$: Contractie van het spoorloze deel van de ACT (meet irremovale asymmetrie).
4. $C_4$: Een scalar gerelateerd aan de LC-kromming, die in hun geval gelijk is aan het verschil tussen de kromming en de non-metriciteit.

3. Belangrijkste Bijdragen

1. Framework voor Latent Geometry: Een methodologie om de geometrie van de latent space van een Variational Autoencoder (VAE) met classifier te analyseren, waarbij zowel de decoder- als classifier-geometrieën worden onderzocht.
2. Ontdekking van Non-Metriciteit: Het bewijs dat voor classificatietaken de informatie niet in de kromming (Riemanniaanse kromming) wordt gecodeerd (die vaak nul is), maar in de non-metriciteit (de ACT). Dit betekent dat het netwerk informatie codeert via vervorming van afstanden en hoeken, niet via kromming.
3. Interpreteerbare Geodesieën: Het gebruik van geodesieën (kortste paden in de Fisher-metriek) en autoparallelle lijnen om te begrijpen hoe een jet transformeert van het ene type naar het andere (bijv. van quark naar gluon) en welke fysische features deze overgang aandrijven.
4. Toepassing op LHC-data: De eerste toepassing van deze geavanceerde meetkundige concepten op echte LHC-simulatie-data voor quark-gluon tagging en multi-class jet tagging (Top vs. Z vs. q/g).

4. Resultaten

A. Toy-model (MNIST 1 vs. 7)

• De auteurs trainden een netwerk op een vereenvoudigde versie van MNIST (cijfers 1 en 7) met gecontroleerde features (lengte van de bovenste lijn en rotatiehoek).
• Resultaat: De Fisher-ellipsen (eigenvectoren van de metriek) zijn uitgelijnd met de besluitgrenzen. De nieuwe scalars ($C_1, C_2, C_3$) traceren de besluitgrenzen scherp.
• Conclusie: De decoder en classifier zijn goed uitgelijnd in de buurt van de besluitgrens, wat aangeeft dat de gekozen features (lengte en hoek) de juiste basis vormen voor de classificatie.

B. Quark-Gluon Tagging

• Geometrie: De latent space is effectief één-dimensionaal voor de classificatie (quark vs. gluon), maar twee-dimensionaal voor de reconstructie.
• Non-metriciteit: De scalar $C_4$ (kromming) is nul, terwijl $C_1, C_2, C_3$ (non-metriciteit) niet nul zijn. Dit bevestigt dat de informatie in de non-metriciteit zit.
• Fysische interpretatie:
  • De dominantste feature die de classificatie bepaalt is de multipliciteit (aantal deeltjes).
  • Door geodesieën te volgen van gluon naar quark, zien ze dat de multipliciteit lineair verandert met de Fisher-Rao-afstand.
  • Andere features zoals stralingsverspreiding ($w_{PF}$) en fragmentatie spelen een rol in specifieke regio's van de latent space.
  • De geometrie bevestigt de QCD-theorie: gluonen stralen sterker uit (hoger multipliciteit, bredere straling) dan quarks.

C. Drie-klasse Jet Tagging (Top vs. Z vs. q/g)

• Geometrie: De besluitgrenzen tussen Top en de andere klassen zijn veel verder uit elkaar (grotere Fisher-afstand) dan tussen Z en q/g. Dit verklaart waarom top-taggers zo goed presteren.
• Transformatiepaden:
  • Het pad van een Top-jet (3 "prongs") naar een q/g-jet (1 "prong") gaat niet direct, maar lijkt een tussenstap te maken via een Z-achtige configuratie (2 "prongs").
  • De autoparallelle lijnen in de simplex (ruimte van waarschijnlijkheden) tonen aan dat de overgang van 3 naar 1 prong de regio van 2 prongs doorkruist, terwijl de overgang van 2 naar 1 directer kan zijn.
• Alignement: De classifier en decoder zijn sterk uitgelijnd langs de besluitgrenzen, wat aangeeft dat het netwerk fysisch betekenisvolle features leert.

5. Betekenis en Conclusie

Dit artikel biedt een fundamenteel nieuw perspectief op het begrijpen van deep learning in de deeltjesfysica:

• Van "Black Box" naar Meetkunde: Het vertaalt de complexe beslissingen van neurale netwerken naar meetkundige eigenschappen (kromming, non-metriciteit, geodesieën) die direct gerelateerd kunnen worden aan fysische theorieën.
• Validatie van QCD: De analyse bevestigt dat moderne ML-netwerken de onderliggende QCD-fysica (zoals het stralingspatroon van quarks vs. gluons) correct leren en coderen in hun latent space.
• Toekomstperspectief: De methode kan gebruikt worden om de robuustheid van taggers te verbeteren, de simulatie-gap te dichten, en nieuwe inzichten te krijgen in hoe netwerken informatie comprimeren. Het stelt onderzoekers in staat om te vragen: "Welke fysische eigenschappen zijn nodig om van het ene naar het andere punt in de latent space te gaan?" en dit te beantwoorden met wiskundige precisie.

Kortom, de auteurs tonen aan dat informatiegeometrie een krachtig instrument is om de "zwarte doos" van machine learning in de HEP (High Energy Physics) te openen en de leerprocessen van netwerken te koppelen aan de fundamentele wetten van de natuur.