NAE, Statistically

Bij de Large Hadron Collider, een enorme machine die begraven ligt onder de grens tussen Frankrijk en Zwitserland, laten natuurkundigen protonen tegen elkaar botsen met bijna de snelheid van het licht. Het doel is om tekenen te vinden van nieuwe, onbekende fysica die de diepste mysteries van het universum kunnen verklaren. Decennialang was de strategie om te raden hoe een nieuw deeltje eruit zou zien, een computermodel van die gok te bouwen, en het vervolgens te zoeken in de botsingsdata. Maar wat als de nieuwe fysica er totaal niet uitziet zoals onze gissingen? Wat als het verborgen is op een manier die we ons niet hebben kunnen voorstellen? In de afgelopen jaren hebben wetenschappers zich tot kunstmatige intelligentie gewend om als een gids te fungeren. In plaats van te zoeken naar een specifiek doelwit, leren deze computerprogramma's wat "normaal" is op basis van de overgrote meerderheid van de data, en markeren ze vervolgens alles wat vreemd of ongewoon lijkt. Deze aanpak is krachtig, maar heeft een groot gebrek: de computer geeft een score die zegt dat iets vreemd is, maar kan de natuurkundige niet vertellen hoeveel hij die score moet vertrouwen. Zonder een manier om de betrouwbaarheid van het resultaat te meten, blijft de zoektocht wetenschappelijk incompleet.

Een team van onderzoekers aan de Universiteit van Heidelberg heeft een nieuwe methode ontwikkeld om dit probleem op te lossen. Ze hebben een systeem gecreëerd dat niet alleen de ongewone gebeurtenissen opspoort, maar ook de statistische zekerheid van zijn eigen oordeel berekent. De kern van hun werk betreft een type neuraal netwerk dat een autoencoder wordt genoemd. Stel je een machine voor die probeert een complexe afbeelding te comprimeren tot een kleine samenvatting en vervolgens de afbeelding weer te reconstrueren vanuit die samenvatting. Als de machine alleen wordt getraind op normale data, wordt hij erg goed in het reconstrueren van normale dingen. Wanneer hij iets vreemds ziet, slaagt hij er niet in om het goed te reconstrueren, en de fout in de reconstructie wordt een signaal dat er iets nieuws is. Echter, de onderzoekers realiseerden zich dat het simpelweg meten van deze fout niet genoeg was. Ze moesten die fout verbinden aan een waarschijnlijkheid, een wiskundige manier om te zeggen hoe waarschijnlijk het is dat een gebeurtenis bij de normale groep hoort.

Om dit op te lossen, introduceerde het team een "genormaliseerde" versie van de autoencoder. Dit systeem behandelt de reconstructiefout niet alleen als een fout, maar als een maatstaf voor energie, waarbij lage energie betekent dat de gebeurtenis normaal is en hoge energie betekent dat het zeldzaam is. Door het netwerk zorgvuldig te trainen om de totale landschappen van mogelijkheden te begrijpen, hebben ze ervoor gezorgd dat de energiescore direct overeenkomt met een waarschijnlijkheid. Dit betekent dat de computer nu kan zeggen: "Deze gebeurtenis is voor 99% waarschijnlijk normaal," of "Deze gebeurtenis is zeer ongewoon." Om dit nog robuuster te maken, voegden ze een laag van onzekerheid toe aan het systeem. Door de interne instellingen van het netwerk tijdens de training licht te laten variëren, leert het systeem niet slechts één enkel antwoord, maar een reeks mogelijke antwoorden. Dit geeft de wetenschappers een ingebouwde foutmarge, die hen laat zien hoe zeker de computer is van zijn eigen beoordeling.

De onderzoekers testten dit idee eerst op een eenvoudig, tweedimensionaal model waarvan ze het juiste antwoord al kenden. Ze ontdekten dat het systeem de ware verdeling van de data succesvol leerde, waarbij het accuraat de meest voorkomende gebieden en de zeldzame randen identificeerde. Toen ze de onzekerheidsfunctie toevoegden, identificeerde het systeem correct dat het minder zeker was over de datapunten die ver van het centrum lagen, waar het minder voorbeelden had gezien. Het vertrouwen van de computer kwam overeen met de realiteit van de data: het was zeer zeker in het drukke centrum en passend voorzichtig in de lege hoeken. Ze testten ook een methode waarbij twee van deze systemen op verschillende soorten data werden getraind en tegen elkaar werden afgezet. Deze dubbele opstelling maakte het mogelijk om de verhouding van waarschijnlijkheden tussen twee verschillende scenario's te berekenen, wat effectief een meer complexe, gesuperviseerde zoektocht nabootst zonder vooraf het antwoord te hoeven kennen.

Geënthousiasmeerd door deze resultaten, pasten het team hun methode toe op echte data van de Large Hadron Collider. Ze gebruikten een dataset van "jets", wat sprays van deeltjes zijn die ontstaan wanneer quarks of gluonen worden losgeslagen tijdens een botsing. Specifiek keken ze naar topquark-jets die verborgen liggen in een zee van gewone kwantumchromodynamische jets. In deze omgeving met hoge inzet presteerde het systeem indrukwekkend. Het onderscheidde succesvol de zeldzame topquark-jets van de veelvoorkomende achtergrond, en de onzekerheidsschattingen boden een duidelijk beeld van de betrouwbaarheid van het systeem. De onderzoekers ontdekten dat de geleerde energiescores van de computer nauw overeenkwamen met de resultaten van een traditionele, gesuperviseerde classifier, wat de gouden standaard is voor deze zoektochten. Dit bevestigde dat de nieuwe methode niet simpelweg gokte, maar de onderliggende fysica van de data leerde.

De studie onthulde ook dat het systeem anders reageert afhankelijk van waar het naar zoekt. Wanneer het getraind was om topquarks te vinden, was het systeem zeer consistent. Wanneer het getraind was om gewone jets te vinden die verborgen waren tussen topquarks, was de onzekerheid hoger, wat de grotere moeilijkheid van de taak weerspiegelde. Dit is een cruciaal inzicht, aangezien het laat zien dat het systeem eerlijk is over zijn beperkingen. De onderzoekers toonden aan dat ze door een specifieke parameter in het trainingsproces aan te passen, de energiescores van het systeem konden afstemmen op de bekende waarschijnlijkheden van een gesuperviseerde classifier. Deze afstemming suggereert dat de methode kan worden afgesteld om effectief te werken, zelfs in de complexe, hoog-dimensionale ruimte van echte deeltjesbotsingen.

Uiteindelijk overbrugt dit werk een cruciale kloof tussen de ruwe kracht van kunstmatige intelligentie en de rigoureuze eisen van de statistische fysica. Het transformeert anomaliedetectie van een black box die een mysterieuze score produceert naar een transparant instrument dat een waarschijnlijkheid en een mate van vertrouwen biedt. Door te bewijzen dat deze netwerken de ware waarschijnlijkheid van gebeurtenissen kunnen leren en hun eigen onzekerheid kunnen kwantificeren, hebben de onderzoekers een nieuwe, betrouwbare manier geboden om het onbekende te zoeken. De methode vereist geen specifieke theorie over hoe de nieuwe fysica eruit zou moeten zien; het leert simpelweg wat normaal is en markeert de rest, met een duidelijke verklaring van hoe zeker het is. Deze capaciteit zou de manier waarop natuurkundigen de vloedgolf aan data van de Large Hadron Collider analyseren fundamenteel kunnen veranderen, waardoor ze het onverwachte kunnen opsporen met een niveau van statistische strengheid dat voorheen onbereikbaar was.