Surrogate model driven RL optimization of the TWOCRYST crystal angular alignment

Binnen de enorme, ringvormige tunnel van de Large Hadron Collider reizen protonen met bijna de snelheid van het licht, waarbij ze miljarden keren per seconde rondjes draaien. Om de fundamentele bouwstenen van het universum te bestuderen, moeten wetenschappers vaak de buitenste lagen van deze bundel afpellen, waarbij ze een dunne halo van rondvliegende deeltjes extraheren en deze naar een specif klein doelwit sturen. Dit is een delicate operatie. De deeltjes moeten met extreme precisie worden geleid met behulp van gebogen siliciumkristallen, die fungeren als microscopische spiegels die de protonen vangen en buigen. Deze kristallen moeten echter worden uitgelijnd met een nauwkeurigheid die fijner is dan de breedte van een menselijke haar. Als ze zelfs maar een klein beetje afwijken, mist de bundel zijn doel en mislukt het experiment. Traditioneel gezien is het uitlijnen van deze kristallen een traag, handmatig proces, waarbij deskundige operators urenlang kleine aanpassingen moeten maken terwijl ze letten op zwakke signalen. Het is een taak die geduld en een vaste hand vereist, maar het is ook een knelpunt dat beperkt hoe snel nieuwe experimenten kunnen beginnen.

Een team van onderzoekers van CERN en universiteiten uit heel Europa heeft nu een nieuwe manier ontwikkeld om dit probleem op te lossen. Ze hebben een computerprogramma gemaakt dat leert om deze kristallen automatisch uit te lijnen, met behulp van een methode genaamd reinforcement learning (versterkend leren). In plaats van te vertrouwen op complexe natuurkundige vergelijkingen om te voorspellen hoe de bundel zich zal gedragen, leert het programma direct van de echte gegevens die tijdens eerdere tests zijn verzameld. Het behandelt het uitlijningsproces als een spel: de computer fungeert als een speler die kleine aanpassingen maakt aan de hoek van het kristal, en ontvangt punten op basis van hoe goed de bundel het doelwit raakt. Na verloop van tijd leert het programma de beste zetten om de score te maximaliseren, en ontdekt het uiteindelijk een strategie die sneller en consistenter is dan die van menselijke operators. Deze aanpak, getest op het TWOCRYST-experiment, vormt een belangrijke stap naar het autonomer en efficiënter maken van deeltjesversnellers.

De kern van deze prestatie is een virtuele omgeving die de onderzoekers hebben gebouwd om hun kunstmatige intelligentie te trainen. Omdat de echte versneller te kostbaar en te riskant is voor trial-and-error-leren, heeft het team een digitale tweeling gemaakt genaamd MDHaloEnv. Dit systeem neemt historische gegevens van bundeltests, waarbij kristallen handmatig door duizenden posities werden gedraaid, en gebruikt deze om te simuleren wat er zou gebeuren als de computer zelf het kristal zou proberen uit te lijnen. Het programma ontvangt beelden van een hogesnelheidscamera die de deeltjes volgt, samen met gegevens van sensoren die het bundelverlies meten. Het besluit vervolgens of het het kristal iets naar links of rechts moet draaien. Als de aanpassing de bundel dichter bij het ideale pad brengt, krijgt het programma een beloning; als het verder weg beweegt, krijgt het een straf.

Om dit leerproces effectief te maken, moesten de onderzoekers verschillende uitdagingen overwinnen. De gegevens die zij gebruikten waren imperfect en bevatten gaten en inconsistenties, omdat ze afkomstig waren van echte experimenten in plaats van een perfecte simulatie. De signalen van de sensoren waren vaak ruisachtig, waardoor het moeilijk was om te bepalen of een kleine verandering in de bundel het gevolg was van een goede aanpassing of van een willekeurige fluctuatie. Om dit aan te pakken, ontwierp het team een beloningssysteem dat deze fluctuaties afvlakt, waardoor de computer een duidelijker beeld krijgt van of hij in de juiste richting beweegt. Ze programmeerden het systeem ook om onnodige, schokkerige bewegingen te vermijden, waardoor het wordt aangemoedigd om een stabiele positie te vinden in plaats van heen en weer te oscilleren.

Toen ze hun computeragent met deze opstelling trainden, waren de resultaten indrukwekkend. De agent leerde te navigeren door het complexe landschap van kristalhoeken en vond consequent het ideale punt waar de bundel perfect was uitgelijnd. In tests kon het programma vanuit een breed scala aan initiële posities — waarvan sommige ver van het doelwit verwijderd waren — het kristal binnen enkele minuten succesvol naar de juiste uitlijning leiden. Het leerde de subtiele patronen in de camera-beelden te herkennen die aangaven dat de bundel op de juiste plek zat, zelfs wanneer de signalen zwak of ruisachtig waren. Het systeem bleek robuust en behield zijn prestaties, zelfs wanneer de beginsituaties veranderden, wat suggereert dat het een algemene strategie had geleerd in plaats van slechts een specifiek pad te hebben onthouden.

De onderzoekers vergeleken hun nieuwe methode met verschillende variaties van het beloningssysteem om te zien welke het beste werkte. Ze ontdekten dat het combineren van een afvlakkingstechniek met een straf voor overmatige beweging de meest stabiele resultaten opleverde. De computer leerde de optimale positie te bereiken met zeer weinig trillingen, waarbij een precisieniveau werd bereikt dat overeenkomt met de theoretische limieten van de gegevens zelf. Dit betekent dat het systeem niet simpelweg aan het gokken was; het had werkelijk het onderliggende gedrag van de bundel en het kristal geleerd. Het succes van deze aanpak suggereert dat soortgelijke technieken kunnen worden toegepast op andere delen van de versneller, wat potentieel complexere experimenten mogelijk maakt die de uitlijning van meerdere kristallen tegelijkertijd vereisen.

Dit werk is bijzonder belangrijk voor toekomstige experimenten, zoals het voorgestelde ALADDIN-experiment, dat tot doel heeft de magnetische en elektrische eigenschappen van kortlevende deeltjes te meten. Deze experimenten zullen vertrouwen op dezelfde dubbelkristal-opstelling en zullen een nog snellere en preciezere uitlijning vereisen dan wat momenteel mogelijk is. Door te bewijzen dat een computer deze taak kan leren van echte gegevens zonder een perfect natuurkundig model nodig te hebben, hebben de onderzoekers de deur geopend naar een nieuw tijdperk van autonome controle in de deeltjesfysica. Het systeem hoeft de diepe wiskunde van deeltjesinteracties niet te begrijpen; het hoeft alleen maar te weten hoe een succesvolle uitlijning eruitziet, en het kan dat uit ervaring leren.

De weg vooruit houdt in dat dit systeem in realtime wordt getest tijdens toekomstige bundeltests. Het team is van plan de computer in een "schaduwmodus" te laten draaien, waarbij het het experiment observeert en aanpassingen suggereert zonder daadwerkelijk de hardware te besturen. Dit zal hen in staat stellen om de beslissingen van de computer te vergelijken met die van menselijke operators en de veiligheid te waarborgen voordat ze de volledige controle overdragen. Als deze tests succesvol zijn, kan de methode een standaardinstrument worden voor het in bedrijf nemen van nieuwe experimenten, waardoor kostbare tijd wordt bespaard en wetenschappers zich kunnen concentreren op de fysica in plaats van op de mechanica van de uitlijning. Het vermogen om een dergelijke cruciale en delicate taak te automatiseren, markeert een significante evolutie in hoe we de krachtigste wetenschappelijke instrumenten ter wereld bedienen.