Learning to Unscramble: Simplifying Symbolic Expressions via Self-Supervised Oracle Trajectories

Deze paper introduceert een zelftoezicht-gebaseerde machine learning-methode die complexe wiskundige expressies effectief vereenvoudigt door middel van geordende orakeltrajecten, wat resulteert in een aanzienlijk hogere prestatie dan eerdere benaderingen bij het reduceren van dilogarithmen en het vereenvoudigen van spinor-heliciteit verstrooiingsamplitudes in de deeltjesfysica.

De kern

Hier is een uitleg van het onderzoek in simpel, alledaags Nederlands, met behulp van creatieve vergelijkingen.

De Kunst van het Oplossen van Wiskundige Puzzels: Een AI die "Terugkijkt"

Stel je voor dat je een enorme, rommelige berg Lego-blokken krijgt. Je weet dat deze blokken eigenlijk één prachtige, compacte kasteel moeten vormen, maar ze zijn nu willekeurig door elkaar gegooid. Je taak is om ze weer in de juiste volgorde te zetten.

Dit is precies wat wiskundigen doen met complexe formules (zoals die in de deeltjesfysica). Ze hebben een "rommelige" formule en willen weten hoe ze die terugbrengen naar een simpele, elegante vorm. Het probleem is dat er duizenden manieren zijn om de blokken te verplaatsen, en veel van die manieren maken het er erger op voordat het beter wordt.

De auteurs van dit paper hebben een slimme nieuwe manier bedacht om een computer (een AI) dit te leren, zonder dat een mens hoeft te vertellen hoe het moet.

1. De Slimme Omgekeerde Route (Het "Oracle")

Vroeger probeerden AI's dit door te gokken: "Als ik deze stap doe, wordt het misschien simpeler?" Dit is als blindelings proberen Lego-blokken te stapelen. Het duurt lang en de AI leert vaak de verkeerde dingen.

Deze nieuwe methode werkt anders, en dat is de kern van het idee:

• Stap 1: Maak het rommelig. De computer begint met een perfect, simpel kasteel (een simpele formule).
• Stap 2: Verwar het. De computer gooit de blokken bewust door elkaar en maakt er een enorme, ingewikkelde puinhoop van.
• Stap 3: Onthoud de weg. Omdat de computer zelf de puinhoop heeft gemaakt, weet hij precies welke stappen hij heeft gedaan om erbij te komen. Hij slaat deze stappen op als een "geheime route" (een oracle trajectory).
• Stap 4: Leer van de terugweg. Nu leert de AI: "Als ik deze rommelige stapel zie, welke stap moet ik doen om terug te gaan naar de vorige, iets minder rommelige stapel?"

Het is alsof je een film van een ontploffing in omgekeerde richting afspeelt. Je ziet hoe de puin zich vanzelf weer in een kasteel verandert. De AI leert niet door te raden, maar door te kijken naar het spoor dat de "rommel-maker" heeft achtergelaten.

2. De AI als een Permutatie-Expert

De AI die ze hebben gebouwd, is een speciale soort "Transformer" (een type slimme computerprogramma dat ook wordt gebruikt voor taalvertaling). Maar deze heeft een superkracht:

• Volgorde maakt niet uit. In wiskunde is $A + B$ hetzelfde als $B + A$. Als je een Lego-kasteel hebt, maakt het niet uit of je eerst de rode muur of de blauwe muur bouwt. De AI begrijpt dit instinctief. Hij ziet de formule als een zak met blokken, niet als een rijtje. Dit helpt hem om sneller de juiste stap te vinden.

3. Twee Grote Proeven: De "Dilogarithm" en de "Gluon"

De auteurs hebben hun AI getest op twee heel moeilijke taken uit de natuurkunde:

• De Dilogarithm (De Wiskundige Raadsel):
  Dit zijn formules met speciale functies die vaak voorkomen in berekeningen over deeltjes. De AI moest deze ingewikkelde formules terugbrengen naar hun simpele oorsprong.

  • Resultaat: De AI slaagde in 99,9% van de gevallen. De oude methoden haalden maar ongeveer 92%. De AI was dus veel slimmer en sneller.

• De Gluon-Amplicte (De Deeltjesfysica):
  Dit gaat over botsingen van deeltjes (gluonen) in theorieën over het heelal. Soms hebben deze berekeningen honderden termen (delen van de formule).

  • Het probleem: De AI kan maar 25 termen tegelijk zien, maar de formules hadden er soms wel 200!
  • De oplossing: Ze gebruikten een slimme truc. Ze deelden de enorme formule op in kleinere stukjes (zoals het oplossen van een groot raadsel door eerst de randen te leggen). Daarna gebruikten ze een "zoekstrategie" (zoals een speler die verschillende routes uitprobeert in een doolhof) om de beste weg te vinden.
  • Resultaat: Ze haalden 100% succes! Ze konden zelfs de allerrommeligste formules (met 228 termen) terugbrengen naar één enkele, prachtige formule.

4. Waarom is dit zo belangrijk?

• Geen menselijke hulp nodig: De AI heeft geen mens nodig die hem uitlegt wat de juiste stap is. Hij leert zichzelf door het "omgekeerde proces" te simuleren.
• Het werkt bij moeilijke dingen: Zelfs als de formule extreem ingewikkeld is, kan de AI de weg terugvinden.
• Toekomst: Dit betekent dat we in de toekomst AI kunnen gebruiken om de allerlastigste natuurkundige mysteries op te lossen, zoals hoe het heelal precies werkt, door die enorme wiskundige rommels op te ruimen.

Kortom:
Stel je voor dat je een AI hebt die niet probeert een berg Lego te bouwen door te gissen, maar die eerst een kasteel bouwt, het daarna bewust kapotmaakt, en dan leert hoe hij het weer moet repareren. Door dit duizenden keren te oefenen, wordt hij een meester in het opruimen van wiskundige rommel, zelfs als die rommel groter is dan hij ooit heeft gezien. En dat is precies wat deze wetenschappers hebben bereikt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Learning to Unscramble: Simplifying Symbolic Expressions via Self-Supervised Oracle Trajectories" in het Nederlands.

Titel: Learning to Unscramble: Het Vereenvoudigen van Symbolische Expressies via Zelftoezichtende Oracle-trajecten

Auteur: David Shih (Rutgers University)
Datum: 13 maart 2026

---

1. Het Probleem

Symbolische vereenvoudiging is een fundamentele uitdaging in de wiskunde en theoretische fysica. Het doel is om complexe wiskundige expressies terug te brengen naar compacte, interpreteerbare vormen. De moeilijkheid zit hem in de combinatorische aard van het probleem:

• Op elk stapje kunnen er vele identiteiten op vele delen van een expressie worden toegepast.
• De juiste keuze leidt vaak tijdelijk tot een toename van complexiteit voordat latere opheffingen een eenvoudiger vorm opleveren.
• Er bestaat geen algemeen doelgericht algoritme dat dit voor alle domeinen oplost.

De auteur focust op twee specifieke problemen uit de hoge-energiefysica:

1. Vereenvoudiging van dilogarithmen: Identiteiten die voorkomen in Feynman-integraties (één-lus en hoger).
2. Vereenvoudiging van verstrooiingsamplitudes: Expressies in de spinor-heliciteit formalisme (vooral in Yang-Mills theorie), die vaak honderden termen bevatten maar theoretisch tot één compacte term (zoals de Parke-Taylor formule) kunnen worden gereduceerd.

Bestaande methoden, zoals end-to-end regressie (seq2seq transformers) en versterkingsleer (RL), presteerden goed, maar hadden beperkingen in succespercentages en generalisatievermogen.

2. Methodologie

De kern van de voorgestelde aanpak is een zelftoezichtende (self-supervised) leerstrategie die het probleem formuleert als een Markov Beslissingsproces (MDP), maar zonder de noodzaak van een beloningsfunctie of menselijke experts.

A. Oracle Trajecten Genereren (Scramble-and-Reverse)

In plaats van te proberen complexe expressies direct naar simpele te vertalen (wat moeilijk is), draait de methode het proces om:

1. Generatie: Begin met een bekende, simpele "doel"-expressie.
2. Scramble (Voorwaarts): Pas willekeurig wiskundige identiteiten toe om de expressie complexer te maken. Dit is computergemakkelijk omdat identiteiten altijd kunnen worden toegepast om complexiteit te verhogen.
3. Reverse (Omkeren): Houd de volgorde van tussenstappen en de toegepaste operaties bij. Het omkeren van deze volgorde levert een oracle-traject op: een stap-voor-stap pad van de complexe expressie terug naar de simpele vorm.
4. Data: Dit proces kan onbeperkt worden herhaald om een enorme dataset van trainingsvoorbeelden te genereren zonder menselijke tussenkomst.

B. Architectuur en Trainingsstrategie

• Model: Een Transformer-encoder gebaseerd op een beleidsnetwerk (policy network).
• Permutatie-Equivariantie: De architectuur behandelt termen in een wiskundige expressie als een ongeordende verzameling (geen positiële encoding), wat cruciaal is omdat optelling commutatief is.
• Multi-label Soft Loss: Een belangrijke innovatie. In veel symbolische domeinen leiden verschillende acties tot hetzelfde resultaat (bijv. door algebraïsche symmetrieën zoals de Schouten-identiteit). In plaats van één "juiste" label te kiezen, krijgt het model een soft loss die alle equivalente acties beloont. Dit voorkomt dat het model wordt gestraft voor het kiezen van een geldig alternatief.
• Inferentie-technieken:
  • Anti-cyclus detectie: Voorkomt dat het model in oneindige lussen terechtkomt (bijv. een identiteit en zijn inverse herhaaldelijk toepassen).
  • Backtracking: Als een pad vastloopt, keert het model terug naar een eerdere staat met de laagste complexiteit en probeert een alternatieve actie.
  • Reject Term Increase (RTI): Acties die de term-aantal te sterk laten toenemen, worden geblokkeerd om "term-explosie" te voorkomen.

3. Belangrijkste Bijdragen

1. Zelftoezicht zonder Experts: Het introduceren van een methode om trainingsdata te genereren door complexe expressies te "ontwarren" via omgekeerde operaties, in plaats van afhankelijk te zijn van menselijke demonstraties (behavioral cloning) of schaarse beloningen (RL).
2. Multi-label Loss voor Symmetrie: De implementatie van een verliesfunctie die rekening houdt met de equivalentie van acties, wat essentieel bleek voor de prestaties bij spinor-heliciteit amplitudes.
3. Hybride Aanpak voor Extreme Complexiteit: Voor zeer complexe expressies (tot 228 termen) die de inputcapaciteit van het model (25 termen) overschrijden, wordt een pipeline gebruikt die contrastieve groepering (om de expressie op te splitsen) combineert met beam search (om de zoekruimte van identiteitssequenties te navigeren).

4. Resultaten

De methode werd getest op dezelfde datasets als eerdere werken (DSZ voor dilogarithmen, CDS voor amplitudes) en presteerde overtuigend beter:

• Dilogarithmen:

  • Succespercentage: 99,9% (4.731/4.737 gevallen).
  • Vergelijking: De beste eerdere methode (DSZ) haalde 92%.
  • Generalisatie: Het model, getraind op maximaal 7 "scrambles", presteerde perfect op expressies met 10 scrambles.

• Verstrooiingsamplitudes (Spinor-heliciteit):

  • Succespercentages (target-relatief criterium): 99,9% (4-punts), 99,6% (5-punts), 99,4% (6-punts).
  • Vergelijking: De eerdere state-of-the-art (CDS) haalde respectievelijk 98,2%, 96,0% en 96,9%.
  • De faalrate werd met een factor 5 tot 80 verlaagd.

• Realistische Yang-Mills Amplitudes:

  • Het model slaagde erin om 100% van een representatieve set van 103 5-punts gluon-amplitudes (afgeleid van Feynman-diagrammen, met gemiddeld ~90 termen, maximaal 228) te reduceren tot de bekende Parke-Taylor formule.
  • Dit werd bereikt door de combinatie van het getrainde MDP met contrastieve groepering en beam search.

5. Betekenis en Conclusie

Deze studie toont aan dat het "ontwarren" van symbolische expressies via zelftoezichtende oracle-trajecten een superieure strategie is ten opzichte van end-to-end regressie en traditionele versterkingsleer.

• Efficiëntie: Het omzeilt het probleem van schaarse beloningen in RL door een onbeperkte stroom van perfecte demonstraties te genereren.
• Generalisatie: Door te leren van lokale stap-voor-stap beslissingen (in plaats van een globale mapping), kan het model generaliseren naar expressies die complexer zijn dan die in de trainingsset.
• Toekomst: De aanpak is schaalbaar naar andere symbolische domeinen met omkeerbare herschrijfregels, zoals hogere transcendentale functies of integratieproblemen. Het suggereert ook een potentieel voor hybride systemen die zelftoezicht combineren met RL voor nog complexere taken.

Kortom, de paper presenteert een robuust, schaalbaar en hoogpresterend raamwerk voor het automatiseren van complexe wiskundige vereenvoudiging, met directe toepassingen in de theoretische fysica.