💻 computer science

Multi-Modal Learning meets Genetic Programming: Analyzing Alignment in Latent Space Optimization

Deze studie concludeert dat SNIP, een multi-modale Latent Space Optimization-methode voor symbolische regressie, geen effectieve zoekoptimalisatie realiseert omdat de geleerde kruismodale uitlijning te grof is om de zoektocht in de symbolische ruimte te sturen, ondanks een stijgende fitness.

Oorspronkelijke auteurs: Benjamin Léger, Kazem Meidani, Christian Gagné

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Léger, Kazem Meidani, Christian Gagné

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Doel: De "Wiskundige Vertaler"

Stel je voor dat je een detective bent die probeert een geheim te kraken. Je hebt een reeks cijfers (data) en je moet de onderliggende formule vinden die deze cijfers produceert. Dit heet Symbolische Regressie.

Traditioneel doen computers dit door miljoenen willekeurige formules te proberen (zoals een kind dat alle toetsen op een piano indrukt tot het een mooi liedje hoort). Dit duurt lang en is inefficiënt.

Recente onderzoekers (zoals in het paper SNIP) hebben een slimme truc bedacht: ze gebruiken een neuraal netwerk (een soort super-intelligente vertaler) om wiskundige formules om te zetten in een "geheime code" (een continue ruimte). In plaats van formules te zoeken, zoeken ze in deze geheime code. Als je een puntje in de code een beetje verschuift, hoopt de computer dat de bijbehorende formule net iets beter werkt.

Het idee is als volgt:

Genotype (De bouwtekening): De wiskundige formule zelf (bijv. sin(x) + 2).
Fenotype (Het resultaat): De cijfers die de formule oplevert.
De Belofte: Als je de "resultaat-cijfers" en de "bouwtekening" in dezelfde geheime ruimte leert plaatsen, zou de computer kunnen zien: "Oh, als ik deze formule iets verander, wordt het resultaat beter."

Wat dit paper onderzoekt: De "Ruwe" Vertaling

De auteurs van dit paper (Benjamin Léger en collega's) hebben gekeken of deze slimme truc echt werkt. Ze hebben de SNIP-methode onder de loep genomen. Hun conclusie is verrassend en een beetje teleurstellend: De vertaler is te slordig.

Hier zijn de twee belangrijkste ontdekkingen, vertaald naar alledaagse analogieën:

1. De GPS die niet luistert (Het algoritme)

Stel je voor dat je een GPS hebt die je vertelt welke route de snelste is. Maar in plaats van de GPS te volgen, rijdt de bestuurder gewoon blindelings verder, alsof de GPS niet bestaat.

Wat ze zagen: De computer werd steeds beter in het voorspellen van de juiste cijfers (de "fitness" ging omhoog). Maar de "verbinding" tussen de cijfers en de formule (de alignment) bleef hetzelfde of werd zelfs slechter.
De les: Het algoritme gebruikt de slimme vertaler die ze hebben gebouwd niet om te zoeken. Het rijdt gewoon blindelings rond, terwijl de GPS (de multi-modale kennis) in de auto ligt te slapen.

2. De te grove lens (De kwaliteit van de vertaling)

Dit is het belangrijkste punt. Stel je voor dat je een lens hebt om te kijken naar twee heel vergelijkbare auto's: een rode Ferrari en een rode Porsche.

Een fijne lens ziet het verschil: "Ah, dit is een Ferrari, dat is een Porsche."
Een grove lens zegt: "Beide zijn rode auto's. Ze lijken op elkaar."

De onderzoekers ontdekten dat de SNIP-methode een grove lens heeft.

Ze gaven de computer twee formules die bijna hetzelfde zijn, maar net iets anders (bijvoorbeeld: sin(x) vs cos(x)).
De computer kon deze twee niet uit elkaar houden. Voor de computer leken ze op elkaar, alsof ze exact hetzelfde resultaat gaven.
Het gevolg: Als de computer probeert de "beste" formule te vinden door in de geheime code te zoeken, kan hij niet zien of hij een kleine verbetering heeft gedaan of juist een fout. Het is alsof je probeert een naald te vinden in een hooiberg, maar je hebt een bril op die alles vaag maakt.

Waarom is dit belangrijk?

Vroeger dachten onderzoekers: "Als we AI leren om te kijken naar zowel de formule als de uitkomst, wordt alles perfect."

Dit paper zegt: "Nee, niet zomaar."
De huidige AI-modellen (zoals SNIP, die gebaseerd is op CLIP, een beroemd beeld-taal model) zijn geweldig in het begrijpen van grote ideeën (bijv. "dit is een hond" vs "dit is een auto"). Maar wiskunde vereist extreem fijne details (bijv. "dit is een min-teken" vs "dit is een plus-teken").

De huidige modellen zijn te "slordig" om de subtiele verschillen in wiskundige formules te zien. Zolang we die grove lens niet vervangen door een microscoop, zullen deze slimme methoden niet veel beter zijn dan het oude, willekeurige proberen.

De Samenvatting in één zin

Het paper laat zien dat hoewel het idee om AI te gebruiken om wiskundige formules te vinden briljant is, de huidige technologie de subtiele verschillen tussen formules niet goed genoeg ziet, waardoor de computer eigenlijk "blind" blijft zoeken in plaats van slim te navigeren.

De boodschap voor de toekomst: We moeten eerst de "vertaler" veel slimmer maken (zodat hij de kleine details ziet), voordat we kunnen vertrouwen op de zoekmethode die daarop gebaseerd is.

Probleemstelling

Symbolische regressie (SR) is de taak om interpreteerbare wiskundige uitdrukkingen te ontdekken uit numerieke data. Traditioneel wordt dit opgelost met Genetische Programmering (GP), die een combinatorische zoektocht uitvoert in de ruimte van symbolische structuren. Recentere methoden, zoals Latent Space Optimization (LSO), transformeren dit probleem naar een continue optimalisatie door symbolische expressies te mappen naar een continue, semantisch dichte latente ruimte via neurale encoders.

Een recente doorbraak, SNIP (Meidani et al., 2024), introduceert een multi-modale aanpak geïnspireerd op CLIP. SNIP traint een model om zowel de symbolische structuur (genotype) als het numerieke gedrag (fenotype) van wiskundige vergelijkingen in één gedeelde latente ruimte af te stemmen (aligneren). De hypothese is dat optimalisatie in de numerieke latente ruimte de zoektocht in de symbolische ruimte impliciet zou moeten sturen via deze leerde uitlijning.

Het paper stelt echter de vraag of deze belofte waar wordt gemaakt. Bestaande literatuur over vergelijkbare modellen (zoals CLIP) suggereert dat dergelijke uitlijningen vaak grofkorrelig (coarse-grained) zijn en geen fijne semantische verschillen kunnen onderscheiden. De auteurs onderzoeken of SNIP daadwerkelijk effectief bi-modale optimalisatie levert voor SR.

Methodologie

De auteurs analyseren SNIP aan de hand van twee centrale hypothesen en voeren twee complementaire studies uit:

Hypothese 1 (Algorithmische Exploitatie): Gebruikt het LSO-algoritme de geleerde cross-modale uitlijning actief tijdens de optimalisatie, of verloopt de zoektocht onafhankelijk van deze relaties?
Hypothese 2 (Granulariteit van Uitlijning): Is de geleerde uitlijning fijn genoeg om symbolisch verschillende, maar structureel vergelijkbare expressies te onderscheiden?

Experimenteel Ontwerp:

Study 1 (Tijdens Optimalisatie): De auteurs repliceren het SNIP-LSO-proces op de Feynman en Strogatz benchmarks. Ze volgen twee metrieken gedurende 80 iteraties:
- De numerieke fit-kwaliteit ( $R^2$ ).
- De cross-modale uitlijning (cosinus-similariteit) tussen de symbolische embedding van de beste kandidaat en de numerieke embedding van het doel.
Study 2 (Retrieval Taak): Om de granulariteit te testen, voeren ze een retrieval-experiment uit. Gegeven een basisexpressie en haar numerieke data, genereren ze $K-1$ $K - 1$ geperverteerde varianten (met minimale structurele veranderingen, zoals het wisselen van operatoren of variabelen). Het model moet de juiste expressie rangschikken op basis van de uitlijningsscore met de numerieke data.
- Datasets: Feynman-benchmarks (82 cases) en synthetische data (100 cases).
- Perturbaties: Wisselen van eenaire/binaire operatoren, veranderen van constanten, en vervangen van variabelen.

Belangrijkste Bijdragen

Empirisch Bewijs voor Gebrek aan Exploitatie: De auteurs tonen aan dat SNIP's LSO-procedure de geleerde cross-modale uitlijning niet actief gebruikt tijdens de optimalisatie.
Kwalificatie van Uitlijningsgranulariteit: Ze evalueren de granulariteit van de uitlijning en concluderen dat deze te grof is om betrouwbare symbolische zoektochten te ondersteunen.
Richting voor Toekomstig Werk: Ze identificeren "fijne uitlijning" (fine-grained alignment) als een kritieke bottleneck en schetsen paden voor verbetering in zowel model- als algoritmeniveau.

Resultaten

Resultaten van Study 1 (Exploitatie):

De numerieke fit ( $R^2$ ) verbeterde consistent tijdens de optimalisatie (van 0,73 naar 0,99 op de Feynman dataset).
De cross-modale uitlijning bleef echter stabiel of nam zelfs licht af (van 0,038 naar 0,001) gedurende het hele proces.
Conclusie: Het algoritme optimaliseert puur op numerieke fit en negeert de symbolische relevantie die door de uitlijning zou moeten worden aangegeven. De zoektocht is onafhankelijk van de pre-getrainde cross-modale relaties.

Resultaten van Study 2 (Granulariteit):

Retrieval Accuracie: Het model scoorde 18,3% op de Feynman-dataset, wat slechter is dan willekeurige kans (random baseline van 27,3%). Op synthetische data scoorde het 23,0%, wat gelijkstaat aan willekeurige kans.
Foutanalyse: Het model faalt vooral bij het onderscheiden van expressies die verschillen in binaire operatoren (bijv. $+$ vs $\times$ ) of constanten. Deze perturbaties "bedriegen" het model in 65,8% van de gevallen.
Conclusie: De uitlijning is te grofkorrelig. Het model kan wel algemene functionele vormen onderscheiden, maar faalt bij het detecteren van kleine, structurele verschillen die cruciaal zijn voor symbolische regressie. Zelfs als het algoritme de uitlijning zou gebruiken, zou het geen effectieve zoektocht kunnen leiden omdat de uitlijning zelf onbetrouwbaar is voor fijne onderscheidingen.

Significantie en Implicaties

De bevindingen van dit paper zijn fundamenteel voor het veld van Multi-Modal Learning en Genetische Programmering:

Kritiek op Bestaande Aannames: Het paper weerlegt de aanname dat contrastieve pre-training (zoals bij CLIP/SNIP) van nature leidt tot een uitlijning die geschikt is voor principieel zoeken in symbolische ruimtes. De "bag of concepts"-benadering van CLIP werkt hier niet, omdat SR vereist dat minimale structurele wijzigingen worden gekoppeld aan specifieke gedragsveranderingen.
Bottleneck Identificatie: Er is een fundamentele kloof tussen numerieke prestaties en symbolisch begrip. Zelfs als een model numeriek goed presteert, betekent dit niet dat het de onderliggende symbolische structuur begrijpt.
Toekomstige Richtingen:
- Model-niveau: Er is behoefte aan trainingstechnieken die specifiek gericht zijn op fijne granulariteit, zoals het gebruik van "hard negatives" (zeer vergelijkbare maar semantisch verschillende expressies) en gestructureerde contrastieve doelen.
- Algoritme-niveau: Optimalisatiealgoritmen moeten expliciet ontworpen worden om cross-modale relaties te benutten, maar dit is alleen zinvol nadat de uitlijningskwaliteit is verbeterd.
- Metrieken: De auteurs introduceren een evaluatieframework gebaseerd op retrieval om de kwaliteit van uitlijning te meten, wat essentieel is voor het ontwikkelen van betere SR-methoden.

Samenvattend stelt het paper dat multi-modale LSO voor symbolische regressie veel potentie heeft, maar dat de huidige implementaties (zoals SNIP) nog niet klaar zijn voor de taak omdat de leerde uitlijning te grof is en niet actief wordt gebruikt. De weg vooruit ligt in het ontwikkelen van modellen die fijne, structurele uitlijning kunnen leren.