SURFACEBENCH: A Geometry-Aware Benchmark for Symbolic Surface Discovery

Dit paper introduceert SURFACEBENCH, het eerste meetkundige bewuste benchmark voor het symbolisch ontdekken van driedimensionale oppervlakken, dat bestaande methoden uitdaagt door complexe geometrische structuren te evalueren in plaats van alleen laagdimensionale scalair functies.

De kern

Stel je voor dat je een detective bent die probeert het geheim van een mysterieus gebouw te ontcijferen, alleen op basis van foto's van de buitenkant. Je hebt geen blauwdruk, geen bouwtekeningen, alleen maar een hoop losse steentjes en een camera. Je doel is om de exacte wiskundige formule te vinden die beschrijft hoe dat gebouw eruitziet.

Dit is precies wat SurfaceBench doet, maar dan voor computers en AI. Hier is een uitleg in simpele taal, met wat creatieve vergelijkingen.

1. Het Probleem: De "Vlakke" Puzzel vs. De "3D" Ruimte

Tot nu toe hebben wetenschappers AI getraind met simpele puzzels: "Als je deze lijn tekent, zie je een kromme." Dat is als een tweedimensionaal tekenblad. De AI moest een lijntje trekken dat door een paar punten ging.

Maar in de echte wereld (bijv. in de natuurkunde of ingenieurskunst) zijn dingen zelden plat. Ze zijn 3D-oppervlakken. Denk aan een bol, een torus (zoals een donut), of een golvend landschap.

• De oude manier: Probeer een lijn te trekken door punten.
• De nieuwe uitdaging (SurfaceBench): Probeer de volledige vorm van een 3D-object te reconstrueren uit een hoop willekeurige punten in de ruimte.

2. Wat is SurfaceBench?

SurfaceBench is een grote test die is gemaakt door onderzoekers van Virginia Tech. Het is een soort "olympiade" voor AI-modellen om te zien of ze echte wiskundige formules kunnen bedenken die 3D-vormen beschrijven.

Stel je voor dat je een doos hebt met 183 verschillende 3D-vormen (zoals bollen, spiralen, en complexe golven). De AI krijgt een foto van deze vorm (een puntwolk) en moet de "recept" (de formule) vinden om die vorm opnieuw te bouwen.

Het bijzondere is dat deze test rekening houdt met geometrie.

• Vroeger: Als de AI de formule x + y schreef in plaats van y + x, werd hij afgewezen, omdat de tekst anders was. Maar wiskundig is het hetzelfde!
• Nu (SurfaceBench): De test kijkt niet alleen naar de tekst van de formule, maar bouwt de vorm op basis van de formule en vergelijkt die met de originele vorm. Als de vorm er hetzelfde uitziet (zelfs als de formule anders is geschreven), krijgt de AI punten. Dit is als het vergelijken van twee gebouwen: als ze er hetzelfde uitzien, maakt het niet uit of je zegt "eerst de muren, dan het dak" of "eerst het dak, dan de muren".

3. De Drie Manieren om een Vorm te Beschrijven

De test is slim omdat hij drie verschillende manieren accepteert om een vorm te beschrijven, net zoals je een object op drie manieren kunt tekenen:

1. Expliciet: "Hier is de hoogte (z) voor elke x en y." (Zoals een topografische kaart).
2. Impliciet: "Alle punten die aan deze regel voldoen, vormen de vorm." (Zoals: "Alles wat binnen 1 meter van het middelpunt is, is een bol").
3. Parametrisch: "Als je deze knoppen draait, verandert de vorm." (Zoals een animatie in een 3D-programma).

4. Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben gekeken of de slimste AI's (zoals de grote taalmodellen, LLM's) deze test konden halen. Het nieuws is gemengd:

• De "Grote Taalmodellen" (LLM's): Deze AI's zijn geweldig in het raden van de structuur. Ze kunnen vaak zeggen: "Ah, dit lijkt op een golvende vorm met een sinus!" Ze hebben een goed gevoel voor de vorm.
  • Maar: Ze zijn slecht in het afstellen. Ze kunnen de vorm wel raden, maar de maten (de parameters) kloppen niet precies. Het is alsof ze een huis kunnen tekenen, maar de ramen staan scheef of de deuren zijn te groot. Ze zijn ook erg gevoelig voor ruis (fouten in de data).
• De "Oude School" Methoden: De traditionele wiskundige methoden zijn vaak beter in het precies afstemmen van de maten, maar ze hebben moeite met het raden van de complexe structuur als het te ingewikkeld wordt.

Het grote probleem: Geen enkele methode is perfect. De beste AI's halen maar ongeveer 4% van de formules 100% correct. Dat betekent dat er nog heel veel ruimte is voor verbetering.

5. Waarom is dit belangrijk?

Stel je voor dat je een robot wilt bouwen die zelf nieuwe wetten van de natuurkunde ontdekt. Als die robot alleen maar platte lijntjes kan tekenen, zal hij nooit begrijpen hoe een planeet draait of hoe een vliegtuigvleugel werkt.

Met SurfaceBench willen de onderzoekers:

1. AI's leren om ruimtelijk te denken in plaats van alleen lijntjes te volgen.
2. Zorgen dat AI's niet alleen de tekst van een formule onthouden (leren uit het hoofd), maar echt begrijpen hoe de vorm eruitziet.
3. Een standaard maken om te zien welke AI's echt slim zijn en welke alleen maar gissen.

Samenvattend

SurfaceBench is als een nieuwe, veel moeilijkere examen voor AI. In plaats van vragen als "Wat is 2 + 2?", vragen ze: "Kijk naar deze 3D-wolk van punten en schrijf het recept op om dit object te bouwen."

De huidige AI's zijn slim genoeg om te zeggen "Het is een bol", maar ze zijn nog niet goed genoeg om de exacte maatvoering te krijgen. Deze test helpt onderzoekers om die kloof te overbruggen, zodat AI's in de toekomst echt nieuwe wetenschappelijke ontdekkingen kunnen doen in een 3D-wereld.

Technische samenvatting

Titel: SURFACEBENCH: Een meetbaar, geometrie-bewust benchmark voor symbolische oppervlakteontdekking

1. Het Probleem

Symbolische regressie (het vinden van interpreteerbare wiskundige vergelijkingen uit data) is een kernuitdaging in wetenschappelijke machine learning. Bestaande benchmarks en methoden hebben echter fundamentele beperkingen:

• Eendimensionale focus: De meeste benchmarks richten zich op scalaire functies ($y = f(x)$), terwijl wetenschappelijke fenomenen vaak complexe, driedimensionale oppervlakken zijn die multi-variabele koppelingen vereisen.
• Gebrek aan geometrische equivalentie: Bestaande evaluatiemetrics (zoals string-matching of NMSE) falen bij oppervlakken omdat dezelfde geometrie op verschillende algebraïsche manieren kan worden uitgedrukt (bijv. impliciet, expliciet of parametrisch). Een bol kan worden geschreven als $x^2+y^2+z^2=R^2$ of parametrisch; string-comparatie zou deze als verschillend beschouwen, hoewel ze geometrisch identiek zijn.
• Memoriseren vs. Redeneren: Large Language Models (LLM's) neigen ernaar om standaardformules uit hun trainingsdata te herhalen in plaats van te redeneren op basis van de gegeven data, vooral bij complexe, niet-standaard structuren.
• Representatie-variabiliteit: Oppervlakken kunnen worden weergegeven in drie vormen (expliciet, impliciet, parametrisch), wat unieke symbolische en topologische uitdagingen introduceert die bestaande methoden niet aankanen.

2. Methodologie: De SURFACEBENCH Pipeline

De auteurs introduceren SurfaceBench, het eerste benchmark voor symbolische ontdekking van 3D-oppervlakken. De opbouw volgt een gestructureerde pipeline:

• Dataset Constructie:

  • Omvang: 183 analytisch geconstrueerde vergelijkingen, geïnspireerd door wetenschappelijke domeinen (optica, vloeistofdynamica, elektromagnetisme, etc.).
  • Categorieën: De dataset is onderverdeeld in 15 structurele categorieën (bijv. trigonometrisch-exponentiële composities, radiaal vervallende functies).
  • Representaties: Elke taak komt voor in drie vormen: expliciet ($z = f(x,y)$), impliciet ($f(x,y,z) = 0$) en parametrisch ($x(u,v), y(u,v), z(u,v)$).
  • Anti-memorisatie: Om te voorkomen dat modellen formules uit het hoofd leren, worden "operator augmentaties" toegepast (functienestings, operatorvervangingen, coördinatenreparametrisering) om niet-kanonieke maar analytisch oplosbare varianten te creëren.
  • Validatie: Alle oppervlakken worden visueel en analytisch gevalideerd door experts om continuïteit, differentieerbaarheid en fysieke plausibiliteit te garanderen.

• Evaluatie Framework (Geometrie-bewust):
  In plaats van alleen te kijken naar de algebraïsche syntax, evalueert SurfaceBench de functionele trouw in de objectruimte:

  1. Symbolische Equivalentie: Controle of de gevonden vergelijking algebraïsch equivalent is aan de grondwaarheid (via LLM-gestuurde vereenvoudiging).
  2. Geometrische Metrics: De grondwaarheid en de voorspelling worden omgezet in dichte puntwolken. Vervolgens worden twee metrics berekend na uitlijning (translatie, rotatie, schaal):
     • Chamfer Distance: Meet de gemiddelde geometrische afwijking (globale trouw).
     • Hausdorff Distance: Meet de maximale afwijking (lokaal kritieke fouten, gaten of discontinuïteiten).
  3. Regressie Fout: Normalized Mean Squared Error (NMSE) voor punt-voor-punt fitting.

3. Experimentele Opstelling

De auteurs hebben een breed scala aan methoden getest, variërend van klassieke evolutionaire algoritmen tot moderne LLM-gestuurde frameworks:

• LLM-gestuurde methoden: LLM-SR, LaSR, SGA, OpenEvolve (gebruikmakend van modellen zoals GPT-4o-mini, Llama-3.1-8B, Qwen3-8B).
• Niet-LLM methoden: DSR, uDSR, NeSymReS, E2E, TPSR, PySR, gplearn.

4. Belangrijkste Resultaten

De experimentele resultaten tonen aan dat er nog geen enkele methode consistent presteert over alle representatietypes:

• Algemene Prestaties: De exacte herwinning van vergelijkingen (string-level match) is extreem zeldzaam: slechts 4% voor LLM-frameworks en 6% voor traditionele methoden.
• Expliciete vs. Impliciete Oppervlakken:
  • Modellen vinden vaak de juiste structurele familie (hoge symbolische nauwkeurigheid) bij expliciete oppervlakken, maar falen in het nauwkeurig kalibreren van parameters (hoge Chamfer/Hausdorff afstanden).
  • Bij impliciete oppervlakken presteren methoden die gericht zijn op geometrische afstand (zoals evolutionaire zoekopdrachten) beter in het benaderen van de vorm, zelfs als de algebraïsche vorm niet exact is.
• Parametrische Oppervlakken: Dit is de meest onderbelichte categorie. Slechts een paar methoden (OpenEvolve, PySR) kunnen meerdere gekoppelde vergelijkingen gelijktijdig leren, wat essentieel is voor parametrische vormen.
• Robuustheid:
  • Ruis: LLM-methoden zijn gevoeliger voor ruis in de data dan traditionele methoden; hun prestaties verslechteren aanzienlijk bij toenemende ruis (1% tot 10% Gaussische ruis).
  • Out-of-Domain (OOD): Modellen die goed presteren binnen het trainingsbereik [-5, 5] falen vaak bij extrapolatie naar [-10, -5] en [5, 10]. De fouten manifesteren zich vaak als lokale structurele instabiliteit (hoge Hausdorff afstand) in plaats van globale drift.
• Foutanalyse: LLM-methoden falen voornamelijk door zoekfouten (verkeerde functionele familie kiezen, bijv. polynoom in plaats van trigonometrie) en fitting-fouten (juiste familie maar slechte parameteroptimalisatie). LLM's hebben moeite met iteratieve verfijning na de initiële generatie.

5. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste Geometrie-bewuste Benchmark: SurfaceBench verschuift het paradigma van scalair curve-fitting naar geometrisch bewuste multi-output redenering. Het erkent dat in de wetenschap de vorm (geometrie) vaak belangrijker is dan de exacte algebraïsche notatie.
2. Nieuwe Evaluatie-protocol: Door Chamfer- en Hausdorff-afstanden te integreren, biedt de benchmark een eerlijke manier om modellen te beoordelen die verschillende maar geometrisch equivalente representaties vinden.
3. Diagnostische Inzicht: De studie onthult een fundamentele kloof in huidige LLM-methoden: ze hebben sterke structurele priors (ze weten wat een vergelijking eruit zou kunnen zien), maar missen de robuuste, iteratieve optimalisatie om de parameters en koppelingen precies te kalibreren.
4. Community Resource: De dataset en de evaluatiecode zijn openbaar beschikbaar, wat een gestandaardiseerd platform biedt voor het testen van compositional generalization en structureel bewust wetenschappelijk redeneren in hogedimensionale vergelijkingen.

Conclusie:
SurfaceBench demonstreert dat hoewel moderne methoden (vooral LLM's) veelbelovend zijn voor het vinden van de "ruwe vorm" van een vergelijking, ze nog ver verwijderd zijn van robuuste, wetenschappelijk bruikbare symbolische ontdekking voor complexe 3D-oppervlakken. Toekomstige systemen moeten de discrete zoekruimte van symbolen en de continue optimalisatie van parameters en geometrie strakker koppelen.