LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression

Dit paper introduceert LLM-Meta-SR, een meta-leerframework dat grote taalmodellen in staat stelt om door contextueel leren en semantische begeleiding geavanceerde selectie-operatoren voor symbolische regressie te ontwerpen die de prestaties van bestaande expert-ontworpen algoritmes overtreffen.

De kern

🚀 De Digitale Chef-kok die een Nieuw Recept Ontwerpt

Stel je voor dat je een rekenmachine hebt die heel goed is in het vinden van formules (zoals $y = 2x + 5$) die passen bij een set gegevens. Dit noemen we Symbolische Regressie. Het probleem is: deze rekenmachine moet vaak zelf beslissen welke getallen hij mag houden en welke hij moet weggooien om het beste resultaat te krijgen.

In de oude wereld deden menselijke experts dit. Ze dachten: "Hé, als we deze specifieke regel toepassen, werkt het misschien beter." Maar dat is veel werk en soms vergeten ze een slimme truc.

Wat doen deze onderzoekers nu?
Ze hebben een AI-assistent (een Large Language Model of LLM) ingeschakeld. Maar ze vragen de AI niet om de formule zelf te vinden. Nee, ze vragen de AI om de chef-kok te worden.

De AI ontwerpt een nieuwe "keuzeregel" (een selection operator). Deze regel bepaalt welke "recepten" (formules) de rekenmachine mag houden en welke hij moet weggooien tijdens het leerproces.

🧩 Het Probleem: De AI was te slordig en te verward

Toen de onderzoekers de AI voor het eerst deze taak gaven, kwamen ze twee grote problemen tegen:

1. De "Vergeten Smaken" (Gebrek aan semantische inzicht):
   Stel je voor dat je een kok hebt die alleen kijkt naar het gemiddelde aantal sterren van een restaurant. Als Restaurant A op maandag fantastisch is maar dinsdag slecht, en Restaurant B is elke dag "oké", ziet de gemiddelde score ze misschien als gelijkwaardig.
   Maar de AI moet weten: "Restaurant A is geweldig voor vegetariërs, Restaurant B voor vleeseters."
   De onderzoekers merkten dat de AI vaak twee "gemiddeld goede" recepten combineerde, terwijl ze in werkelijkheid heel verschillende sterke punten hadden. Ze lieten de AI zien waar een formule goed was en waar hij faalde, zodat de AI slimme combinaties kon maken (zoals een "complementair" paar).

2. De "Opgeblazen Soep" (Code Bloat):
   AI's hebben de neiging om hun antwoorden heel lang en ingewikkeld te maken. Ze voegen woorden toe die niet nodig zijn. In de programmeertaal betekent dit dat de code enorm groot wordt, traag draait en onbegrijpelijk is.
   De onderzoekers moesten de AI dwingen: "Houd het kort en krachtig!" Ze deden dit door de AI te zeggen: "Gebruik maximaal 30 regels code" en door de langste, meest rommelige recepten automatisch te verwijderen.

🛠️ Hoe werkt het? (De Meta-Learning)

Het proces is als een talentenjacht voor chefs, maar dan met een twist:

1. De Start: De AI maakt 20 verschillende "keuzerecepten" (algoritmes).
2. De Test: Elk recept wordt getest op een set van moeilijke wiskundige problemen. Het recept dat de beste resultaten geeft, krijgt een ster.
3. De Evolutie: De AI kijkt naar de winnaars. Hij neemt twee goede recepten, leest hun sterke en zwakke punten (de "semantische feedback"), en probeert een nieuwe, betere versie te bedenken door ze te mixen.
4. De Controle: De AI controleert of het nieuwe recept niet te langdradig is (geen "opgeblazen soep").
5. Herhaling: Dit proces gaat 20 keer door. Elke ronde wordt het recept slimmer.

🏆 Het Resultaat: De AI wint van de Mensen

Na al dit trainen hadden ze een super-recept genaamd "Omni".

• De Vergelijking: Ze testten "Omni" tegen 9 andere beroemde, door mensen bedachte regels.
• De Uitslag: "Omni" won in bijna alle gevallen. Het was slimmer, sneller en produceerde schonere, begrijpelijkere formules.
• De Ultieme Test: Ze pakten zelfs een van de allerbeste bestaande systemen (RAG-SR) en vervingen de oude keuzeregel door de nieuwe "Omni"-regel. Het resultaat? Het systeem werd nog beter en scoorde de hoogste score van alle 28 geteste algoritmes op 116 verschillende datasets.

💡 De Grootste Les

Dit artikel bewijst iets fascinerends: Een AI kan niet alleen een taak uitvoeren, maar kan ook de regels bedenken waarmee die taak wordt uitgevoerd.

Het is alsof je een robot vraagt om een auto te bouwen, en de robot bedient vervolgens een nog slimmere robot die de motor ontwerpt. De onderzoekers laten zien dat als je AI's de juiste instructies geeft (zoals "kijk naar de details" en "houd het simpel"), ze regels kunnen bedenken die zelfs de slimste menselijke experts overtreffen.

Kortom: Ze hebben een AI laten leren hoe je een AI moet besturen, en dat werkt verrassend goed!

Technische samenvatting

Titel: LLM-Meta-SR: In-Context Learning voor het Evolueren van Selectie-operatoren in Symbolische Regressie

Auteurs: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang.

---

1. Het Probleem

Symbolische regressie (SR) is de taak om wiskundige expressies te ontdekken die een gegeven dataset nauwkeurig modelleren. Hoewel evolutionaire algoritmen, zoals Genetische Programmering (GP), veel worden gebruikt voor SR, zijn de selectie-operatoren (de mechanismen die bepalen welke kandidaat-oplossingen worden geselecteerd voor verdere evolutie) doorgaans handmatig ontworpen door experts.

De huidige aanpak heeft twee belangrijke beperkingen:

1. Gebrek aan semantische bewustwording: Bestaande LLM-gebaseerde methoden voor algoritme-evolutie gebruiken vaak alleen gemiddelde prestatiescores. Hierdoor worden fijne, waardevolle verschillen in gedrag tussen algoritmen op specifieke datasets genegeerd. Dit leidt tot inefficiënte uitwisseling van nuttige codecomponenten.
2. Code Bloat (Opschudding): LLMs hebben de neiging om tijdens de optimalisatie onnodig lange en complexe code te genereren. Dit vermindert de interpretbaarheid, verspilt tokens (en dus rekenkracht) en vertraagt het evolutieproces.

Het doel van dit paper is om een geautomatiseerd raamwerk te ontwikkelen dat Large Language Models (LLMs) gebruikt om selectie-operatoren voor evolutionaire SR-algoritmen te ontwerpen, zonder dat menselijke experts deze handmatig hoeven te programmeren.

---

2. Methodologie: LLM-Meta-SR

De auteurs stellen een meta-learning raamwerk voor, genaamd LLM-Meta-SR. In plaats van directe symbolische expressies te evolueren, evolueert dit systeem de selectie-operator zelf.

Kerncomponenten van het raamwerk:

• Meta-Evolutie Workflow:

  • Een populatie van kandidaat-selectie-operatoren (geschreven als Python-code) wordt geëvolueerd.
  • Binnenste lus: Elke kandidaat-operator wordt getest door een evolutionair SR-algoritme op meerdere meta-training datasets te draaien. De prestatie van de SR-oplossingen bepaalt de "fitness" van de selectie-operator.
  • Buitenste lus: De LLM (GPT-4.1 Mini of GPT-5 Mini) genereert nieuwe operatoren door in-context learning toe te passen op de geschiedenis van eerdere operatoren en hun prestaties.

• Twee Belangrijke Innovaties:

  1. Semantisch Bewuste Evolutie (Semantics-Aware Evolution):
     • In plaats van alleen een gemiddelde score te gebruiken, worden de prestatievector per dataset aan de LLM gegeven.
     • Een complementariteitsmechanisme selecteert ouders voor kruising (crossover) die verschillende sterke punten hebben op verschillende datasets. Dit zorgt ervoor dat de LLM operatoren kan creëren die de sterktes van beide ouders combineren, in plaats van alleen generalisten te kruisen.
  2. Bloat Control (Beheersing van Code-omvang):
     • Prompt-beperking: De LLM wordt expliciet instructies gegeven om code binnen een bepaald aantal regels te houden.
     • Multi-objectieve overlevingsselectie: Bij het selecteren van operatoren voor de volgende generatie wordt niet alleen gekeken naar prestatie, maar ook naar de lengte van de code. Een dominantie-mechanisme (gebaseerd op Pareto-dominantie en CodeBLEU-similairiteit) straft operatoren die slechter presteren én complexer zijn.

• Incorporatie van Domeinkennis:

  • De prompts worden verrijkt met specifieke principes die een goede selectie-operator moet hebben:
    • Diversiteit: Bevorder oplossingen die goed zijn op verschillende subsets van data.
    • Interpreteerbaarheid: Geef de voorkeur aan kleinere symbolische bomen.
    • Dynamische druk: Pas de selectiestrategie aan over tijd (exploratie vroeg, exploitatie later).
    • Complementariteit: Koppel ouders met verschillende foutpatronen.
    • Vectorisatie: Gebruik efficiënte NumPy-bewerkingen.

---

3. Belangrijkste Bijdragen

1. Een nieuw meta-learning raamwerk: LLM-Meta-SR is het eerste systeem dat LLMs gebruikt om specifiek selectie-operatoren voor evolutionaire SR te ontwerpen via in-context learning.
2. Oplossing voor Bloat: Het introduceert een effectieve strategie om de neiging van LLMs tot het genereren van lange code te onderdrukken, wat zowel de leesbaarheid als de efficiëntie verbetert.
3. Semantisch Feedback-mechanisme: Het paper demonstreert dat het gebruik van gedetailleerde prestatievector (per dataset) in plaats van gemiddelden cruciaal is voor het vinden van complementaire operatoren.
4. Domeinkennis in Prompts: Het toont aan dat het expliciet opnemen van ontwerpprincipes in de prompt de kwaliteit van de gegenereerde algoritmen aanzienlijk verhoogt.
5. State-of-the-art Prestaties: De gegenereerde operator ("Omni") wordt geïntegreerd in een bestaand SOTA-algoritme (RAG-SR) en behaalt de beste resultaten.

---

4. Resultaten

De auteurs hebben hun methode getest op de SRBench benchmark, bestaande uit 116 regressiedatasets (exclusief de 4 datasets gebruikt voor meta-training).

• Vergelijking met Experts: De door de LLM ontworpen "Omni" selectie-operator presteerde statistisch significant beter dan 9 expert-ontworpen baselines (zoals Tournament Selection, Lexicase Selection, Boltzmann, etc.).
• Algemene Vergelijking: Wanneer de Omni-operator werd gebruikt in combinatie met het state-of-the-art RAG-SR algoritme, behaalde het de beste prestatie onder 28 verschillende symbolische regressie- en machine learning-algoritmen op de 116 datasets.
• Interpreteerbaarheid en Efficiëntie: De gegenereerde operatoren leidden tot kleinere symbolische bomen (meer interpreteerbaar) en behielden een concurrerende trainingsduur, ondanks de complexiteit van de selectiestrategie.
• Ablatiestudies: Experimenten zonder domeinkennis, zonder semantische feedback of zonder bloat control resulteerden in aanzienlijk slechtere prestaties en langere, onnodig complexe code. Dit bevestigt dat alle drie de voorgestelde innovaties essentieel zijn voor succes.

---

5. Betekenis en Toekomstperspectief

Dit paper is een mijlpaal in het veld van automatisch algoritme-ontwerp. Het bewijst dat LLMs niet alleen kunnen dienen als "crossover" of "mutation" operators (zoals eerder gedaan), maar dat ze ook de strategische componenten van een evolutionair algoritme (zoals selectie) kunnen ontwerpen die superieur zijn aan die van menselijke experts.

Belangrijke implicaties:

• Het verlaagt de drempel voor het ontwerpen van geavanceerde evolutionaire algoritmen.
• Het toont aan dat "in-context learning" met gedetailleerde feedback (semantiek) een krachtige methode is voor het verfijnen van algoritmen.
• Het raamwerk is generiek en kan waarschijnlijk worden uitgebreid naar het ontwerpen van andere componenten (zoals crossover-operatoren) of andere domeinen binnen evolutionaire computation (zoals classificatie).

Kortom, LLM-Meta-SR demonstreert dat AI niet alleen data kan analyseren, maar ook de methoden zelf kan verbeteren waarmee data wordt geanalyseerd, en dit doet het op een niveau dat menselijke experts overtreft.