🤖 machine learning

Enhancing Generalization in Evolutionary Feature Construction for Symbolic Regression through Vicinal Jensen Gap Minimization

Dieses Paper schlägt ein evolutionäres Framework zur Merkmalskonstruktion für die symbolische Regression vor, das die Generalisierung durch die dynamische Minimierung der vicinalen Jensen-Lücke als Regularisierungsterm verbessert, wobei Rauschschätzung und Manifold-Intrusion-Detektion integriert werden, um Überanpassung über diverse Datensätze hinweg effektiv zu kontrollieren.

Ursprüngliche Autoren: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

Veröffentlicht 2026-02-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, zu lernen, ohne zu schummelneln

Stellen Sie sich vor, Sie versuchen, einem Roboter (einem Algorithmus namens Genetic Programming) beizubringen, das Wetter oder Aktienkurse basierend auf einer Reihe von Hinweisen (Daten) vorherzusagen. Der Roboter ist sehr intelligent und kreativ; er kann seine eigenen komplexen Formeln lösen, um das Problem zu bewältigen.

Der Roboter hat jedoch eine schlechte Angewohnheit: Overfitting (Überanpassung).

Denken Sie bei Overfitting an einen Schüler, der die Antworten auf eine bestimmte Übungsprüfung perfekt auswendig lernt, aber bei der echten Prüfung versagt, weil er nicht die Konzepte verstanden hat, sondern nur das Rauschen und die Eigenheiten der Übungsfragen auswendig gelernt hat. In der Welt der Daten bedeutet dies, dass der Roboter das „Rauschen“ (zufällige Fehler) in den Trainingsdaten lernt, anstatt das wahre Muster.

Dieses Paper stellt eine neue Methode vor, um dem Roboter beizubringen, ein „guter Lerner“ zu sein, statt ein „Auswendiglernender“. Sie nennen diese Methode Vicinal Jensen Gap Minimization.

Das Problem: Warum „Auswendiglernen“ schlecht ist

In der Vergangenheit versuchten Wissenschaftler, Roboter am Auswendiglernen zu hindern, indem sie sie dazu zwangen, ihre Formeln kurz und einfach zu halten (wie etwa die Anzahl der Wörter in einem Aufsatz zu begrenzen). Aber die Autoren fanden heraus, dass ein kurzer Aufsatz immer noch Unsinn sein kann, während ein langer Aufsatz brillant sein kann. Die Größe ist nicht das Einzige, was zählt; Glätte und Logik sind wichtiger.

Die Lösung: Der „Nachbarschaftstest“

Die Autoren erkannten, dass ein gutes Modell nicht nur bei den exakten Datenpunkten, die es gesehen hat, richtig sein sollte, sondern auch bei den „Nachbarn“ dieser Punkte.

Stellen Sie sich vor, Sie wandern durch einen Wald. Wenn Sie einen Baum an einer bestimmten Stelle sehen, erwarten Sie, dass die Bäume in der Nähe ähnlich aussehen. Wenn Sie einen winzigen Schritt machen und der Baum plötzlich zu einer Banane wird, ist das seltsam. Ein gutes Modell sollte „glatt“ sein – kleine Änderungen im Input sollten zu kleinen, logischen Änderungen im Output führen.

Um dies zu testen, nutzen die Forscher zwei Haupttricks, um „künstliche“ Nachbarschaftsdaten zu erzeugen:

Der „Zittrige Hand“-Trick (Noise Perturbation): Sie nehmen einen Datenpunkt und fügen ihm ein wenig zufälliges „Zittern“ hinzu, als würde man eine Kamera leicht schütteln. Wenn die Antwort des Roboters bei dieser winzigen Erschütterung wild schwankt, ist er zu sensibel (Overfitting).
Der „Smoothie“-Trick (Mixup): Sie nehmen zwei Datenpunkte (wie einen roten Apfel und einen grünen Apfel) und vermischen sie, um einen „neuen“ Datenpunkt zu erstellen (einen leicht orangen Apfel). Sie prüfen, ob die Vorhersage des Roboters für diesen „orangen Apfel“ basierend auf den roten und grünen Äpfeln Sinn ergibt.

Das Geheimrezept: Das Problem in zwei Teile zerlegen

Der größte Durchbruch des Papers ist ein mathematischer Beweis, der zeigt, dass sie das Lernziel des Roboters in zwei separate Teile aufteilen können:

Der „Genauigkeits“-Score: Wie gut sagt der Roboter die echten Daten voraus? (Wir wollen, dass dieser hoch ist).
Der „Glätte“-Score (Der Jensen Gap): Wie seltsam wird der Roboter, wenn wir ihn mit unseren „künstlichen“ Nachbarschaftsdaten testen? (Wir wollen, dass dieser niedrig ist).

Die Analogie:
Stellen Sie sich vor, Sie bewerten einen Schüler.

Der alte Weg: Sie schauen nur auf seine Abschlussprüfung. Wenn er 100 % erreicht hat, besteht er. (Aber er könnte geschummelt oder auswendig gelernt haben).
Der neue Weg (Dieses Paper): Sie geben ihm zwei Noten.
1. Note A: Wie gut hat er bei den echten Fragen abgeschnitten?
2. Note B: Wie gut hat er bei einer „Trick“-Version der Fragen abgeschnitten, bei der wir die Zahlen leicht verändert haben?
- Wenn er eine perfekte Note A, aber eine schreckliche Note B erhält, wissen Sie, dass er schummelt (Overfitting).
- Das Paper erstellt eine Formel, die diese beiden Noten perfekt ausbalanciert.

Anpassung an die Umgebung (Rauschschätzung)

Die Autoren stellten fest, dass einige Datensätze „verrauscht“ (voll von Fehlern) und andere „sauber“ sind.

Analogie: Stellen Sie sich vor, Sie versuchen, ein Gespräch zu hören.
- In einer ruhigen Bibliothek (geringes Rauschen) können Sie jedes Wort ganz genau hören.
- Bei einem Rockkonzert (hohes Rauschen) müssen Sie das Hintergrundgeräusch ignorieren und sich auf die Hauptmelodie konzentrieren.

Das Paper erstellt einen „Rauschdetektor“. Wenn die Daten unordentlich sind (wie bei einem Rockkonzert), wird der Roboter automatisch strenger beim „Glätte“-Score, um das Rauschen zu ignorieren. Wenn die Daten sauber sind, konzentriert er sich mehr darauf, die Details richtig zu erfassen. Dies geschieht automatisch ohne menschliches Eingreifen.

Der „Manifold Intrusion“-Schutz

Manchmal, wenn man zwei Datenpunkte vermischt (der „Smoothie“-Trick), kann man versehentlich einen künstlichen Datenpunkt erstellen, der in der realen Welt keinen Sinn ergibt.

Analogie: Wenn man „heißen Kaffee“ und ein „kaltes Eiswürfel“ mischt, erhält man lauwarmes Wasser. Aber wenn man „Feuer“ und einen „Schneeflocke“ mischt, erhält man eine „brennende Schneeflocke“, die es in der Realität nicht gibt.

Das Paper fügt einen Manifold Intrusion Detector hinzu. Dies ist wie ein Sicherheitsmann, der die „künstlichen“ Datenpunkte überprüft. Wenn der Wächter eine „brennende Schneeflocke“ (einen künstlichen Punkt, der die Gesetze der Physik/Logik bricht) sieht, wirft er sie raus, damit der Roboter nicht dadurch verwirrt wird.

Was geschah in den Experimenten?

Das Team testete diese neue Methode auf 58 verschiedenen realen Datensätzen (wie die Vorhersage von Hauspreisen, chemischen Konzentrationen usw.).

Das Ergebnis: Die neue Methode (VJM-GP) war viel besser darin, neue, ungesehene Daten vorherzusagen als die alten Methoden.
Der Vergleich: Sie schlug 15 andere populäre Algorithmen des maschinellen Lernens, einschließlich Standard-Genetic-Programming, Deep-Learning-Modelle und Entscheidungsbäume.
Der Kompromiss: Die neue Methode benötigt etwas mehr Zeit für das Training (wie das intensivere Lernen für einen Test), aber die Ergebnisse sind viel zuverlässiger und die fertigen Formeln sind oft einfacher und für Menschen leichter zu verstehen.

Zusammenfassung

Dieses Paper lehrt Roboter, aufzuhören auswendig zu lernen und stattdessen zu verstehen. Indem es den Lernprozess in „Genauigkeit“ und „Glätte“ aufteilt und automatisch anpasst, wie streng der Roboter je nach Unordnung der Daten ist, haben die Autoren ein System geschaffen, das bessere, zuverlässigere Modelle baut, die nicht in sich zusammenbrechen, wenn sie mit neuen Situationen konfrontiert werden.

Technisches Resümee: Verbesserung der Generalisierung in der evolutionären Merkmalskonstruktion durch Minimierung der vicinalen Jensen-Lücke

Problemstellung

Die auf Genetic Programming (GP) basierende Merkmalskonstruktion hat sich als eine leistungsstarke Technik des automatisierten maschinellen Lernens für die symbolische Regression etabliert. Eine beständige Herausforderung jedoch, welche die breitere Anwendbarkeit einschränkt, ist die Überanpassung (Overfitting). Während GP-Methoden oft eine hohe Leistung auf Trainingsdaten erzielen, generalisieren die konstruierten Merkmale häufig nicht auf ungesehene Daten. Traditionelle Ansätze zur Kontrolle von Überanpassung, wie etwa die Regulierung der Modellgröße (Parsimonie-Druck), haben sich als unzureichend erwiesen, um die Komplexität moderner evolutionärer Modelle zu charakterisieren. Zudem versagen bestehende theoretische Metriken wie die VC-Dimension oder die Rademacher-Komplexität oft dabei, die Generalisierungsleistung in Deep-Learning-inspirierten Kontexten präzise vorherzusagen. Darüber hinaus ist die direkte Anwendung der Vicinal Risk Minimization (VRM) – einer in der Deep-Learning-Welt erfolgreichen Technik zur Milderung von Überanpassung durch Datenaugmentation – auf die GP-Regression problematisch, da das Standard-VRM davon ausgeht, dass die Zielwerte unter kleinen Perturbationen stabil bleiben; eine Annahme, die bei Regressionsaufgaben, in denen die Zielwerte kontinuierlich sind, oft nicht zutrifft.

Methodik

Das Paper schlägt ein Framework vor, um die Generalisierung zu verbessern, indem der vicinale Risiko-Term (Vicinal Risk) in eine empirische Verlustkomponente und einen Regularisierungsterm zerlegt wird. Diese Zerlegung ermöglicht die unabhängige Optimierung von Trainingsgenauigkeit und Modellglattheit.

1. Theoretische Zerlegung des vicinalen Risikos

Die Autoren beweisen, dass das vicinale Risiko durch die Summe aus dem empirischen Risiko und einem Regularisierungsterm begrenzt ist, wobei die Abhängigkeit von der Datenaugmentationsstrategie besteht:

Rausch-Perturbation: Wenn vicinale Beispiele mittels Rausch-Perturbation (z. B. Gaußsches Rauschen) synthetisiert werden, ist der Regularisierungsterm eine Finite Differenz. Dieser bestraft schnelle Änderungen im Output der Funktion als Reaktion auf kleine Variationen der Inputs.
Mixup-Augmentation: Wenn vicinale Beispiele mittels der Mixup-Methode (lineare Interpolation von Inputs und Labels) synthetisiert werden, ist der Regularisierungsterm die vicinale Jensen-Lücke. Dieser Term, definiert als $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$ , bestraft Konvexität und Konkavität und fördert somit lokale Linearität zwischen benachbarten Datenpunkten.

Die Autoren argumentieren, dass die Zerlegung des Risikos der Optimierung des rohen vicinalen Risikos überlegen ist, da sie Folgendes ermöglicht:

Flexible Abwägung (Trade-offs): Feingranulare Kontrolle über das Gleichgewicht zwischen empirischem Verlust und Glattheit.
Genaue Fehlerschätzung: Sicherstellung, dass der empirische Verlust präzise auf den Originaldaten berechnet wird, anstatt mit verrauschten, augmentierten Stichproben konfundiert zu werden.
Integration des Validierungsverlusts: Ermöglichung der Verwendung des Kreuzvalidierungs-Verlusts (anstatt nur des empirischen Verlusts) als primäre Genauigkeitsmetrik.

2. Der vorgeschlagene Algorithmus (VJM-GP)

Die Autoren führen Vicinal Jensen Gap Minimization-based GP (VJM-GP) ein, ein evolutionäres Merkmalskonstruktions-Framework, das gleichzeitig optimiert:

Empirischen Verlust: Gemessen mittels Leave-One-Out Cross-Validation (LOOCV), um Robustheit zu gewährleisten.
Regularisierungsterm: Die vicinale Jensen-Lücke (oder die Finite Differenz).

Kernkomponenten des Algorithmus sind:

Multi-Objective Optimization: Verwendet Non-Dominated Sorting mit Crowding Distance, um eine Pareto-Front von Lösungen zu entwickeln, die den Kreuzvalidierungs-Verlust und den Regularisierungsterm abwägt.
Rausch-Schätzstrategie: Da Datensätze variierende Rauschpegel aufweisen, schlagen die Autoren eine dynamische Strategie vor, um das Gewicht der Regularisierung ( $\tau$ ) anzupassen. Sie nutzen den $R^2$ -Score von Extremely Randomized Trees (Extra Trees) auf dem Datensatz, um das Rauschen zu schätzen; höhere Rauschpegel lösen ein stärkeres Regularisierungsgewicht aus, um das Anpassen an Rauschen zu verhindern.
Manifold Intrusion Detection: Um das Problem zu adressieren, dass Mixup-generierte Stichproben außerhalb der wahren Daten-Mannigfaltigkeit liegen können (was unrealistische Samples erzeugt), schlagen die Autoren einen Detektionsmechanismus vor. Wenn der Label einer synthetisierten Stichprobe (vorhergesagt durch ein auf den Originaldaten trainiertes Extra-Trees-Modell) signifikant von der linearen Interpolation ihrer Eltern abweicht, wird die Stichprobe verworfen. Dies verhindert, dass die Minimierung der Jensen-Lücke effektive Modelle in hochgradig nicht-linearen Regionen übermäßig bestraft.

Zentrale Beiträge

Theoretische Zerlegung: Das Paper leitet obere Schranken her, die zeigen, dass perturbationsbasierte VRM in empirisches Risiko und Finite Differenz zerfällt, während Mixup-basierte VRM in empirisches Risiko und die vicinale Jensen-Lücke zerfällt.
Regularisiertes GP-Framework: Ein neuartiges GP-Framework (VJM-GP) wird vorgeschlagen, das den Kreuzvalidierungs-Verlust und die vicinale Jensen-Lücke simultan optimiert und somit eine effektivere Kontrolle über Überanpassung bietet als traditionelle Komplexitätsmaße.
Adaptive Regularisierung: Eine Strategie zur Rauschschätzung wird eingeführt, um die Stärke der Regularisierung dynamisch an die Charakteristika des Datensatzes anzupassen, wodurch eine übermäßige Bestrafung in Szenarien mit geringem Rauschen vermieden wird.
Mitigation von Manifold Intrusion: Eine Detektionsstrategie wird vorgeschlagen, um unrealistische augmentierte Stichproben zu filtern und sicherzustellen, dass der Regularisierungsterm die wahre Geometrie der Daten-Mannigfaltigkeit widerspiegelt.

Experimentelle Ergebnisse

Die vorgeschlagene Methode wurde auf 58 realen Regressions-Datensätzen aus dem Penn Machine Learning Benchmark (PMLB) evaluiert.

Vergleich der Regularisierer: Die vicinale Jensen-Lücke erwies sich als effektiverer Regularisierer als die Finite Differenz und übertraf diese auf 15 Datensätzen, während sie auf lediglich 5 Datensätzen unterlag.
Vergleich mit Komplexitätsmaßen: VJM-GP übertraf das Standard-GP und sieben andere Methoden zur Komplexitätskontrolle (einschließlich Parsimony Pressure, Tikhonov-Regularisierung, Rademacher-Komplexität und P-VRM) signifikant hinsichtlich der Test- $R^2$ -Scores. Es erreichte eine überlegene Generalisierung auf 36 Datensätzen im Vergleich zum Standard-GP.
Vergleich mit Baselines: VJM-GP wurde gegen 15 State-of-the-Art Symbolic Regression und Machine Learning Algorithmen (einschließlich XGBoost und ExcelFormer) getestet. Es erzielte kompetitive oder überlegene Leistungen, insbesondere in Szenarien mit begrenzten Stichprobengrößen, während es deutlich kleinere Modellgrößen als Gradient Boosting Methoden beibehielt.
Ablationsstudien:
- Manifold Intrusion Detection: Das Entfernen dieser Strategie führte auf 6 Datensätzen zu einer geringeren Testleistung, was deren Notwendigkeit bestätigt.
- Rauschschätzung: Die adaptive Gewichtungsstrategie verbesserte die Leistung auf 12 Datensätzen signifikant gegenüber einem festen Gewicht, was die Notwendigkeit einer dynamischen Regularisierung validiert.
Label-Rauschen: In Experimenten mit verrauschten Labels zeigte VJM-GP eine überlegene Robustheit gegenüber Standard-GP und P-VRM.

Bedeutung und Behauptungen

Das Paper behauptet, dass die vorgeschlagene Zerlegung des vicinalen Risikos ein tieferes theoretisches Verständnis von Überanpassung in der evolutionären Merkmalskonstruktion ermöglicht. Durch die Trennung des empirischen Verlusts vom Regularisierungsterm erlaubt die Methode eine nuanciertere Kontrolle der Modellkomplexität, die sich auf die funktionale Komplexität (Glattheit und Linearität) statt nur auf die syntaktische Komplexität (Baumgröße) konzentriert.

Die Autoren behaupten, dass ihr Ansatz es GP ermöglicht, Spitzenleistungen in Aufgaben der symbolischen Regression zu erzielen, insbesondere wenn Daten knapp oder verrauscht sind. Sie betonen, dass eine effektive Überanpassungskontrolle erfordert, die Balance zwischen Genauigkeit und Glattheit zu halten, und dass die bloße Minimierung der Modellgröße unzureichend ist. Die Arbeit legt nahe, dass das vorgeschlagene Framework in andere evolutionäre Algorithmen integriert werden kann und potenziell auch auf Deep-Learning-basierte Methoden der symbolischen Regression adaptiert werden kann.