On the Limits of Interpretable Machine Learning in Quintic Root Classification

Die Studie zeigt, dass maschinelles Lernen zwar hohe Vorhersagegenauigkeit bei der Klassifizierung quintischer Polynomwurzeln erreicht, jedoch keine diskreten, mathematisch interpretierbaren Regeln autonom aus rohen Daten ableitet, sondern vielmehr geometrische Approximationen lernt, wobei Interpretierbarkeit eine explizite strukturelle Induktionsverzerrung erfordert.

Das Wesentliche

Das große Rätsel: Kann ein Computer die Sprache der Mathematik selbst erfinden?

Stellen Sie sich vor, Sie haben einen sehr cleveren Schüler (den Künstlichen Intelligenz-Algorithmus) und geben ihm einen Stapel Zettel mit Zahlen darauf. Diese Zahlen sind die Koeffizienten einer mathematischen Gleichung fünften Grades (eine sogenannte quintische Gleichung).

Die Aufgabe des Schülers ist einfach: Er soll nur anhand dieser Zahlen erraten, wie viele echte Lösungen (Wurzeln) diese Gleichung hat. Ist es eine, drei oder fünf?

Das Problem ist: In der Mathematik gibt es für solche Gleichungen keine einfache „Rezept-Formel" (wie bei einfachen quadratischen Gleichungen), die man einfach in den Kopf schreiben kann. Das ist wie ein verschlossenes Safe, für das niemand den Code kennt. Die Forscher wollten herausfinden: Kann der Computer den Code selbst knacken und uns dann in menschlicher Sprache erklären, wie er darauf gekommen ist?

Der Versuch: Der „Blackbox"-Künstler vs. der „Klarsicht"-Detektiv

Die Forscher haben zwei Arten von Schülern getestet:

1. Der „Blackbox"-Künstler (Neuronale Netze): Dieser Schüler ist ein Genie beim Raten. Er sieht die Zahlen, macht sich ein riesiges, komplexes Bild im Kopf und sagt fast immer richtig: „Ah, das sind 3 Wurzeln!" Er ist extrem gut darin, Muster zu erkennen, aber sein Gehirn ist wie ein undurchsichtiger Nebel. Man sieht nicht, warum er so denkt.
2. Der „Klarsicht"-Detektiv (Entscheidungsbäume): Dieser Schüler ist sehr ehrlich. Er denkt in klaren „Wenn-Dann"-Regeln. Aber er ist nicht so gut im Raten. Wenn man ihm nur die rohen Zahlen gibt, rät er oft falsch. Er braucht Hilfe, um die richtigen Hinweise zu finden.

Was ist passiert?

1. Der Künstler gewinnt (aber er schweigt)
Der „Blackbox"-Künstler hat es tatsächlich geschafft, mit einer Genauigkeit von über 84 % zu raten, nur basierend auf den rohen Zahlen. Er hat also gelernt, wie die Welt der Gleichungen aussieht. Aber wenn man ihn fragte: „Wie hast du das gemacht?", sagte er nichts. Er hatte keine Regel gelernt, die man aufschreiben konnte. Er hatte nur ein Gefühl für die Zahlen entwickelt.

2. Der Detektiv scheitert (ohne Hilfe)
Der „Klarsicht"-Detektiv kam mit den rohen Zahlen auf nur ca. 60 % richtig. Er war völlig überfordert. Er konnte die komplexen Muster nicht selbst finden.

3. Der entscheidende Trick: Der menschliche Helfer
Dann haben die Forscher dem Detektiv einen einzigen, sehr wichtigen Hinweis gegeben: Sie zeigten ihm, wie oft die Kurve der Gleichung an bestimmten Stellen das Vorzeichen wechselt (ein mathematisches Konzept namens „Crit8").
Plötzlich! Der Detektiv schaffte es, genauso gut zu raten wie der Künstler (84 %). Und das Beste: Er konnte nun seine Regel laut aussprechen:
„Wenn die Vorzeichen 0-mal wechseln, ist es 1 Wurzel. Wenn sie 1-mal wechseln, sind es 3 Wurzeln..."

Das Ergebnis: Der Detektiv hat die Regel gefunden, aber nur, weil der Mensch ihm den Schlüssel (den Hinweis) gegeben hat. Der Künstler (Neuronales Netz) hatte die Regel zwar implizit in seinem Kopf, aber er konnte sie nicht explizit herausgeben.

Die große Erkenntnis: Eine Landkarte vs. ein Kompass

Die Forscher haben noch einen weiteren Test gemacht, um zu sehen, wie die Schüler auf unbekannte Situationen reagieren (z. B. wenn die Zahlen viel größer oder verrauscht sind).

• Der Detektiv (mit dem menschlichen Hinweis) benutzte einen perfekten Kompass. Er wusste die mathematische Regel. Egal wie groß die Zahlen wurden, er blieb immer stabil und richtig. Er verstand die Gesetze der Mathematik.
• Der Künstler (ohne Hilfe) benutzte eine Landkarte, die er nur aus dem Gedächtnis gezeichnet hatte. Wenn die Zahlen in Bereiche gingen, die er nie gesehen hatte, verirrte er sich. Er hatte keine Regel gelernt, sondern nur eine grobe Schätzung (eine geometrische Annäherung) basierend auf den Daten, die er gesehen hatte.

Das Fazit in einem Satz

Künstliche Intelligenz kann heute sehr gut vorhersagen, was in komplexen mathematischen Welten passiert, aber sie kann diese Vorhersagen nicht selbstständig in verständliche, menschliche Regeln übersetzen.

Es ist so, als würde ein Genie-Schüler eine Lösung auf einem Blatt Papier hinschreiben, das nur er lesen kann. Um die Lösung für uns lesbar zu machen, müssen wir ihm (dem Computer) erst die richtige Sprache beibringen (durch „Feature Engineering"). Die KI kann die Muster sehen, aber sie kann sie noch nicht autonom in die Sprache der Mathematik übersetzen.

Kurz gesagt: Wir müssen den Computern noch helfen, ihre eigenen genialen Ideen in Worte zu fassen. Die autonome Entdeckung von verständlichen mathematischen Gesetzen ist noch nicht geschafft.

Technische Zusammenfassung

1. Problemstellung und Zielsetzung

Die Arbeit untersucht eine fundamentale Frage im Bereich des maschinellen Lernens (ML): Können ML-Modelle autonome, interpretierbare mathematische Strukturen aus rohen numerischen Daten rekonstruieren?

Als Testumgebung dient die Klassifizierung der Realwurzel-Konfigurationen von Polynomen bis zum Grad fünf.

• Hintergrund: Für Polynome bis Grad vier existieren algebraische Diskriminanten, die die Anzahl der reellen Wurzeln exakt bestimmen. Für Polynome fünften Grades (Quintiken) gilt jedoch der Satz von Abel-Ruffini, der besagt, dass keine allgemeine symbolische Lösung in Radikalen existiert.
• Hypothese: Die Autoren wollten testen, ob ML-Modelle in der Lage sind, ohne menschliche Eingriffe oder symbolische Vorwissen die zugrundeliegenden mathematischen Invarianten zu entdecken, die die Wurzelstruktur bestimmen, und diese in explizite, menschlich lesbare Regeln zu übersetzen.

2. Methodik

Die Studie verglich eine breite Palette von ML-Modellen, darunter Entscheidungsbäume, logistische Regression, Support Vector Machines (SVM), Random Forests, Gradient Boosting, XGBoost, neuronale Netze (NN) und symbolische Regression (PySR).

Datensatz und Setup:

• Es wurden 40.000 Quintik-Polynome generiert, wobei die Koeffizienten uniform aus dem Intervall $[-10, 10]$ gezogen wurden.
• Die Zielklassen waren: 5 reelle Wurzeln, 3 reelle Wurzeln und 1 reelle Wurzel.
• Die Bewertung erfolgte mittels 5-fach geschichteter Kreuzvalidierung über 20 unabhängige Seeds.

Feature-Engineering und Validierung:
Um die Leistungsfähigkeit der Modelle zu isolieren, wurden zwei Ansätze verfolgt:

1. Rohdaten: Modelle wurden nur mit den rohen Polynomkoeffizienten gefüttert.
2. Erweiterte Features: Es wurden 63 mathematisch abgeleitete Merkmale eingeführt, basierend auf klassischen analytischen Methoden:
   • Sturm-Folgen (Vorzeichenwechsel zur Wurzelzählung).
   • Descartes' Vorzeichenregel.
   • Newtonsche Summen.
   • Kritische Punkte (Wurzeln der Ableitung $p'(x)$).
   • Hybride symbolische Invarianten (Tschirnhaus-Invarianten).
   • Ein spezifisches Merkmal namens Crit8 (Anzahl der Vorzeichenwechsel in der Folge der Funktionswerte an den kritischen Punkten) wurde als Schlüsselmerkmal identifiziert.

Wissensdistillation:
Um die „Black-Box"-Entscheidungen der neuronalen Netze zu interpretieren, wurde ein Distillationsverfahren angewendet. Ein trainiertes neuronales Netz diente als Lehrer, um einen interpretierbaren Entscheidungsbaum (Schüler) zu trainieren, der die Vorhersagen des NNs nachahmen sollte.

3. Wichtige Ergebnisse

A. Leistung auf niedrigen Graden (Validierung):
Für Polynome 2., 3. und 4. Grades konnten interpretierbare Modelle (insbesondere Entscheidungsbäume) mit den richtigen Features (z. B. Diskriminante $\Delta$) eine perfekte Klassifizierung (100 %) erreichen. Dies bestätigte, dass die Methodik grundsätzlich in der Lage ist, bekannte mathematische Regeln zu extrahieren.

B. Leistung auf Quintiken (Grad 5) mit Rohdaten:

• Neuronale Netze: Erreichten eine hohe Vorhersagegenauigkeit von 84,3 % (balanced accuracy) allein mit den rohen Koeffizienten.
• Entscheidungsbäume: Schafften nur 59,9 %. Dies zeigt eine signifikante Lücke zwischen der Fähigkeit, Muster zu lernen (NN), und der Fähigkeit, diese Muster ohne Feature-Engineering zu finden (Entscheidungsbäume).
• Symbolische Regression: Scheiterte weitgehend daran, einfache symbolische Regeln für Grad 5 zu finden (nur ~53,5 % Genauigkeit), was auf eine „Komplexitätsklippe" hindeutet.

C. Der Einfluss des Merkmals „Crit8":
Als das Merkmal Crit8 (Vorzeichenwechsel an kritischen Punkten) explizit hinzugefügt wurde:

• Steigerte sich die Leistung der Entscheidungsbäume drastisch auf 84,2 % (nahezu gleich mit NN).
• Die neuronalen Netze verbesserten sich nur moderat (+5,6 Punkte).
• Wichtigste Erkenntnis: Die SHAP-Analyse zeigte, dass Crit8 allein 97,5 % der Entscheidungsstruktur des distillierten Baumes ausmacht. Die daraus abgeleitete Regel ist mathematisch exakt und interpretierbar:
  • $Crit8 \le 0,5 \rightarrow 1$ reelle Wurzel.
  • $0,5 < Crit8 \le 1,5 \rightarrow 3$ reelle Wurzeln.
  • $Crit8 > 1,5 \rightarrow 5$ reelle Wurzeln.

D. Robustheits- und Generalisierungstests:

• Out-of-Distribution (OOD): Während Entscheidungsbäume mit algebraischen Invarianten bei Skalierung der Koeffizienten (z. B. Faktor 10) perfekt stabil blieben, brach die Genauigkeit der neuronalen Netze ein. Dies beweist, dass NNs keine skalierungsinvarianten symbolischen Regeln gelernt haben, sondern kontinuierliche, datenabhängige geometrische Approximationen der Entscheidungsgrenze innerhalb des Trainingsraums.
• Dateneffizienz: Invariante Modelle benötigten nur wenige Dutzend Beispiele für perfekte Ergebnisse, während NNs Tausende benötigten.
• Rauschen: Beide Modelle scheiterten ähnlich stark bei starkem Rauschen, da Rauschen die mathematische Struktur der Wurzeln selbst verändert.

4. Hauptbeiträge und Schlussfolgerungen

1. Fehlende autonome Entdeckung: Trotz hoher Vorhersagegenauigkeit konnten die getesteten ML-Modelle keine diskreten, menschlich interpretierbaren mathematischen Regeln autonom aus rohen Daten ableiten.
2. Geometrie vs. Symbolik: Neuronale Netze lernen eine geometrische Approximation der Entscheidungsgrenze, die innerhalb des Trainingsbereichs gut funktioniert, aber nicht als symbolische Invariante extrahiert werden kann.
3. Notwendigkeit von Induktionsbias: Um interpretierbare Regeln zu erhalten, ist explizites menschliches Feature-Engineering (wie die Einführung von Crit8) unerlässlich. Die Modelle können die mathematische Struktur nicht selbst „erfinden".
4. Wissensdistillation als Werkzeug: Distillation kann erfolgreich genutzt werden, um die Logik eines NNs in eine Regel zu übersetzen, aber nur wenn die relevanten Merkmale bereits im Datensatz vorhanden sind.

5. Signifikanz

Die Studie liefert einen wichtigen Realitätscheck für das Feld des „Automated Discovery" in der Mathematik. Sie zeigt, dass hohe Vorhersagegenauigkeit nicht automatisch mit Interpretierbarkeit oder dem Verständnis mathematischer Gesetze gleichzusetzen ist. In strukturierten mathematischen Domänen reicht rein datengetriebenes Lernen nicht aus, um symbolische Invarianten zu entdecken; hier ist ein expliziter struktureller induktiver Bias (durch menschliches Wissen oder spezielle Architekturen) notwendig. Dies unterstreicht die Grenzen aktueller ML-Ansätze bei der autonomen mathematischen Entdeckung.