🤖 machine learning

K-Inverse-RFM: A Modified RFM that Bridges the Gap to Neural Networks for Data-Corrupted Mathematical Tasks

Dieses Paper führt K-Inverse-RFM ein, eine modifizierte Recursive Feature Machine, die eine neuartige Label-Transformation verwendet, um Leistungsbeschränkungen bei datenkorrumpierten mathematischen Aufgaben zu überwinden und es ihr ermöglicht, Feedforward Neural Networks zu entsprechen oder diese sogar zu übertreffen.

Ursprüngliche Autoren: Gil Pasternak

Veröffentlicht 2026-07-02

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gil Pasternak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Zwei Wege, Mathematik zu lernen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, mathematische Probleme zu lösen, speziell Dinge wie modulare Arithmetik (denken Sie an eine Uhr, bei der Zahlen sich im Kreis drehen, wie 14 Uhr, was 2 Uhr entspricht).

Es gibt zwei Haupt-„Schüler“ in dieser Geschichte:

Das Neuronale Netz (Der intuitive Künstler): Dies ist die moderne, leistungsstarke KI, über die alle sprechen. Sie lernt, indem sie Millionen winziger interner Regler anpasst. Sie ist großartig darin, Muster zu erkennen, selbst wenn die Daten unordentlich, verrauscht oder unausgewogen sind.
Das RFM (Der Regelbefolger): Dies ist ein neueres, einfacheres Modell namens Recursive Feature Machine. Es versucht, das Neuronale Netz nachzuahmen, nutzt aber einen anderen, eher mathematischen Ansatz. Es ist wie ein Schüler, der versucht zu lernen, indem er nach dem „durchschnittlichen Gefälle“ der Daten sucht, um herauszufinden, was wichtig ist.

Das Problem: In perfekten, sauberen Matheaufgaben bekommen beide Schüler eine Eins. Aber sobald man reale Unordnung einführt – wie Rauschen (falsche Antworten im Lehrbuch), Ungleichgewicht (zu viele Beispiele einer Art und zu wenige von einer anderen) oder komische Kodierung (Zahlen in einem Geheimcode aufgeschrieben) – beginnt der Regelbefolger (RFM) kläglich zu scheitern. Der intuitive Künstler (das Neuronale Netz) hingegen erzielt weiterhin gute Leistungen.

Der Autor dieser Arbeit stellte die Frage: Warum hat der Regelbefolger Schwierigkeiten mit unordentlichen Daten, und können wir das beheben, ohne ihn in ein komplexes Neuronales Netz zu verwandeln?

Die Untersuchung: Warum ist der Regelbefolger gescheitert?

Der Autor führte drei Hauptexperimente durch, um zu sehen, wo das RFM zusammenbrach:

1. Der „Verrauschte Lehrbuch“-Test (Label Noise / Label-Rauschen)

Das Szenario: Stellen Sie sich ein Lehrbuch vor, in dem 30 % der Antworten zufällig falsch sind.
Das Ergebnis: Das Neuronale Netz ignorierte die falschen Antworten und lernte das richtige Muster. Das RFM wurde durch das Rauschen verwirrt und seine Leistung brach ein.
Die Entdeckung: Der Autor fand heraus, dass das RFM nicht deshalb scheiterte, weil es die Antwort nicht vorhersagen konnte, sondern weil es nicht die richtigen Merkmale (die richtige Art, die Daten zu betrachten) lernen konnte, wenn die Daten verrauscht waren. Es war wie ein Schüler, der versucht, Algebra zu lernen, aber durch Kritzeleien auf der Seite abgelenkt wird.

2. Der „Ungleichgewicht der Klassen“-Test (Imbalanced Data / Ungleichgewicht)

Das Szenario: Stellen Sie sich einen Datensatz vor, in dem 90 % der Beispiele „Äpfel“ und nur 10 % „Orangen“ sind.
Das Ergebnis: Das Neuronale Netz lernte, beide zu erkennen. Das RFM wurde besessen von „Äpfeln“ und vergaß völlig, wie man mit „Orangen“ umgeht. Es überließ sich dem Overfitting auf die Mehrheitsgruppe.
Die Entdeckung: Das RFM hatte Schwierigkeiten, das, was es über eine Gruppe gelernt hatte, auf eine andere Gruppe zu übertragen. Es behandelte jede Klasse wie eine separate Insel.

3. Der „Geheimcode“-Test (Complex Representation / Komplexe Repräsentation)

Das Szenario: Anstatt dem Modell die Zahl „5“ zu geben, geben Sie ihm einen Code wie „5 mod 3, 5 mod 5, 5 mod 7“. Dies ist eine effizientere Art, Zahlen zu speichern (Chinesischer Restsatz), aber sie ist schwerer zu dekodieren.
Das Ergebnis: Das Neuronale Netz konnte den Code schließlich entschlüsseln. Das RFM hatte Schwierigkeiten, die Nachricht zu dekodieren und die Mathematik zu lösen.
Die Entdeckung: Das RFM konnte nicht in der Lage sein, diesen komplexen Code selbstständig in ein nützliches Merkmal zu übersetzen.

Die Lösung: Das „K-Inverse-RFM“

Der Autor erkannte, dass die Hauptschwäche des RFM darin lag, wie es die Labels (die Antworten) handhabte und wie es Merkmale lernte. Das Standard-RFM war zu starr.

Um dies zu beheben, erschuf der Autor eine neue Version namens K-Inverse-RFM. Hier ist die Analogie dazu, wie es funktioniert:

Der alte Weg (Standard-RFM): Stellen Sie sich vor, der Schüler versucht, die Lehrbuchseite Seite für Seite auswendig zu lernen. Wenn eine Seite zerrissen ist oder Tippfehler enthält, bleibt er stecken. Er behandelt jede Frage als völlig separat.
Der neue Weg (K-Inverse-RFM): Der Autor gab dem Schüler eine neue Strategie: „Schau dir die Antworten an, um die Fragen zu verstehen.“
- Anstatt nur auf den Input (die Frage) zu schauen und den Output zu erraten, projiziert das K-Inverse-RFM die Antworten zurück auf die Merkmale. Es fragt: „Wenn ich diese Antwort erhalten will, welche Kombination von Merkmalen benötige ich?“
- Es verwendet außerdem einen „gleitenden Durchschnitt“, um den Lernprozess zu glätten, damit ein einziges schlechtes Beispiel nicht die ganze Lektion ruiniert.
- Entscheidend ist, dass es dem Modell ermöglicht, Informationen zwischen verschiedenen Klassen (wie Äpfeln und Orangen) effektiver zu teilen.

Die Ergebnisse: Hat es funktioniert?

Ja, und in einigen Fällen war es sogar besser als das Neuronale Netz.

Mit verrauschten Daten: Das K-Inverse-RFM überbrückte etwa 64 % der Lücke zwischen dem alten RFM und dem Neuronalen Netz. Es wurde wesentlich robuster gegenüber falschen Antworten.
Mit ungleichgewichtigen Daten: Es wurde nicht mehr von der Mehrheitsgruppe besessen. Es lernte, seltene Beispiele viel besser zu handhaben als das alte RFM.
Mit Geheimcodes (CRT): Dies war der Überraschungssieger. In Aufgaben, bei denen die Daten im komplexen Stil des „Chinesischen Restsatzes“ kodiert waren, war das K-Inverse-RFM tatsächlich besser als das Neuronale Netz. Es lernte die Merkmale so gut, dass es das Problem schneller und genauer löste.

Die Erkenntnis zum „Geheimrezept“

Eine der interessantesten Nebenentdeckungen in der Arbeit ist, dass der erste Lernschritt eines Neuronalen Netzes eigentlich der wichtigste Teil ist.

Der Autor nahm die Merkmale, die von der ersten Schicht eines Neuronalen Netzes gelernt wurden, und speiste sie in einen einfachen Kernel (ein mathematisches Werkzeug) ein. Dieses einfache Werkzeug schnitt besser ab als das vollständige, komplexe Neuronale Netz.

Analogie: Es ist, als würde man die „ersten Entwürfe“ nehmen, die ein genialer Schüler in den ersten 10 Minuten des Unterrichts gemacht hat, und feststellen, dass diese Notizen tatsächlich besser waren als der fertige Aufsatz, den der Schüler nach 3 Stunden des Überdenkens geschrieben hat.

Zusammenfassung

Die Arbeit zeigt, dass das „RFM“ (der Regelbefolger) nicht scheiterte, weil es dumm war, sondern weil es zu starr war, wenn die Daten unordentlich wurden. Durch die Anpassung der Art und Weise, wie es Antworten zurück auf Merkmale abbildet (die K-Inverse-Methode), erschuf der Autor ein Modell, das:

Intelligenter mit unordentlichen Daten ist (Rauschen und Ungleichgewicht).
Effizienter ist (es benötigt weniger einzigartige Beispiele, um zu lernen).
Manchmal stärker ist als das komplexe Neuronale Netz, besonders wenn es mit komplexen Datenkodierungen zu tun hat.

Die Arbeit kommt zu dem Schluss, dass das K-Inverse-RFM zwar noch nicht perfekt ist, aber die Lücke signifikant schließt und beweist, dass wir nicht immer massive, komplexe Neuronale Netze brauchen, um schwierige mathematische Probleme zu lösen; manchmal funktioniert ein klügerer, einfacherer Ansatz am besten.

Technisches Resümee: K-Inverse-RFM

Problemstellung

Recursive Feature Machines (RFMs) sind eine Klasse kernbasierter Modelle, die das Average Gradient Outer Product (AGOP) nutzen, um Merkmale zu erlernen, und theoretisch die Lücke zwischen klassischen Kernel-Methoden und Feedforward Neural Networks (FNNs) schließen. Während RFMs die Fähigkeit demonstriert haben, die Dynamik neuronaler Netze zu replizieren und Spitzenleistungen bei sauberen tabellarischen Daten sowie spezifischen mathematischen Aufgaben (wie modularer Arithmetik) zu erzielen, identifiziert diese Thesis eine signifikante Leistungslücke zwischen RFMs und FNNs, wenn die Daten korrumpiert sind.

Speziell beobachtet der Autor, dass RFMs in drei distinkten Szenarien im Vergleich zu FNNs signifikant degradieren:

Label-Rauschen (Label Noise): RFMs skalieren nicht robust, wenn das Rauschen der Trainings-Labels zunimmt, während FNNs eine hohe Genauigkeit beibehalten.
Imbalancierte Daten: RFMs leiden unter Overfitting, wenn Eingangs- oder Ausgangsverteilungen verzerrt sind (z. B. durch Resampling oder systematischen Ausschluss spezifischer Datensubsets), während FNNs relativ stabil bleiben.
Komplexe Repräsentationen: Wenn Eingaben mittels komplexer Schemata wie dem Chinesischen Restsatz (CRT) kodiert werden, haben RFMs Schwierigkeiten, die Struktur zu dekodieren, und schneiden oft schlechter als FNs ab.

Die Kernhypothese lautet, dass FNNs zwar über überlegene Fähigkeiten zum Feature-Learning in diesen verrauschten oder komplexen Regimen verfügen, Standard-RFMs jedoch nicht in der Lage sind, die notwendigen Merkmalsstrukturen (speziell die für modulare Arithmetik erforderlichen block-zirkulanten Merkmale) unter diesen Bedingungen zu erlernen.

Methodik: Der K-Inverse-RFM

Um diese Einschränkungen zu adressieren, schlägt der Autor den K-Inverse-RFM vor, eine Modifikation des Standard-RFM-Frameworks. Die Methode führt drei primäre algorithmische Änderungen in die Standard-RFM-Trainingsschleife ein (die zwischen Prädiktor-Training und AGOP-basiertem Feature-Learning iteriert):

Label-Projektion (K-Inverse): Anstatt die standardmäßige Kernel-Ridge-Regressionsgleichung zu lösen, löst die Methode eine modifizierte Gleichung, bei der die Labels auf den kernelisierten Merkmalsraum projiziert werden. Speziell wird der Gewichtsvektor $\alpha$ über folgende Gleichung gelöst:
$\alpha (K(X, X; M_t) + \lambda I) = K(X, X; M_t) d y$
Hierbei ist $d$ ein Potenzparameter (typischerweise auf $-1$ gesetzt, daher „K-Inverse“). Diese Formulierung bildet die Labels auf den Raum der kernelisierten Merkmale ab, was die Outputs effektiv als Kombinationen von Datenpunkten darstellt. Dies fördert das Teilen der Multiclass-Struktur und ermöglicht es, dass aus einem Klassenzusammenhang gelernte Merkmale andere informieren, was Probleme mit Klassenimbalancen und Rauschen mildert.
Moving Average AGOP: Um Instabilitäten und große Gradientenänderungen in der AGOP-Matrix (insbesondere in hochdimensionalen Merkmalsräumen) zu adressieren, wird der Feature-Learning-Schritt ( $M_{t+1}$ ) als gleitender Durchschnitt (Moving Average) der AGOP-Matrizen über ein Fenster von $k$ Schritten neu formuliert. Dieser Durchschnitt wird mit dem Kehrwert des Trainingsverlustes ( $1/l_i$ ) gewichtet, um die Auswirkungen schlechter Updates zu reduzieren.
Ridge-Regularisierung: Die Kernel-Regression wird als Kernelized Ridge Regression mit einem hohen Ridge-Term ( $\lambda$ ) formuliert, um die Update-Größen zu beschränken und die Trainingsstabilität zu gewährleisten.

Der Potenzparameter $d$ wird als Hyperparameter behandelt; während $d=-1$ für Standardfälle verwendet wird, stellt der Autor fest, dass für dichtere Merkmalsräume (wie CRT-Kodierungen) kleinere oder positive Potenzen (z. B. $d=0,4$ oder $0,6$) die Leistung und Stabilität verbessern können.

Zentrale Beiträge

Empirische Untersuchung der RFM-Limitierungen: Die Thesis liefert eine umfassende Analyse der Punkte, an denen RFMs von FNNs divergieren, wobei sie Label-Rauschen, Datenimbalance und komplexe Eingangsrepräsentationen als primäre Ursachen für die Leistungslücken in mathematischen Aufgaben isoliert.
Diagnose des Feature-Learnings: Durch Experimente mit Laplace-Kerneln, die auf FNN-First-Layer-Features trainiert wurden, zeigt der Autor, dass die Leistungslücke in verrauschten und imbalancierten Settings primär auf die Unfähigkeit des RFM zurückzuführen ist, robuste Merkmale (den AGOP-Mechanismus) zu lernen, und nicht auf den prädiktiven Kopf (Kernel-Regression).
Der K-Inverse-RFM-Algorithmus: Die Einführung eines modifizierten RFM, der eine Label-Projektion und eine stabilisierte Feature-Averaging integriert. Diese Methode schließt erfolgreich die Leistungslücke zwischen RFMs und FNNs in korrumpierten Datenszenarien.
Analyse der Stichproben-Effizienz (Sample Efficiency): Die Arbeit zeigt auf, dass die RFM-Leistung fast linear mit der Anzahl der einzigartigen Trainingspunkte skaliert, statt mit der Gesamtzahl der Samples. Der K-Inverse-RFM weist eine überlegene Sample-Effizienz auf, da er pro einzigartigem Sample höhere Leistungszuwächse erzielt, dank seiner Fähigkeit, Informationen über Klassen hinweg zu teilen.

Ergebnisse

Der K-Inverse-RFM wurde gegen Standard-RFMs und FNNs über modulare Additions-, Multiplikations-, Subtraktions-, Divisions- und GCD-Aufgaben unter verschiedenen Datenbedingungen evaluiert:

Label-Rauschen: Der K-Inverse-RFM schließt durchschnittlich 64 % der Leistungslücke zwischen Standard-RFMs und FNNs. Er schneidet signifikant besser ab als Standard-RFMs (bis zu 39,3 % höhere Testgenauigkeit) und bleibt bis zu einem Label-Rauschen von 14 % vergleichbar mit FNNs.
Imbalancierte Daten: In Szenarien mit verzerrten Eingangs-Gewichtungen (z. B. durch „durch 3 teilbare“ Paare) zeigt der K-Inverse-RFM eine Verbesserung der Testgenauigkeit um 53 % gegenüber Standard-RFMs. Die Ergebnisse deuten darauf hin, dass der K-Inverse-RFM weniger sensitiv gegenüber Ungleichgewichten in der Datenverteilung ist und stärker von der reinen Anzahl der einzigartigen Samples abhängt.
Systematischer Ausschluss: Der K-Inverse-RFM übertrifft Standard-RFMs in allen getesteten Ausschluss-Typen (z. B. Ausschluss von Operanden $>50$ oder $<10$ ).
Komplexe Repräsentationen (CRT): In Aufgaben, die den Chinesischen Restsatz (CRT) zur Kodierung nutzen, schließt der K-Inverse-RFM nicht nur die Lücke zu FNNs, sondern übertrifft in 5 von 6 Kodierungs-Aufgabenpaaren sowohl den Standard-RFM als auch das neuronale Netz. Dies deutet darauf hin, dass Kernel-basierte Modelle mit dem korrekten Feature-Learning-Mechanismus spezifische strukturierte Aufgaben besser lösen können als Deep Networks.

Bedeutung und Ansprüche

Das Paper behauptet, dass der K-Inverse-RFM einen bedeutenden Schritt zur Vereinigung der Effizienz von Kernel-Methoden mit der Robustheit von neuronalen Netzen darstellt. Durch die Modifikation des RFM zur besseren Handhabung von Multiclass-Feature-Learning und zur Stabilisierung der AGOP-Updates erreicht das Modell:

Robustheit: Es arbeitet zuverlässig auf verrauschten, imbalancierten und komplex repräsentierten Daten, bei denen Standard-RFMs versagen.
Effizienz: Es behält die Recheneffizienz von RFMs bei und kann auf einer CPU trainiert werden, im Gegensatz zum GPU-intensiven Training tiefer FNNs.
Überlegenheit in spezifischen Regimen: In bestimmten strukturierten Aufgaben (speziell CRT-kodierte modulare Arithmetik) kann der K-Inverse-RFM tiefe neuronale Netze übertreffen, was darauf hindeutet, dass die „Lücke“ zwischen Kernel-Methoden und neuronalen Netzen nicht inhärent ist, sondern das Resultat suboptimaler Feature-Learning-Mechanismen in Ersteren.

Der Autor schließt bescheiden, dass der K-Inverse-RFM die Lücke zwar signifikant verringert, sie aber in allen Szenarien nicht vollständig eliminiert. Zukünftige Arbeiten sollen untersuchen, wie diese Erkenntnisse auf nicht-mathematische Domänen (NLP, Computer Vision) übertragen werden können und das Verhalten von Transformern analysieren, da sich die aktuelle Studie auf Feedforward Neural Networks beschränkt.