🤖 machine learning

K-Inverse-RFM: A Modified RFM that Bridges the Gap to Neural Networks for Data-Corrupted Mathematical Tasks

Dit artikel introduceert K-Inverse-RFM, een aangepaste Recursive Feature Machine die een nieuwe labeltransformatie gebruikt om de prestatiebeperkingen in door data gecorrumpeerde wiskundige taken te overwinnen, waardoor het Feedforward Neural Networks kan evenaren of zelfs overtreffen.

Oorspronkelijke auteurs: Gil Pasternak

Gepubliceerd 2026-07-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gil Pasternak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Twee Manieren om Wiskunde te Leren

Stel je voor dat je een computer probeert te leren om wiskundige problemen op te lossen, specifiek zaken zoals modulo-rekenen (denk aan een klok waarbij getallen ronddraaien, zoals 14 uur die eigenlijk 2 uur is).

Er zijn twee belangrijke "studenten" in dit verhaal:

Het Neuraal Netwerk (De Intuïtieve Kunstenaar): Dit is de moderne, krachtige AI waar iedereen het over heeft. Het leert door miljoenen kleine interne knoppen aan te passen. Het is geweldig in het ontdekken van patronen, zelfs wanneer de data rommelig, ruizig of uit balans is.
De RFM (De Regelvolger): Dit is een nieuwer, simpeler model genaamd een Recursive Feature Machine. Het probeert het Neurale Netwerk na te bootsen, maar gebruikt een andere, meer wiskundige aanpak. Het is als een student die probeert te leren door naar de "gemiddelde helling" van de data te kijken om te ontdekken wat belangrijk is.

Het Probleem: In perfecte, schone wiskundige problemen halen beide studenten een A+. Maar zodra je echte wereldse rommel introduceert—zoals ruis (foute antwoorden in het tekstboek), imbalans (te veel voorbeelden van één type en te weinig van een ander) of vreemde codering (getallen opschrijven in een geheime code)—begint de Regelvolger (RFM) hopeloos te falen. De Intuïtieve Kunstenaar (Neuraal Netwerk) blijft goed presteren.

De auteur van dit paper vroeg zich af: Waarom heeft de Regelvolger moeite met rommelige data, en kunnen we dat oplossen zonder er een complex Neuraal Netwerk van te maken?

Het Onderzoek: Waarom Faalde de Regelvolger?

De auteur voerde drie hoofdexperimenten uit om te zien waar de RFM de mist in ging:

1. De "Ruis in het Tekstboek" Test (Label Ruis)

Het Scenario: Stel je een tekstboek voor waarin 30% van de antwoorden willekeurig fout is.
Het Resultaat: Het Neurale Netwerk negeerde de foute antwoorden en leerde het juiste patroon. De RFM raakte in de war door de ruis en de prestaties stortten in.
De Ontdekking: De auteur ontdekte dat de RFM niet faalde omdat hij het antwoord niet kon voorspellen; hij faalde omdat hij niet de juiste kenmerken (de juiste manier om naar de data te kijken) kon leren wanneer de data ruis bevat. Het was als een student die probeerde algebra te leren, maar werd afgeleid door krabbels op de pagina.

2. De "Ongebalanceerde Klasse" Test (Imbalante Data)

Het Scenario: Stel je een dataset voor waarbij 90% van de voorbeelden "Appels" zijn en slechts 10% "Oranjes".
Het Resultaat: Het Neurale Netwerk leerde beide te herkennen. De RFM raakte geobsedeerd door "Appels" en vergat volledig hoe hij met "Oranjes" moest omgaan. Hij overfitte op de meerderheidsgroep.
De Ontdekking: De RFM had moeite om te delen wat hij over de ene groep leerde met de andere groep. Hij behandelde elke klasse als een apart eiland.

3. De "Geheime Code" Test (Complexe Representatie)

Het Scenario: In plaats van het model het getal "5" te geven, geef je het een code zoals "5 mod 3, 5 mod 5, 5 mod 7". Dit is een efficiëntere manier om getallen op te slaan (Chinese Reststelling), maar het is moeilijker te decoderen.
Het Resultaat: Het Neurale Netwerk ontcijferde de code uiteindelijk wel. De RFM worstelde met het decoderen van de boodschap en het oplossen van de wiskunde.
De Ontdekking: De RFM kon niet zelfstandig uitzoeken hoe hij deze complexe code naar een bruikbaar kenmerk kon vertalen.

De Oplossing: De "K-Inverse-RFM"

De auteur realiseerde zich dat de belangrijkste zwakte van de RFM de manier waarop hij de labels (de antwoorden) en kenmerken verwerkte, was. De standaard RFM was te rigide.

Om dit op te lossen, creëerde de auteur een nieuwe versie genaamd de K-Inverse-RFM. Hier is de analogie voor hoe het werkt:

De Oude Manier (Standaard RFM): Stel je voor dat de student probeert de tekstboekpagina's pagina voor pagina uit het hoofd te leren. Als een pagina gescheurd is of typefouten bevat, loopt de student vast. Hij behandelt elke vraag als volkomen afzonderlijk.
De Nieuwe Manier (K-Inverse-RFM): De auteur gaf de student een nieuwe strategie: "Kijk naar de antwoorden om de vragen te begrijpen."
- In plaats van alleen naar de input (de vraag) te kijken en het output te raden, projecteert de K-Inverse-RFM de antwoorden terug op de kenmerken. Het vraat: "Als ik dit antwoord wil krijgen, welke combinatie van kenmerken heb ik dan nodig?"
- Het gebruikt ook een "voortschrijdend gemiddelde" om het leerproces te verzachten, zodat één slecht voorbeeld niet de hele les verpest.
- Cruciaal is dat het het model mogelijk maakt om informatie tussen verschillende klassen (zoals Appels en Oranjes) effectiever te delen.

De Resultaten: Werkte het?

Ja, en in sommige gevallen was het zelfs beter dan het Neurale Netwerk.

Met Ruisige Data: De K-Inverse-RFM overbrugde ongeveer 64% van de kloof tussen de oude RFM en het Neurale Netwerk. Het werd veel robuuster tegen foute antwoorden.
Met Imbalante Data: Het raakte niet langer geobsedeerd door de meerderheidsgroep. Het leerde veel beter om te gaan met zeldzame voorbeelden dan de oude RFM.
Met Geheime Codes (CRT): Dit was de verrassende winnaar. In taken waarbij de data was gecodeerd in de complexe "Chinese Reststelling"-stijl, was de K-Inverse-RFM zelfs beter dan het Neurale Netwerk. Het leerde de kenmerken zo goed dat het de problemen sneller en nauwkeuriger oploste.

De "Geheime Saus" Ontdekking

Een van de meest interessante zijdelingse ontdekkingen in het paper is dat de eerste laag van het leren bij een Neuraal Netwerk eigenlijk het belangrijkste deel is.

De auteur nam de kenmerken die door de eerste laag van een Neuraal Netwerk waren geleerd en voedde deze aan een eenvoudige kernel (een wiskundig hulpmiddel). Dit eenvoudige hulpmiddel presteerde beter dan het volledige, complexe Neurale Netwerk.

Analogie: Het is also als het nemen van de "ruwe concept"-notities die een briljante student maakte in de eerste 10 minuten van de les, en beseffen dat die notities eigenlijk beter waren dan het definitieve essay dat de student schreef na 3 uur lang te veel te hebben nagedacht.

Samenvatting

Het paper laat zien dat de "Regelvolger" (RFM) niet faalde omdat hij dom was, maar omdat hij te rigide was wanneer de data rommelig werd. Door de manier waarop hij antwoorden terug naar kenmerken mapt aan te passen (de K-Inverse methode), creëerde de auteur een model dat:

Slimmer is met rommelige data (ruis en imbalans).
Efficiënter is (het heeft minder unieke voorbeelden nodig om te leren).
Soms sterker is dan het complexe Neurale Netwerk, vooral bij complexe datacoderingen.

Het paper concludeert dat hoewel de K-Inverse-RFM nog niet perfect is, het de kloof aanzienlijk verkleint en bewijst dat we niet altijd enorme, complexe Neurale Netwerken nodig hebben om moeilijke wiskundige problemen op te lossen; soms werkt een slimmere, simpelere aanpak het beste.

Technische Samenvatting: K-Inverse-RFM

Probleemstelling

Recursive Feature Machines (RFMs) zijn een klasse van kernel-gebaseerde modellen die gebruikmaken van de Average Gradient Outer Product (AGOP) om kenmerken (features) te leren, wat theoretisch de kloof overbrugt tussen klassieke kernelmethoden en Feedforward Neural Networks (FNNs). Hoewel RFMs hebben aangetoond de dynamiek van neurale netwerken te kunnen repliceren en state-of-the-art prestaties kunnen leveren op schone tabelvormige data en specifieke wiskundige taken (zoals modulaire rekenkunde), identificeert deze thesis een significante prestatiekloof tussen RFMs en FNNs wanneer data gecorrumpeerd is.

Specifiek observeert de auteur dat RFMs aanzienlijk achteruitgaan ten opzichte van FNNs in drie afzonderlijke scenario's:

Labelruis: RFMs slagen er niet in robuust te schalen naarmate de ruis in de trainingslabels toeneemt, terwijl FNNs een hoge nauwkeurigheid behouden.
Imbalans in data: RFMs lijden onder overfitting wanneer input- of outputdistributies scheefgetrokken zijn (bijv. via resampling of systematische uitsluiting van specifieke datamengsels), terwijl FNNs relatief stabiel blijven.
Complexe representaties: Wanneer inputs worden gecodeerd met complexe schema's zoals de Chinese Reststelling (CRT), worstelen RFMs met het decoderen van de structuur en presteren ze vaak slechter dan FNNs.

De kernhypothese is dat hoewel FNNs superieure capaciteiten voor feature-leren bezitten in deze ruisgevoelige of complexe regimes, standaard RFMs er niet in slagen de noodzakelijke feature-structuren (specifiek de block-circulant features die nodig zijn voor modulaire rekenkunde) te leren onder deze omstandigheden.

Methodologie: De K-Inverse-RFM

Om deze beperkingen aan te pakken, stelt de auteur de K-Inverse-RFM voor, een modificatie van het standaard RFM-framework. De methode introduceert drie primaire algoritmische wijzigingen in de standaard RFM-trainingslus (die iterereert tussen het trainen van de predictor en AGOP-gebaseerd feature-leren):

Labelprojectie (K-Inverse): In plaats van de standaard kernel ridge regressie vergelijking op te lossen, lost de methode een gemodificeerde vergelijking op waarbij labels worden geprojecteerd op de kernelized feature-ruimte. Specifiek wordt de gewichtsvector $\alpha$ berekend via:
$\alpha (K(X, X; M_t) + \lambda I) = K(X, X; M_t) d y$
Hier is $d$ een machtsparameter (meestal ingesteld op $-1$, vandaar "K-Inverse"). Deze formulering brengt labels in kaart naar de ruimte van kernelized features, wat effectief outputs representeert als combinaties van datapunten. Dit stimuleert het delen van de multiclass-structuur en zorgt ervoor dat geleerde features van de ene klasse andere klassen kunnen informeren, wat problemen met klasse-imbalans en ruis mitigeert.
Voortschrijdend Gemiddelde AGOP: Om instabiliteit en grote gradiëntveranderingen in de AGOP-matrix aan te pakken (met name in hoogdimensionale feature-ruimtes), wordt de feature-leerstap ( $M_{t+1}$ ) geherformuleerd als een voortschrijdend gemiddelde van de AGOP-matrices over een venster van $k$ stappen. Dit gemiddelde wordt gewogen door de inverse van de trainingsverlies ( $1/l_i$ ), waardoor de impact van slechte updates wordt verminderd.
Ridge Regularisatie: De kernel regressie wordt geherformuleerd als kernelized ridge regressie met een hoge ridge-term ( $\lambda$ ) om de grootte van de updates te beperken en de trainingsstabiliteit te waarborgen.

De machtsparameter $d$ wordt behandeld als een hyperparameter; hoewel $d=-1$ wordt gebruikt voor standaardgevallen, merkt de auteur op dat voor dichtere feature-ruimtes (zoals CRT-encodings), kleinere of positieve machten (bijv. $d=0.4$ of $0.6$) de prestaties en stabiliteit kunnen verbeteren.

Belangrijkste Bijdragen

Empirisch Onderzoek naar RFM-beperkingen: De thesis biedt een uitgebreide analyse van waar RFMs afwijken van FNNs, waarbij labelruis, data-imbalans en complexe inputrepresentaties specifiek worden geïsoleerd als de primaire oorzaken van de prestatiekloof in wiskundige taken.
Diagnose van Feature-leren: Door experimenten te gebruiken met Laplace-kernels getraind op FNN eerste-laag features, demonstreert de auteur dat de prestatiekloof in ruisgevoelige en imbalante settings primair wordt veroorzaakt door het onvermogen van de RFM om robuuste features te leren (het AGOP-mechanisme), in plaats van door de predictieve kop (kernel regressie).
Het K-Inverse-RFM Algoritme: De introductie van een gemodificeerde RFM die labelprojectie en gestabiliseerde feature-averaging incorporeert. Deze methode slaagt erin de prestatiekloof tussen RFMs en FNNs te overbruggen in scenario's met gecorrumpeerde data.
Analyse van Sample-efficiëntie: Het werk onthult dat de prestaties van RFM bijna lineair schalen met het aantal unieke trainingspunten in plaats van het totaal aantal samples. De K-Inverse-RFM vertoont superieure sample-efficiëntie, waarbij het hogere prestatiewinsten behaalt per uniek sample dankzij het vermogen om informatie over klassen heen te delen.

Resultaten

De K-Inverse-RFM werd geëvalueerd tegenover standaard RFMs en FNNs bij taken van modulaire optelling, vermenigvuldiging, aftrekking, deling en de grootste gemene deler (GCD) onder diverse datamethoden:

Labelruis: De K-Inverse-RFM overbrugt gemiddeld 64% van de prestatiekloof tussen standaard RFMs en FNNs. Het presteert significant beter dan standaard RFMs (tot 39,3% hogere testnauwkeurigheid) en blijft vergelijkbaar met FNNs tot 14% labelruis.
Imbalans in data: In scenario's met scheve inputgewichten (bijv. paren deelbaar door 3), laat de K-Inverse-RFM een verbetering van 53% in testnauwkeurigheid zien ten opzichte van standaard RFMs. De resultaten wijzen erop dat de K-Inverse-RFM minder gevoelig is voor onbalans in de datadistributie en meer afhankelijk is van het absolute aantal unieke samples.
Systematische Uitsluiting: De K-Inverse-RFM presteert beter dan standaard RFMs over alle geteste uitsluitingstypes (bijv. het uitsluiten van operanden $>50$ of $<10$ ).
Complexe Representaties (CRT): In taken die gebruikmaken van Chinese Reststelling-encodings, sluit de K- इनवर्स-RFM niet alleen de kloof met FNNs, maar overtreft deze in 5 van de 6 encoding-taakparen zelfs zowel de standaard RFM als het neurale netwerk. Dit suggereert dat kernel-gebaseerde modellen met het juiste feature-leermechanisme kunnen uitblinken in specifieke gestructureerde taken.

Betekenis en Claims

De paper claimt dat de K-Inverse-RFM een belangrijke stap vormt naar het verenigen van de efficiëntie van kernelmethoden met de robuustheid van neurale netwerken. Door de RFM te modificeren om de multiclass feature-leren beter te behandelen en AGOP-updates te stabiliseren, bereikt het model:

Robuustheid: Het presteert betrouwbaar op ruisgevoelige, imbalante en complex gerepresenteerde data waar standaard RFMs falen.
Efficiëntie: Het behoudt de computationele efficiëntie van RFMs, in staat om getraind te worden op een CPU, in tegen tegenover de GPU-intensieve training van diepe FNNs.
Superioriteit in Specifieke Regimes: In bepaalde gestructureerde taken (specifiek CRT-gecodeerde modulaire rekenkunde) kan de K-Inverse-RFM diepe neurale netwerken overtreffen, wat suggereert dat de "kloof" tussen kernelmethoden en neurale netwerken niet inherent is, maar het gevolg is van suboptimale feature-leermechanismen in de eerste groep.

De auteur concludeert bescheiden dat hoewel de K-Inverse-RFM de kloof aanzienlijk verkleint, deze in alle scenario's niet volledig elimineert. Toekomstig werk wordt gesuggereerd om de bevindingen uit te breiden naar niet-wiskundige domeinen (NLP, Computer Vision) en het gedrag van Transformers te onderzoeken, aangezien de huidige studie beperkt is tot Feedforward Neural Networks.