🤖 machine learning

K-Inverse-RFM: A Modified RFM that Bridges the Gap to Neural Networks for Data-Corrupted Mathematical Tasks

Cet article présente K-Inverse-RFM, une version modifiée de la Recursive Feature Machine qui emploie une nouvelle transformation d'étiquette pour surmonter les limitations de performance dans les tâches mathématiques corrompues par des données, lui permettant d'égaler ou même de surpasser les réseaux de neurones à propagation avant.

Auteurs originaux : Gil Pasternak

Publié 2026-07-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gil Pasternak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Deux façons d'apprendre les mathématiques

Imaginez que vous essayiez d'apprendre à un ordinateur à résoudre des problèmes de mathématiques, plus précisément des choses comme l'arithmétique modulaire (pensez à une horloge où les nombres reviennent au début, comme 14 heures qui devient 2 heures).

Il y a deux principaux « étudiants » dans cette histoire :

Le Réseau de Neurones (L'Artiste Intuitif) : C'est l'IA moderne et puissante dont tout le monde parle. Il apprend en ajustant des millions de petits curseurs internes. Il est excellent pour déceler des motifs, même lorsque les données sont désordonnées, bruitées ou déséquilibrées.
Le RFM (Le Suiveur de Règles) : C'est un modèle plus récent et plus simple appelé Recursive Feature Machine. Il essaie d'imiter le Réseau de Neurones, mais utilise une approche plus mathématique. C'est comme un étudiant qui essaie d'apprendre en observant la « pente moyenne » des données pour comprendre ce qui est important.

Le Problème : Dans les problèmes mathématiques parfaits et propres, les deux étudiants obtiennent un A+. Mais dès que l'on introduit le désordre du monde réel — comme le bruit (des réponses fausses dans le manuel), le déséquilibre (trop d'exemples d'un type et trop peu d'un autre) ou un codage bizarre (écrire des nombres dans un code secret) — le Suiveur de Règles (RFM) commence à échouer lamentablement. L'Artiste Intuitif (Réseau de Neurones) continue de bien performer.

L'auteur de ce document s'est posé la question suivante : Pourquoi le Suiveur de Règles peine-t-il avec les données désordonnées, et pouvons-nous y remédier sans le transformer en un Réseau de Neurones complexe ?

L'Investigation : Pourquoi le Suiveur de Règles a-t-il échoué ?

L'auteur a mené trois expériences principales pour voir où le RFM tombait en panne :

1. Le test du « Manuel Scolaire Bruité » (Bruit des étiquettes)

Le Scénario : Imaginez un manuel où 30 % des réponses sont aléatoirement fausses.
Le Résultat : Le Réseau de Neurones a ignoré les mauvaises réponses et a appris le bon motif. Le RFM a été confus par le bruit et ses performances se sont effondrées.
La Découverte : L'auteur a découvert que le RFM ne faillissait pas parce qu'il ne pouvait pas prédire la réponse, mais parce qu'il ne pouvait pas apprendre les bonnes caractéristiques (la bonne façon de regarder les données) lorsque les données étaient bruitées. C'était comme un étudiant essayant d'apprendre l'algèbre mais étant distrait par des gribouillis sur la page.

2. Le test des « Classes Déséquilibrées » (Données déséquilibrées)

Le Scénario : Imaginez un ensemble de données où 90 % des exemples sont des « Pommes » et seulement 10 % sont des « Oranges ».
Le Résultat : Le Réseau de Neurones a appris à reconnaître les deux. Le RFM est devenu obsédé par les « Pommes » et a complètement oublié comment gérer les « Oranges ». Il a fait du surapprentissage (overfitting) sur le groupe majoritaire.
La Découverte : Le RFM avait du mal à partager ce qu'il apprenait sur un groupe avec un autre. Il traitait chaque classe comme une île séparée.

3. Le test du « Code Secret » (Représentation complexe)

Le Scénario : Au lieu de donner au modèle le nombre « 5 », vous lui donnez un code comme « 5 mod 3, 5 mod 5, 5 mod 7 ». C'est une façon plus efficace de stocker les nombres (Théorème des restes chinois), mais c'est plus difficile à décoder.
Le Résultat : Le Réseau de Neurones finit par comprendre le code. Le RFM a eu du mal à décoder le message et à résoudre le problème mathématique.
La Découverte : Le RFM n'a pas pu comprendre comment traduire ce code complexe en une caractéristique utile par lui-même.

La Solution : Le « K-Inverse-RFM »

L'auteur a réalisé que la principale faiblesse du RFM résidait dans la manière dont il gérait les étiquettes (les réponses) et la façon dont il apprenait les caractéristiques. Le RFM standard était trop rigide.

Pour corriger cela, l'auteur a créé une nouvelle version appelée le K-Inverse-RFM. Voici l'analogie de son fonctionnement :

L'Ancienne Méthode (RFM Standard) : Imaginez que l'étudiant essaie de mémoriser la page du manuel page par page. Si la page est déchirée ou comporte des erreurs, il est bloqué. Il traite chaque question comme totalement séparée.
La Nouvelle Méthode (K-Inverse-RFM) : L'auteur a donné une nouvelle stratégie à l'étudiant : « Regarde les réponses pour comprendre les questions. »
- Au lieu de simplement regarder l'entrée (la question) et de deviner la sortie, le K-Inverse-RFM projette les réponses en retour sur les caractéristiques. Il demande : « Si je veux obtenir cette réponse, de quelle combinaison de caractéristiques ai-je besoin ? »
- Il utilise également une « moyenne mobile » pour lisser le processus d'apprentissage, afin qu'un mauvais exemple ne gâche pas toute la leçon.
- Crucialement, il permet au modèle de partager l'information entre différentes classes (comme les Pommes et les Oranges) plus efficacement.

Les Résultats : Cela a-t-il fonctionné ?

Oui, et dans certains cas, c'était même meilleur que le Réseau de Neurones.

Avec des Données Bruitées : Le K-Inverse-RFM a comblé environ 64 % de l'écart entre l'ancien RFM et le Réseau de Neurones. Il est devenu beaucoup plus robuste face aux mauvaises réponses.
Avec des Données Déséquilibrées : Il a cessé d'être obsédé par le groupe majoritaire. Il a appris à gérer les exemples rares bien mieux que l'ancien RFM.
Avec des Codes Secrets (CRT) : Ce fut le gagnant surprise. Dans les tâches où les données étaient encodées selon le style complexe du « Théorème des restes chinois », le K-Inverse-RFM a même dépassé le Réseau de Neurones. Il a appris les caractéristiques si bien qu'il a résolu le problème plus rapidement et plus précisément.

La Découverte de la « Recette Secrète »

L'une des découvertes secondaires les plus intéressantes de l'article est que la première couche d'apprentissage du Réseau de Neurones est en fait la partie la plus importante.

L'auteur a pris les caractéristiques apprises par la première couche d'un Réseau de Neurones et les a injectées dans un noyau (un outil mathématique) simple. Cet outil simple a obtenu de meilleurs résultats que le Réseau de Neurones complet et complexe.

Analogie : C'est comme prendre les notes du « brouillon » qu'un étudiant génial a prises durant les 10 premières minutes de cours, et réaliser que ces notes étaient en fait meilleures que la dissertation finale que l'étudiant a écrite après 3 heures de réflexion excessive.

Résumé

L'article montre que le « Suiveur de Règles » (RFM) échouait non pas parce qu'il était stupide, mais parce qu'il était trop rigide lorsque les données devenaient désordonnées. En ajustant la façon dont il cartographie les réponses vers les caractéristiques (la méthode K-Inverse), l'auteur a créé un modèle qui est :

Plus intelligent avec les données désordonnées (bruit et déséquilibre).
Plus efficace (il a besoin de moins d'exemples uniques pour apprendre).
Parfois plus fort que le Réseau de Neurones complexe, surtout lorsqu'il traite des encodages de données complexes.

L'article conclut que bien que le K-Inverse-RFM ne soit pas encore parfait, il réduit considérablement l'écart et prouve que nous n'avons pas toujours besoin de réseaux de neurones massifs et complexes pour résoudre des problèmes mathématiques difficiles ; parfois, une approche plus intelligente et plus simple fonctionne le mieux.

Résumé Technique : K-Inverse-RFM

Problématique

Les Recursive Feature Machines (RFMs) sont une classe de modèles à noyaux qui utilisent le produit extérieur de la moyenne des gradients (AGOP) pour apprendre des caractéristiques, faisant théoriquement le pont entre les méthodes à noyaux classiques et les réseaux de neurones feedforward (FNN). Bien que les RFM aient démontré leur capacité à répliquer la dynamique des réseaux de neurones et à atteindre des performances de pointe sur des données tabulaires propres et des tâches mathématiques spécifiques (telles que l'arithmétique modulaire), cette thèse identifie un écart de performance significatif entre les RFM et les FNN lorsque les données sont corrompues.

Plus précisément, l'auteur observe que les RFM se dégradent considérablement par rapport aux FNN dans trois scénarios distincts :

Bruit d'étiquetage : Les RFM ne parviennent pas à monter en puissance de manière robuste à mesure que le bruit d'étiquetage augmente, alors que les FNN maintiennent une précision élevée.
Données déséquilibrées : Les RFM souffrent de surapprentissage lorsque les distributions d'entrée ou de sortie sont asymétriques (par exemple, via le rééchantillonnage ou l'exclusion systématique de sous-ensembles de données spécifiques), tandis que les FNN restent relativement stables.
Représentations complexes : Lorsque les entrées sont encodées à l'aide de schémas complexes comme le théorème des restes chinois (CRT), les RFM peinent à décoder la structure, sous-performant souvent les FNN.

L'hypothèse centrale est que, bien que les FNN possèdent des capacités d'apprentissage de caractéristiques supérieures dans ces régimes de bruit ou de complexité, les RFM standards échouent à apprendre les structures de caractéristiques nécessaires (spécifiquement les caractéristiques bloc-circulantes requises pour l'arithmétique modulaire) sous ces conditions.

Méthodologie : Le K-Inverse-RFM

Pour remédier à ces limitations, l'auteur propose le K-Inverse-RFM, une modification du cadre standard de la RFM. La méthode introduit trois changements algorithmiques principaux dans la boucle d'entraînement de la RFM standard (qui alterne entre l'entraînement du prédicteur et l'apprentissage de caractéristiques basé sur l'AGOP) :

Projection d'étiquette (K-Inverse) : Au lieu de résoudre l'équation standard de la régression par noyau (kernel ridge regression), la méthode résout une équation modifiée où les étiquettes sont projetées sur l'espace des caractéristiques à noyau. Plus précisément, le vecteur de poids $\alpha$ est résolu via :
$\alpha (K(X, X; M_t) + \lambda I) = K(X, X; M_t) d y$
Ici, $d$ est un paramètre de puissance (généralement fixé à $-1$, d'où le nom "K-Inverse"). Cette formulation projette les étiquettes dans l'espace des caractéristiques à noyau, représentant ainsi les sorties comme des combinaisons de points de données. Cela encourage le partage de la structure multiclasse et permet aux caractéristiques apprises d'une classe d'informer les autres, atténuant ainsi les problèmes de déséquilibre de classe et de bruit.
Moyenne mobile de l'AGOP : Pour remédier à l'instabilité et aux changements de gradient importants dans la matrice AGOP (particulièrement dans les espaces de caractéristiques de haute dimension), l'étape d'apprentissage des caractéristiques ( $M_{t+1}$ ) est reformulée comme une moyenne mobile des matrices AGOP sur une fenêtre de $k$ étapes. Cette moyenne est pondérée par l'inverse de la perte d'entraînement ( $1/l_i$ ), réduisant ainsi l'impact des mises à jour médiocres.
Régularisation Ridge : La régression par noyau est reformulée en tant que régression par noyau avec un terme de régularisation élevé ( $\lambda$ ) pour contraindre la taille des mises à jour et assurer la stabilité de l'entraînement.

Le paramètre de puissance $d$ est traité comme un hyperparamètre ; bien que $d=-1$ soit utilisé pour les cas standards, l'auteur note que pour des espaces de caractéristiques plus denses (comme les encodages CRT), des puissances plus petites ou positives (par exemple, $d=0.4$ ou $0.6$) peuvent améliorer les performances et la stabilité.

Principales Contributions

Investigation empirique des limites des RFM : La thèse fournit une analyse complète des points où les RFM divergent des FNN, isolant spécifiquement le bruit d'étiquetage, le déséquilibre des données et les représentations d'entrée complexes comme les causes primaires des écarts de performance dans les tâches mathématiques.
Diagnostic de l'apprentissage de caractéristiques : À travers des expériences utilisant des noyaux de Laplace entraînés sur les caractéristiques de la première couche de FNN, l'auteur démontre que l'écart de performance dans les contextes de bruit et de déséquilibre est principalement dû à l'incapacité de la RFM à apprendre des caractéristiques robustes (le mécanisme AGOP), plutôt qu'à la tête prédictive (régression par noyau).
L'algorithme K-Inverse-RFM : L'introduction d'une RFM modifiée qui incorpore la projection d'étiquette et la stabilisation de la moyenne des AGOP. Cette méthode réussit à combler l'écart de performance entre les RFM et les FNN dans les scénarios de données corrompues.
Analyse de l'efficacité d'échantillonnage : Le travail révèle que la performance des RFM évolue presque linéairement avec le nombre de points d'entraînement uniques plutôt qu'avec le nombre total d'échantillons. Le K-Inverse-RFM présente une efficacité d'échantillonnage supérieure, obtenant des gains de performance plus élevés par échantillon unique grâce à sa capacité à partager l'information entre les classes.

Résultats

Le K-Inverse-RFM a été évalué par rapport aux RFM standards et aux FNN sur des tâches d'addition, de multiplication, de soustraction, de division et de PGCD modulaires sous diverses conditions de données :

Bruit d'étiquetage : Le K-Inverse-RFM comble en moyenne 64 % de l'écart de performance entre les RFM standards et les FNN. Il surpasse de manière significative les RFM standards (jusqu'à 39,3 % de précision de test plus élevée) et reste comparable aux FNN jusqu'à 14 % de bruit d'étiquetage.
Données déséquilibrées : Dans les scénarios avec des poids d'entrée asymétriques (par exemple, des paires divisibles par 3), le K-Inverse-RFM montre une amélioration de 53 % de la précision de test par rapport aux RFM standards. Les résultats indiquent que le K-Inverse-RFM est moins sensible aux déséquilibres de distribution de données et plus dépendant du nombre réel d'échantillons uniques.
Exclusion systématique : Le K-Inverse-RFM surpasse les RFM standards dans tous les types d'exclusion testés (par exemple, l'exclusion des opérandes $>50$ ou $<10$ ).
Représentations complexes (CRT) : Dans les tâches utilisant des encodages du théorème des restes chinois (CRT), le K-Inverse-RFM non seulement réduit l'écart avec les FNN, mais dans 5 cas sur 6 de paires de tâches d'encodage, il surpasse à la fois la RFM standard et le réseau de neurones. Cela suggère qu'avec le mécanisme d'apprentissage de caractéristiques approprié, les modèles à noyaux peuvent surpasser les réseaux profonds sur des tâches structurées spécifiques.

Signification et Revendications

L'article affirme que le K-Inverse-RFM représente une étape importante vers l'unification de l'efficacité des méthodes à noyaux avec la robustesse des réseaux de neurones. En modifiant la RFM pour mieux gérer l'apprentissage de caractéristiques multiclasses et stabiliser les mises à jour AGOP, le modèle atteint :

Robustesse : Il fonctionne de manière fiable sur des données bruitées, déséquilibrées et représentées de manière complexe là où les RFM standards échouent.
Efficacité : Il conserve l'efficacité computationnelle des RFM, capable d'être entraîné sur un CPU, contrairement à l'entraînement gourmand en GPU des FNN profonds.
Supériorité dans des régimes spécifiques : Dans certaines tâches structurées (spécifiquement les calculs modulaires encodés par CRT), le K-Inverse-RFM peut surpasser les réseaux de neurones profonds, suggérant que le "fossé" entre les méthodes à noyaux et les réseaux de neurones n'est pas inhérent mais résulte plutôt de mécanismes d'apprentissage de caractéristiques sous-optimaux dans les premiers.

L'auteur conclut modestement que bien que le K-Inverse-RFM réduise considérablement l'écart, il ne l'élimine pas entièrement dans tous les scénarios. Des travaux futurs sont suggérés pour explorer l'extension de ces découvertes à des domaines non mathématiques (NLP, vision par ordinateur) et pour étudier le comportement des Transformers, car l'étude actuelle est limitée aux réseaux de neurones feedforward.