🤖 machine learning

Classification of integers based on residue classes via modern deep learning algorithms

Cet article démontre qu'en dépit de la simplicité apparente de la classification des entiers par résidus premiers, les modèles d'apprentissage profond, les plateformes d'AutoML et les grands modèles de langage échouent sans une ingénierie des caractéristiques appropriée, alors qu'une méthode utilisant la régression linéaire sur des vecteurs de base de séries de Fourier réussit, soulignant l'importance critique continue de l'ingénierie des caractéristiques dans l'apprentissage automatique moderne.

Auteurs originaux : Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La magie des nombres et les limites des machines

Imaginez que vous jouez à un jeu où vous devez trier un immense tas de rochers numérotés. Certains rochers sont « pairs » (ils peuvent être divisés en deux piles égales) et d'autres sont « impairs » (un rocher est laissé de côté). Pour les humains, c'est un jeu d'enfant ; il suffit de regarder le tout dernier chiffre. Si c'est un 2, 4, 6, 8 ou 0, nous savons qu'il est pair. Mais et si le jeu devenait plus complexe ? Et si vous deviez trier des rochers selon qu'ils sont divisibles par 3, 7 ou d'autres nombres premiers ? Les humains ont des astuces spéciales pour cela, comme additionner tous les chiffres d'un nombre pour voir si le total est divisible par 3. C'est un peu comme un code secret que nous avons appris à l'école primaire.

Maintenant, imaginez confier ce jeu de tri de rochers à un robot super intelligent. Vous pourriez vous dire : « Si le robot est assez intelligent pour écrire de la poésie ou conduire une voiture, il devrait être capable de trier des rochers selon des règles numériques, n'est-ce pas ? » C'est la grande question que se posent les scientifiques dans le domaine de l'apprentissage automatique (Machine Learning). L'apprentissage automatique, c'est comme enseigner à un ordinateur en lui montrant des millions d'exemples plutôt qu'en lui donnant un manuel de règles. L'ordinateur cherche des motifs par lui-même. Il existe également des outils d'« AutoML », qui sont comme des boîtes magiques choisissant automatiquement le meilleur cerveau robotique pour la tâche, et des « Grands Modèles de Langage » (LLM), qui sont des ordinateurs entraînés sur presque tous les textes du monde, ce qui leur donne l'impression de tout savoir. Mais attention : ce n'est pas parce qu'un ordinateur est vaste et intelligent qu'il comprend la logique des nombres comme nous le faisons. Il pourrait simplement mémoriser des réponses ou deviner.

La grande expérience du tri de nombres

Dans cette étude, une équipe de chercheurs de l'Université de Pennsylvanie et du Children's Hospital of Philadelphia a décidé de mettre ces robots de haute technologie à l'épreuve. Ils voulaient voir si les algorithmes d'apprentissage profond modernes, les outils automatisés et même les chatbots les plus célèbres du monde pouvaient découvrir les règles de division des nombres par de petits nombres premiers (comme 2, 3 et 7) sans qu'on leur explique explicitement les règles.

La configuration : Donner un nouveau langage aux robots
Les chercheurs ont commencé par nourrir différents types de cerveaux informatiques avec des nombres. Mais voici le tournant : ils ont essayé de nourrir les nombres sous différentes « langues » ou formats.

Nombres bruts : Juste le nombre lui-même (ex : 123).
Binaire : Le langage natiel de l'ordinateur, composé de 0 et de 1 (comme un interrupteur sur ON ou OFF).
Listes de chiffres : Décomposer le nombre en ses parties individuelles (1, 2, 3).
Sommes de chiffres : Additionner les chiffres ensemble (1+2+3 = 6).

Ils ont testé ces entrées sur trois types de systèmes :

Réseaux de neurones profonds : Des couches complexes de mathématiques qui tentent d'imiter le cerveau humain.
Plateformes d'AutoML : Des systèmes automatisés provenant de grandes entreprises technologiques (Amazon, Google, Microsoft) censés trouver la meilleure solution automatiquement.
Grands Modèles de Langage (LLM) : Des chatbots d'IA célèbres comme GPT-4, LLaMA et Falcon, censés tout savoir.

Les résultats choquants : Les robots sont restés bloqués
Les résultats étaient un mélange de « Wow » et de « Oups ».

Lorsque les chercheurs ont donné aux robots les nombres sous leur forme brute (juste le nombre 123), les modèles d'apprentissage profond et les outils d'AutoML ont été terribles. Ils devinaient au hasard, obtenant environ 50 % de réussite pour les nombres pairs/impairs et seulement 33 % pour la division par 3. C'était comme si les robots lançaient des fléchettes les yeux bandés. Les « boîtes magiques » (AutoML) ont totalement échoué car elles ne savaient pas comment regarder les nombres d'une manière qui révélait le motif.

Cependant, lorsque les chercheurs ont utilisé l'ingénierie de caractéristiques (feature engineering) — ce qui est juste une façon sophistiquée de dire « donner un meilleur indice au robot » — les robots sont soudainement devenus des génies.

Lorsqu'ils ont converti les nombres en binaire (0 et 1), les robots ont instantanément compris la règle pair/impair avec une précision de 100 %. Il s'avère que le dernier chiffre en binaire est la réponse.
Lorsqu'ils ont donné aux robots la somme des chiffres (l'astuce utilisée par les humains pour la division par 3), les robots ont également atteint 100 % de précision.

Mais voici la partie la plus intéressante : les robots n'ont pas « appris » la règle par eux-mêmes. Ils ont seulement réussi parce que les humains leur ont donné la réponse sous un format différent. L'étude a montré que sans ces indices soigneusement élaborés, même les réseaux neuronaux les plus puissifs ne pouvaient pas découvrir le motif, peu importe leur taille ou leur complexité.

La série de Fourier : Un raccourci mathématique
Les chercheurs ont également essayé une approche qui ne repose pas sur l'apprentissage profond. Ils ont utilisé une méthode appelée régression par série de Fourier. Considérez cela comme l'utilisation d'un outil de motif ondulatoire spécial pour trouver le rythme dans les nombres. Puisque la division par 3 ou 7 crée un motif répétitif (comme une chanson qui boucle tous les 3 ou 7 temps), cet outil mathématique pouvait prédire la réponse parfaitement avec très peu d'exemples. C'était rapide, simple et 100 % précis pour les cas testés (mod 3 et mod 7), prouvant que parfois, une astuce mathématique simple et classique fonctionne mieux qu'une IA géante et complexe.

Les Chatbots : Intelligents mais dénués de sens
Enfin, l'équipe a interrogé les chatbots célèbres (comme ChatGPT et les modèles open-source) pour qu'ils expliquent les règles.

Pour de petits nombres comme 2 ou 3, les chatbots pouvaient parfois donner la bonne réponse.
Mais dès que les chercheurs ont posé des questions sur des nombres premiers plus grands (comme 7, 11 ou 23), les chatbots ont commencé à halluciner. Ils produisaient systématiquement des réponses incorrectes et non informatives, inventant des règles, donnant de mauvais calculs, ou disant simplement : « Utilisez l'opérateur modulo » (ce qui revient à dire à l'ordinateur de faire le calcul qu'il était censé découvrir).
Même le tout nouveau GPT-4, lorsqu'on lui a demandé de concevoir un programme informatique pour résoudre cela, a échoué à créer une solution efficace. Il n'a pas réussi à trouver la bonne « ingénierie de caractéristiques » ou le meilleur algorithme à utiliser.

La grande leçon à retenir

La principale leçon de ce document est que posséder un ordinateur super intelligent ne suffit pas ; il faut lui apprendre comment aborder le problème.

Les chercheurs ont découvert que l'« ingénierie de caractéristiques » — l'acte humain de traduire des données brutes en un format qui révèle le motif caché — reste l'étape la plus importante. Même à une époque où nous disposons d'« AutoML » (des machines qui choisissent les modèles pour nous) et de « LLM » (des machines qui connaissent presque tous les mots du monde), ces outils ne peuvent pas découvrir magiquement les règles des mathématiques par eux-mêmes. Ils ont besoin qu'un humain dise : « Hé, regarde les chiffres, ou regarde le binaire, ou additionne-les. »

Sans ce guidage humain, l'IA la plus avancée au monde est comme un élève qui a mémorisé le dictionnaire mais ne sait pas faire d'arithmétique. L'étude conclut que bien que l'IA soit puissante, elle dépend encore lourdement de l'intuition humaine pour transformer des données brutes en un puzzle soluble. Les robots sont rapides, mais ils ont toujours besoin que nous tenions la lampe de poche.

Résumé Technique : Classification des entiers basée sur les classes de résidus via des algorithmes d'apprentissage profond modernes

Énoncé du Problème
L'étude examine la capacité des systèmes d'apprentissage automatique modernes à classifier les entiers en fonction de leurs classes de résidus lorsqu'ils sont divisés par de petits nombres premiers (spécifiquement $p=2, 3, 7$ et jusqu'à $31$). Bien que les humains puissent facilement déterminer la parité (mod 2) ou appliquer des règles de somme de chiffres pour la divisibilité par 3, les auteurs postulent que cette tâche présente un défi non trivial pour les ordinateurs, particulièrement pour les systèmes d'Intelligence Artificielle censés discerner de manière autonome des motifs mathématiques sans règles explicitement conçues par l'homme. La question centrale est de savoir si les architectures d'apprentissage profond de pointe, les plateformes d'Apprentissage Automatique Automatisé (AutoML) et les Grands Modèles de Langage (LLM) peuvent apprendre efficacement ces règles de divisibilité à partir de données brutes ou s'ils reposent fondamentalement sur des caractéristiques conçues par l'homme.

Méthodologie
Les auteurs ont mené une évaluation complète à travers quatre catégories méthodologiques distinctes en utilisant un espace d'échantillonnage d'entiers non négatifs allant jusqu'à $2^{32}-1$ .

Réseaux de Neurones Profonds (DNN) : L'étude a testé les réseaux de neurones artificiels (ANN), les réseaux de neurones convolutifs (CNN), les réseaux de neurones récurrents (RNN) et les représentations encodeurs bidirectionnels de transformateurs (BERT).
- Ingénierie des caractéristiques (Feature Engineering) : Un composant critique de la méthodologie était l'application systématique de diverses représentations de caractéristiques aux entiers d'entrée. Celles-ci comprenaient :
  - Valeurs entières brutes.
    // Représentations binaires et en base trois.
  - Encodages N-grammes (unigramme, bigramme, trigramme, et combinaisons de ceux-ci) traitant les chiffres comme des séquences.
  - Encodages enrichis incorporant la somme des chiffres ou la somme des chiffres modulo $p$ (spécifiquement pour $p=3$ ).
- Architecture : L'ANN utilisait une structure simple à deux couches (64 et 32 neurones). Les CNN utilisaient des couches de convolution 1D et de max-pooling. Les RNN employaient une seule couche LSTM. Les modèles BERT ont été affinés pour la classification de séquences.
Apprentissage Automatique Automatisé (AutoML) : Les auteurs ont évalué des pipelines provenant d'Amazon (AWS Sagemaker), Google (Vertex AI) et Microsoft (Azure ML Studio). Ces plateformes ont été testées avec des données brutes et diverses caractéristiques ingéniérées pour déterminer si elles pouvaient sélectionner de manière autonome les modèles et les caractéristiques optimaux.
Régression par Séries de Fourier : Une approche mathématique novatrice a été proposée utilisant la régression linéaire sur des vecteurs de base de séries de Fourier. Pour un modulo $p$ donné, l'entrée $x$ est transformée en vecteurs sinus et cosinus : $\sin(2\pi j x / p)$ et $\cos(2\pi j x / p)$ pour $j=1, \dots, \lfloor p/2 \rfloor$ . La régression par moindres carrés ordinaires (OLS) a été utilisée pour ajuster les étiquettes, les prédictions étant arrondies à l'entier le plus proche.
Grands Modèles de Langage (LLM) : L'étude a évalué les capacités de raisonnement mathématique de modèles open-source (GPT-J-6B, LLaMA-7B, Falcon-40B) et de modèles fermés (ChatGPT, GPT-4 avec interprète de code). Les prompts ont été conçus pour susciter des explications sur les règles de divisibilité ou la conception d'algorithmes pour résoudre le problème de classification.

Résultats Clés

Dépendance à l'Espace des Caractéristiques : La performance de tous les modèles de deep learning dépendait de manière critique de l'espace des caractéristiques d'entrée.
- Mod 2 : Les données brutes ont produit une précision proche du hasard (~0,5). La représentation binaire a atteint une précision de 1,000. Les encodages N-grammes ont amélioré la précision à environ 0,8.
- Mod 3 : Les données brutes et les encodages N-grammes simples ont mal performé. Cependant, l'incorporation de la « somme des chiffres » ou de la « somme des chiffres mod 3 » dans le vecteur de caractéristiques a permis aux modèles d'atteindre une haute précision (>0,9).
- Spécificités de BERT : BERT a atteint une précision de 1,000 avec l'encodage « One-gram + somme », mais a échoué (~0,33) avec l'encodage « One-gram » seul. Les auteurs attribuent cela à l'espace d'embedding de pré-entraînement de BERT, qui capture probablement la nature récursive des sommes de chiffres, alors que les autres réseaux traitaient la somme comme une valeur continue inconnue et de grande ampleur.
Limites de l'AutoML : Les plateformes AutoML n'ont pas réussi à obtenir une classification efficace lorsqu'elles étaient fournies avec des données brutes. Elles n'ont réussi que lorsqu'on leur fournissait des caractéristiques explicitement ingéniérées (par exemple, la somme des chiffres pour le mod 3). Les plateformes ont fortement favorisé les algorithmes basés sur les arbres plutôt que le deep learning pour cette tâche.
Succès des Séries de Fourier : La méthode de régression par série de Fourier proposée, utilisant des vecteurs de base de Fourier, a atteint une précision de 1,000 pour les problèmes mod 3 et mod 7. Notamment, cela a été réalisé avec un jeu de données minimal (200 échantillons), démontant que la nature périodique de la fonction de résidu peut être parfaitement capturée avec peu d'exemples d'entraînement lorsque la base mathématique correcte est utilisée.
Échecs des LLM :
- Les LLM open-source (GPT-J, LLaMA, Falcon) ont systématiquement produit des réponses inexactes et peu informatives concernant les règles de divisibilité pour les nombres premiers $p \geq 7$ , et ont souvent échoué même pour les plus petits nombres premiers.
- ChatGPT a montré une performance améliorée pour les petits nombres premiers, mais a eu recours à l'opérateur modulo (%) pour $p \geq 23$ , ne fournissant aucune règle mathématique informative.
- GPT-4, lorsqu'on lui a demandé de concevoir un algorithme de deep learning pour le problème, a généré un code syntaxiquement correct mais qui échouait à identifier les techniques d'ingénierie de caractéristiques appropriées ou à sélectionner les algorithmes optimaux, aboutissant à une solution inefficace.

Signification et Conclusions
L'article conclut que malgré les avancées de l'AutoML et des capacités de raisonnement des Grands Modèles de Langage, l'ingénierie des caractéristiques demeure une tâche indispensable pour améliorer la performance et l'interprétabilité des modèles.

L'Ingénierie des Caractéristiques est Primordiale : L'étude démontre qu'augmenter la complexité du modèle ou la taille du jeu de données ne peut compenser l'absence d'une ingénierie des caractéristiques appropriée. Sans transformations spécifiques au domaine (telles que la représentation binaire pour le mod 2 ou les sommes de chiffres pour le mod 3), même les modèles sophistiqués échouent à apprendre des motifs mathématiques simples.
Limites de l'IA Actuelle : L'incapacité de l'AutoML à découvrir de manière autonome ces caractéristiques et l'échec des LLM à articuler ou à concevoir des algorithmes pour ces problèmes suggèrent que les systèmes d'IA actuels manquent d'une approche systématique et autonome pour discerner des motifs mathématiques fondamentaux à partir de données d'entraînement.
Interprétabilité Mathématique : La méthode de régression par série de Fourier offre une alternative hautement efficace, interprétable et économe en données par rapport au deep learning, atteignant une précision parfaite avec un minimum d'exemples d'entraînement.

En résumé, les auteurs soutiennent que, dans l'ère de l'AutoML et des LLM, la connaissance humaine du domaine appliquée via l'ingénierie des caractéristiques reste le principal moteur de succès pour résoudre des problèmes mathématiques structurés, et que compter sur ces modèles pour de telles tâches sans une préparation minutieuse des données est risqué et souvent inefficace.

La magie des nombres et les limites des machines

La grande expérience du tri de nombres

La grande leçon à retenir

Articles similaires