🤖 machine learning

Numbers Already Carry Their Own Embeddings

Le papier introduit les plongements préservant les opérations adéliques (AOE), une représentation sans entraînement et prête à l'emploi qui capture à la fois les signatures réelles et p-adiques des nombres pour préserver leur structure algébrique, atteignant ainsi une précision parfaite sur les benchmarks combinatoires et offrant une solution fondée sur des principes au « problème du nombre » en IA.

Auteurs originaux : Suhyun Bae, Donghun Lee

Publié 2026-06-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Suhyun Bae, Donghun Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à comprendre les nombres. Actuellement, la plupart des modèles d'IA traitent les nombres comme des mots dans un livre. Si vous tapez « 7 », l'ordinateur ne voit pas une quantité ; il voit une forme spécifique faite de pixels ou un code qui représente la lettre « 7 ». C'est comme essayer de comprendre le concept de « sept pommes » en étudiant seulement la forme de la lettre « A » sur une page. L'ordinateur doit deviner les règles mathématiques (comme l'addition ou la multiplication) en lisant suffisamment d'exemples, ce qui conduit souvent à des erreurs.

Cet article propose une toute nouvelle façon d'enseigner les nombres aux ordinateurs, basée sur l'idée que les nombres portent déjà leurs propres instructions sur la manière de se comporter.

Voici la décomposition simple de leur solution, appelée AOE (Adelic Operation-preserved Embeddings) :

1. Le Problème : Le piège de la « chaîne de caractères »

Actuellement, les modèles d'IA découpent les nombres en petits morceaux arbitraires (comme briser « 123 » en « 1 », « 2 » et « 3 »). Ils perdent les relations naturelles entre les nombres. C'est comme essayer de comprendre une chanson en regardant les lettres individuelles des paroles plutôt qu'en écoutant la mélodie. L'IA doit réapprendre les mathématiques à partir de zéro à chaque fois, ce qui est difficile et sujet aux erreurs.

2. La Solution : La « Carte d'Identité Universelle »

Les auteurs suggèrent de donner à chaque nombre une « carte d'identité » spéciale qui capture sa véritable identité mathématique. Ils appellent cela un Plongement Adélique (Adelic Embedding).

Considérez un nombre non pas seulement comme une valeur unique, mais comme une personne possédant deux identités distinctes :

Son « Moi Réel » : C'est le nombre que vous voyez sur une calculatrice (par exemple, 1,4).
Son « Moi Modulaire » : C'est la signature du nombre lorsqu'il est observé à travers le prisme de différents nombres premiers (comme 2, 3, 5, etc.).

L'analogie :
Imaginez que vous essayiez d'identifier un suspect dans une ville.

Ancienne Méthode : Vous regardez simplement son visage (la valeur réelle). Il est facile de confondre une personne avec une autre.
Nouvelle Méthode (AOE) : Vous regardez son visage plus ses empreintes digitales, son empreinte vocale et son ADN. Même si son visage change, son « ADN mathématique » (ses signatures modulaires) ne ment jamais.

Dans ce système, un nombre comme 7/5 n'est pas seulement « 1,4 ». C'est aussi un motif spécifique de chiffres lorsqu'on l'observe à travers la « lentille » du nombre 2, un autre motif à travers la « lentille » du nombre 3, et ainsi de suite.

3. Pourquoi cela fonctionne : La magie du « Plug-and-Play »

Le meilleur aspect est que cela ne nécessite pas à l'IA de retourner à l'école pour tout réapprendre.

Sans entraînement (Training-Free) : Les mathématiques sont intégrées dans la carte d'identité elle-même. L'ordinateur n'a pas besoin de deviner les règles de l'addition ou de la multiplication ; la carte d'identité préserve déjà ces règles parfaitement.
Prêt à l'emploi (Plug-and-Play) : Vous pouvez prendre ce système de carte d'identité et l'injecter dans n'importe quel modèle d'IA existant (comme un Transformer), exactement comme on remplace une pile standard par une meilleure. Pas besoin de reconstruire tout le moteur.

4. Les Résultats : Résoudre le « Problème des Nombres »

Les auteurs ont testé cela sur un ensemble de puzzles mathématiques très difficiles appelé le Jeu de Données d'Algèbre Combinatoire (Algebraic Combinatorics Dataset). Il ne s'agit pas de simples problèmes de « 2+2 » ; ce sont des puzzles complexes de niveau recherche impliquant des motifs, des formes et des structures abstraites.

Le Résultat : L'IA utilisant ces cartes d'identité spéciales (AOE) a battu l'IA standard sur tous les tests.
Le Point Fort : Sur un puzzle particulièrement difficile appelé la tâche du « Motif de Tissage » (Weaving Pattern), la nouvelle IA a obtenu 100 % de précision. Les meilleurs modèles d'IA existants (même les plus volumineux) avaient échoué à résoudre ce problème parfaitement auparavant.

5. Le Bémol (Limites)

L'article est honnête concernant certaines limites :

Complexité : Créer ces cartes d'identité spéciales demande un peu plus de puissance de calcul et de temps (environ 4 à 5 fois plus lent) que l'ancienne méthode, car l'ordinateur doit calculer toutes ces « empreintes » supplémentaires pour chaque nombre.
Portée : Pour l'instant, cela fonctionne parfaitement pour les nombres rationnels (fractions). Les auteurs admettent qu'ils n'ont pas encore trouvé comment faire cela pour les nombres irrationnels (comme Pi) ou les nombres complexes.

L'Essentiel

L'article soutient que nous traitons les nombres comme du texte depuis trop longtemps. En donnant aux nombres une représentation qui respecte leur véritable nature mathématique (en combinant leur valeur réelle avec leurs « empreintes » modulaires), nous pouvons rendre l'IA bien meilleure en mathématiques sans avoir besoin de rendre les modèles plus grands ou de les entraîner plus longtemps. C'est une façon de parler directement le « langage des mathématiques » à l'ordinateur.

Résumé Technique : Plongements Préservant les Opérations Adéliques (AOE)

Énoncé du Problème
Malgré les récentes avancées majeures des grands modèles de langage (LLM) en raisonnement mathématique, un goulot d'étranglement fondamental persiste : le « problème du nombre ». Les architectures actuelles traitent principalement les nombres comme des séquences de caractères via des schémas de tokenisation tels que le BPE (Byte Pair Encoding). Cette approche fragmente les valeurs numériques en unités de sous-mots arbitraires, dépouillant les nombres de leurs relations additives et multiplicatives intrinsèques. Par conséquent, les modèles font preuve d'un raisonnement fragile, d'une généralisation incohérente et d'erreurs systématiques dans les tâches exigeant une précision arithmétique. Bien que des tentatives antérieures aient exploré les plongements continus ou les encodages positionnels par chiffre, ces méthodes reposent souvent sur l'espoir que les modèles redécouvrent implicitement les règles mathématiques pendant l'entraînement plutôt que de les intégrer directement.

Méthodologie : Plongements Préservant les Opérations Adéliques (AOE)
Les auteurs proposent l'AOE, une représentation sans entraînement fondée sur la théorie algébrique des nombres. Au lieu de tokeniser les nombres, l'AOE construit des plongements au sein d'un espace adélique, qui unifie la droite réelle avec les complétions $p$ -adiques des nombres rationnels.

Fondement Mathématique : La construction s'appuie sur l'anneau des adèles ( $\mathbb{A}_\mathbb{Q}$ ), représentant un nombre rationnel $q$ sous la forme d'un tuple contenant sa valeur réelle ( $a_\infty$ ) et ses expansions $p$ -adiques ( $a_p$ ) pour un ensemble sélectionné de nombres premiers.
Préservation de la Structure : Par conception, cette représentation préserve la structure algébrique de manière coordonnée. Pour tous rationnels $q_1, q_2$ $q_{1}, q_{2}$ :
- $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
- $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
  Ici, $\oplus$ et $\otimes$ désignent les opérations par coordonnées sur les vecteurs réels et $p$ -adiques concaténés.
Construction du Plongement : Pour générer le plongement d'un rationnel $q = n/m$ $q = n / m$ :
1. Composante Réelle : Représentée par un vecteur de longueur $N$ sur la droite réelle.
2. Composantes $p$ -adiques : Pour un ensemble fixé de nombres premiers, les auteurs calculent les expansions $p$ -adiques à $N$ chiffres. Cela implique de résoudre la congruence $mx \equiv n \pmod{p^N}$ en utilisant le lemme de Hensel pour élever itérativement les solutions du modulo $p$ vers le modulo $p^N$ .
3. Concaténation : Le vecteur réel et les vecteurs $p$ -adiques tronqués sont concaténés pour former un tenseur de forme $(n_p + 1) \times N$ , où $n_p$ est le nombre de nombres premiers choisis.
Intégration : L'AOE est agnostique à l'architecture et peut être utilisé de manière interchangeable (« plug-and-play »). Il remplace les couches d'embedding standards des Transformers par des tenseurs adéliques pré-calculés. Pour préserver l'information structurelle, un encodage positionnel 2D léger est ajouté, encodant la position dans la séquence, l'indice du nombre premier et l'indice du chiffre.

Contributions Clés

Proposition de l'AOE : Une représentation sans entraînement, algébriquement fondée, qui respecte directement la structure numérique sans nécessiter de réentraînement spécifique à la tâche.
Résolution du « Problème du Nombre » : Le travail présente l'AOE comme un remède principled aux limites de la représentation numérique, offrant une voie pour surmonter les limitations des approches basées sur les tokens.
Validation Empirique : Les auteurs démontrent que les Transformers équipés d'AOE surpassent les bases de référence standards sur des benchmarks de combinatoire algébrique, atteignant une précision parfaite sur des tâches où les modèles précédents ont échoué.

Résultats Expérimentaux
Les auteurs ont évalué l'AOE sur l'Algebraic Combinatorics Dataset (ACD), un benchmark conçu pour la conjecture de niveau recherche en combinatoire algébrique. Les expériences ont comparé un Transformer standard (utilisant nn.Embedding entraînable et des encodages positionnels sinusoïdaux) contre un Transformer équipé d'AOE (utilisant des tenseurs adéliques fixes et pré-calculés).

Performance : À travers six tâches de classification (incluant les chemins de réseaux, les classes de mutation de quiver et les polynômes de Schubert), le modèle AOE a systématiquement surpassé la base de référence.
Réussite Notable : Le modèle AOE a atteint une précision de 100 % sur le benchmark Weaving Patterns (pour $n=6$ et $n=7$ ), une tâche où la base de référence n'atteignait qu'environ 53 % et qui a historiquement résisté aux grands modèles de langage.
Généralisation : Les améliorations vont de gains modestes (ex: chemins de réseaux) à des bonds spectaculaires (ex: polynômes de Schubert et classes de mutation de quiver), avec des pertes de test plus faibles indiquant une meilleure calibration du modèle.
Efficacité : Bien que l'AOE introduise un surcoût computationnel (l'entraînement est environ 4 à 5 fois plus lent en raison du pré-calcul et de l'encodage positionnel 2D), les gains de performance ont été obtenus sans augmenter le nombre de paramètres entraînables ; en fait, la base de référence possédait plus de paramètres entraînables.

Signification et Revendications
L'article postule que les nombres contiennent intrinsèquement la structure nécessaire à leur propre représentation. En rendant cette structure explicite via l'AOE, les modèles neuronaux peuvent atteindre des niveaux de fiabilité sur les tâches mathématiques symboliques qui échappent même aux plus grands LLM.

Les auteurs soutiennent que l'avenir du raisonnement de l'IA dépend de l'intégration des structures mathématiques des objets eux-mêmes, plutôt que du simple langage utilisé pour les décrire. L'AOE sert de preuve de concept montrant que des idées issues de la théorie algébrique des nombres peuvent fonctionner comme des composants interchangeables dans les architectures neuronales, suggérant une voie pour unir la rigueur symbolique à la scalabilité neurale.

Limites Reconnues par les Auteurs

Portée : Le cadre actuel est restreint aux nombres rationnels ( $\mathbb{Q}$ ) en raison de la définition de l'anneau des adèles. L'extension aux irrationnels, aux valeurs complexes ou aux constantes transcendantes nécessite de nouveaux outils théoriques.
Hyperparamètres : La sélection des nombres premiers et de la précision des chiffres est actuellement heuristique et manuelle ; des stratégies plus adaptatives sont nécessaires pour l'efficacité.
Coût Computationnel : Le pré-calcul et l'encodage positionnel 2D augmentent considérablement le temps d'entraînement par rapport aux embeddings standards.