🤖 machine learning

LLMs Without Deep Neural Networks: New Architecture, Benefits and Case Study

Cet article présente une nouvelle architecture de LLM basée sur les réseaux à fonctions de base radiale (RBF) qui parvient à une optimisation globale en une seule itération sous forme fermée sans nécessiter l'entraînement de réseaux neuronaux profonds, offrant ainsi une explicabilité, une précision et une efficacité améliorées par rapport aux DNN standards.

Auteurs originaux : Vincent Granville

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vincent Granville

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée maîtresse : Une IA « sans entraînement »

Imaginez que vous vouliez construire une machine capable de répondre à des questions sur une entreprise spécifique (comme NVIDIA).

L'ancienne méthode (IA standard) : Vous nourrissez la machine avec des milliards de pages de texte. Vous passez ensuite des mois à l'« enseigner » en lui montrant des exemples et en corrigeant ses erreurs encore et encore (c'est ce qu'on appelle l'entraînement). C'est comme essayer d'apprendre un nouveau tour à un chien en le répétant des milliers de fois jusqu'à ce qu'il finisse par le réussir.
La nouvelle méthode (Le modèle de cet article) : L'auteur, Vincent Granville, affirme avoir construit une machine qui n'a pas besoin d'être « enseignée ». Au lieu d'apprendre par essais et erreurs, elle analyse les données et trouve instantanément la réponse parfaite en une seule étape. C'est comme donner au chien une carte et une boussole ; il n'a pas besoin de s'entraîner à marcher sur le chemin, car il peut calculer l'itinéraire instantanément.

Comment ça marche : L'« Index Super-Intelligent » vs la « Boîte Noire »

Les modèles d'IA standard sont souvent appelés des « boîtes noires » car même leurs créateurs ne comprennent pas pleinement comment ils parviennent à une réponse. Ils reposent sur des mathématiques complexes qui évoluent lentement au fil du temps.

Ce nouveau modèle est Explicable et fonctionne comme un Index de bibliothèque géant et intelligent :

Pas de « neurones » : Il n'utilise pas les réseaux de neurones profonds (DNN) complexes utilisés par l'IA standard.
Fonctions de base radiale (RBF) : Considérez cela comme une façon de mesurer la proximité entre deux éléments. Si vous posez une question, le modèle examine sa bibliothèque de textes et trouve les phrases exactes qui sont les plus « proches » de votre question.
Calcul en une seule étape (One-Shot) : Au lieu de deviner et de corriger, les mathématiques garantissent que si la réponse existe dans la bibliothèque, le modèle la trouvera parfaitement. Il résout l'énigme en une seule fois.

La magie du « Surapprentissage Bénigne » (Benign Overfitting)

Dans l'IA standard, le « surapprentissage » (overfitting) est une mauvaise chose. C'est comme un étudiant qui mémorise le manuel mot pour mot mais échoue à l'examen parce que les questions sont légèrement différentes.

L'auteur affirme que son modèle pratique ce qu'on appelle le « Surapprentissage Bénigne ».

L'analogie : Imaginez une carte météorologique. Les modèles standards pourraient tracer des lignes lisses et floues entre les villes, en devant la température entre elles. Ce modèle dessine une carte qui atteint la température exacte de chaque ville qu'il connaît (précision parfaite).
Le rebondissement : Même s'il « mémorise » parfaitement les villes, il est étonnamment bon pour deviner la température au milieu de la campagne (nouvelles données). L'auteur affirme que cela fonctionne même lorsque les données sont bruyantes ou désordonnées, agissant comme un filtre qui nettoie le signal.

L'étude de cas : Le test NVIDIA

L'auteur a testé cela sur un ensemble de données réelles provenant de NVIDIA (une entreprise technologique).

La tâche : Prédire le mot suivant dans une phrase ou trouver des expressions commerciales liées.
Le résultat : Le modèle a obtenu 96 % de bonnes réponses sur des données qu'il n'avait jamais vues auparavant.
Comparaison : L'auteur affirme que les modèles d'IA standard obtiennent généralement seulement 30 % à 55 % de bonnes réponses sur des tâches spécialisées similaires.
Efficacité : Alors que les modèles standards peuvent avoir besoin de milliards de « paramètres » (réglages internes) pour fonctionner, ce modèle en avait besoin de moins d'un million. C'est comme utiliser une calculatrice de poche plutôt qu'un supercalculateur pour résoudre un problème mathématique spécifique.

Caractéristiques clés mentionnées dans l'article

Déterministe (Reproductible) : Si vous posez la même question deux fois, vous obtenez exactement la même réponse à chaque fois. L'IA standard donne souvent des réponses légèrement différentes à chaque fois (comme lancer des dés). Ce modèle est comme une horloge ; il est précis et prévisible.
Pas de phase d'« entraînement » : Vous n'avez pas besoin de passer des semaines ou des mois à « entraîner » le modèle. Vous lui fournissez simplement les données, et il est prêt à l'emploi immédiatement.
Focus Spécialisé : Il n'est pas conçu pour écrire de la poésie ou résoudre des problèmes mathématiques généraux. Il est construit pour des Petits Modèles de Langage Spécialisés (SLM). Voyez cela comme un médecin spécialiste qui connaît tout sur une maladie spécifique, plutôt qu'un généraliste qui connaît un peu de tout.
Réglage en trois étapes (Three-Way Tuning) : Comme le modèle est déjà 100 % parfait sur les données qu'il connaît, vous ne pouvez pas utiliser la méthode de « test » standard pour l'améliorer. À la place, l'auteur utilise une étape intermédiaire spéciale (un ensemble d'optimisation) pour ajuster les réglages, un peu comme un chef qui goûte une sauce pendant qu'il cuisine plutôt que d'attendre qu'elle soit servie.

Ce qu'il N'EST PAS (D'après l'article)

Ce n'est pas une IA générale capable d'écrire du code ou de discuter de n'importe quel sujet sur Internet. Il se concentre sur des documents d'entreprise spécifiques.
Il n'utilise pas les mécanismes d'« attention » (les couches complexes de l'IA standard) pour lire de longs récits. Il se concentre sur des segments de texte courts et spécifiques (multi-tokens) pour trouver la bonne réponse commerciale.
L'article ne prétend pas que cela fonctionne pour le diagnostic médical, les essais cliniques ou la reconnaissance d'images en temps réel ; il se concentre sur la prédiction de texte et les données numériques dans un contexte commercial spécifique.

Résumé

L'article soutient que nous n'avons pas besoin de réseaux de neurones massifs, coûteux et de type « boîte noire » pour construire des IA puissantes pour des tâches commerciales spécifiques. En utilisant une approche mathématique appelée Fonctions de Base Radiale, nous pouvons construire un système plus rapide, moins cher, parfaitement précis sur les données connues, et étonnamment bon pour deviner de nouvelles données — le tout sans le processus fastidieux d'« entraînement » qu'exige l'IA standard.

Résumé Technique : Les LLM sans réseaux de neurones profonds

Problématique

L'article traite des limites des modèles de langage étendus (LLM) standards basés sur les réseaux de neurones profonds (DNN), spécifiquement la dépendance aux paramètres « boîte noire », le coût de calcul de l'entraînement via la descente de gradient, et le manque d'explicabilité. Bien que des recherches récentes aient exploré les réseaux à fonctions de base radiale (RBF) comme alternatives, de nombreuses implémentations existantes reposent encore sur les DNN pour optimiser les poids ou nécessitent un entraînement itératif. L'auteur postule la nécessité d'une architecture capable d'atteindre une grande précision et une explicabilité élevée sans l'étape « fastidieuse d'entraînement » des époques et de la descente de gradient, particulièrement pour des applications spécialisées et spécifiques à un domaine (Petits Modèles de Langage ou SLM) plutôt que pour des modèles génériques à l'échelle d'Internet.

Méthodologie

L'architecture proposée est un interpolateur RBF exact standard qui fonctionne comme une solution en forme fermée, éliminant totalement le besoin de DNN.

Formulation Mathématique Fondamentale

Le modèle prédit une valeur $f(x)$ en utilisant une somme pondérée de valeurs connues aux nœuds d'entraînement $\beta_k$ :
$f_{pred}(x) = \sum_{k=1}^{n} \omega_k(x) f(\beta_k) \exp[-\tau K(x, \beta_k)]$

Les différenciateurs techniques clés incluent :

Poids en Forme Fermée : Les poids $\omega_k(x)$ sont normalisés (leur somme est égale à 1) et dépendent de l'entrée $x$ et du noyau $K$ . Contrairement aux DNN, ceux-ci ne sont pas appris via la rétropropagation mais sont dérivés mathématiquement.
Interpolation Exacte : En fixant le paramètre $\tau \to \infty$ , le modèle atteint des prédictions exactes sur l'ensemble d'entraînement ( $f_{pred}(\beta_k) = f(\beta_k)$ ) quel que soit le reste des paramètres. Ceci est basé sur le Théorème 2.1, qui prouve la convergence ponctuelle pour les données numériques et textuelles.
Adaptation du Noyau pour le Texte :
- Pour les données numériques, un noyau gaussien multivarié est utilisé.
- Pour les données textuelles, le noyau $K(x, \beta_k)$ utilise une mesure d'association (par exemple, un PMI amélioré) entre les segments de texte. L'entrée $x$ (le prompt) et $\beta_k$ (le corpus) sont traités comme des séquences de multi-tokens (mots radicalisés ou acronymes) plutôt que comme des plongements vectoriels (embeddings) standards.
- Le modèle emploie une somme pondérée où les paramètres $\theta_j$ attribuent une importance à des positions spécifiques dans la séquence de tokens, implémentant ainsi un mécanisme d'attention.

Caractéristiques d'Implémentation

Absence de Phase d'Entraînement : Le modèle ne nécessite pas de boucle d'entraînement itérative. Il repose sur une division « tripartite » : un ensemble d'entraînement (pour l'appariement exact), un ensemble d'optimisation (pour ajuster les hyperparamètres comme $\tau$ et $\gamma$ ), et un ensemble de validation.
Surapprentissage Bénin : Le modèle est 100 % précis sur les données d'entraînement (surapprentissage par définition) tout en se généralisant bien aux données non vues. L'auteur attribue cela au fait que le modèle agit comme un filtre passe-haut ou un mécanisme de débruitage, similaire au krigeage en interpolation spatiale 2D, qui préserve mieux les variations locales que les modèles de lissage standards.
Mécanismes d'Efficacité :
- Auto-Distillation : Le système identifie et supprime les termes dans la somme où l'entrée $x$ et le nœud $\beta_k$ ne sont jamais des voisins proches, réduisant ainsi considérablement la charge de calcul.
- Hachage vs Vecteurs : Au lieu de plongements (embeddings) à virgule flottante de haute dimension, le système utilise des hachages imbriqués pour les chaînes de caractères, réduisant la surcharge mémoire.
- Déterminisme : Le modèle est entièrement déterministe et reproductible, utilisant un générateur aléatoire NPG personnalisé pour un contrôle de l'aléa (température) sans l'imprévisibilité des PRNG standards.

Contributions Clés

Architecture Sans DNN : L'article affirme être la première implémentation d'un LLM basé sur les RBF qui ne nécessite aucun DNN pour le calcul des poids, atteignant les optima globaux en une seule itération.
Performance de l'Ensemble d'Entraînement : Preuve théorique (Théorème 2.1) et démonstration empirique que le modèle atteint une précision de 100 % sur les données d'entraînement sans optimisation itérative.
Efficacité des SLM Spécialisés : Le modèle est conçu pour des corpus d'entreprise spécialisés, utilisant moins d'un million de paramètres (spécifiquement environ 15 000 multi-tokens uniques dans le cas d'étude) comparé aux milliards des LLM génériques, atteignant un gain d'efficacité d'environ 10 000x.
Explicabilité : Contrairement aux DNN, les paramètres du modèle (emplacements et échelles) sont interprétables, et le mécanisme de prédiction est transparent, reposant sur une logique de plus proches voisins et des fonctions de noyau explicites.

Résultats

L'article présente deux études de cas principales :

Données Synthétiques Numériques :
- Configuration : Un ensemble d'entraînement de $n=10^4$ observations avec $m=10^3$ dimensions, corrompues par un bruit important. 70 % des données d'entraînement ont été écartées pour les tests.
- Résultat : Bien que le R-carré sur les données d'entraînement bruitées soit tombé à 50 %, le modèle a atteint un taux de précision de 97 % sur l'ensemble de validation sans bruit, démontant une robuste récupération de signal dans des dimensions élevées.
Corpus de Texte NVIDIA (Tâche LLM) :
- Configuration : Un corpus de documents NVIDIA de $n=15 000$ multi-tokens uniques de taille $m=4$ . Tâches incluant la prédiction du prochain token et la recherche de multi-tokens associés.
- Résultat :
  - Prédiction du Prochain Token : A atteint un taux de prédiction correcte de 96 % en dehors de l'ensemble d'entraînement, surpassant nettement la plage de 30 à 55 % citée pour les modèles basés sur les transformers sur des tâches spécialisées similaires.
  - Sparsité : L'analyse a montré que pour 9 000 requêtes, moins de 20 nœuds (sur 15 000) étaient activés par requête, validant le potentiel de l'auto-distillation pour réduire la complexité de calcul.
  - Pertinence : Dans les cas où le prochain token exact n'était pas prédit, les suggestions alternatives du modèle étaient sémantiquement pertinentes (par exemple, prédire « 2022 » au lieu de « 2021 » dans un contexte financier).

Signification et Revendications

L'article positionne cette architecture comme une alternative validée au paradigme actuel dominé par les DNN, particulièrement pour les Petits Modèles de Langage (SLM) focalisés sur des réponses structurées et spécifiques à un domaine plutôt que sur la rédaction d'essais génératifs.

Efficacité : L'auteur affirme que la méthode élimine le besoin d'époques d'entraînement coûteuses et réduit le nombre de paramètres de plusieurs ordres de grandeur tout en maintenant ou dépassant la précision dans des domaines spécialisés.
Fiabilité : Le modèle offre une IA déterministe avec une pleine reproductibilité, répondant aux préoccupations liées à la nature stochastique des LLM standards.
Convergence de la Recherche : L'auteur note que des chercheurs chinois ont récemment découvert de manière indépendante des concepts de réseaux RBF similaires, validant l'approche, bien que l'implémentation spécifique de l'auteur demeure unique par son exclusion totale des DNN pour le calcul des poids.
Portée Future : La méthodologie est revendiquée comme applicable à la classification d'images, l'analyse de séries temporelles, et des tâches au-delà de la prédiction de tokens, telles que la recherche de synonymes et la suggestion de requêtes.

L'article conclut qu'en exploitant l'interpolation exacte et des corpus spécialisés, il est possible de contourner le « fléau de la dimensionnalité » et les goulots d'étranglement computationnels des transformers standards, offrant une alternative plus rapide, plus explicable et hautement précise pour l'intelligence d'affaires et les applications d'IA spécialisées.