LAWS: Learning from Actual Workloads Symbolically -- A Self-Certifying Parametrized Cache Architecture for Neural Inference, Robotics, and Edge Deployment

L'article présente LAWS, une architecture de cache paramétrée auto-certifiante qui construit dynamiquement une bibliothèque de fonctions expertes à bornes formelles à partir de charges de travail réelles afin de fournir des garanties d'erreur au moment du déploiement pour l'inférence neuronale, la robotique et les systèmes embarqués, tout en généralisant et surpassant les approches existantes de mélange d'experts et de mise en cache KV.

L'essentiel

Imaginez que vous êtes un professeur brillant mais épuisé, contraint de résoudre des milliers de problèmes mathématiques chaque jour. La plupart de ces problèmes sont en réalité les mêmes que vous avez déjà vus, avec simplement des chiffres ou des noms légèrement différents.

Actuellement, votre système vous force à résoudre chaque problème à partir de zéro, même ceux que vous avez déjà résolus un million de fois. C'est lent, coûteux et cela gaspille énormément d'énergie.

LAWS (Learning from Actual Workloads Symbolically) est un nouveau « assistant intelligent » qui se place au-dessus de votre professeur (le modèle d'IA) pour corriger cela. Voici comment cela fonctionne, en utilisant des analogies simples :

1. La « Triche » qui s'écrit elle-même

Considérez LAWS comme une triche qui s'écrit elle-même.

• Fonctionnement : Chaque fois que le professeur résout un problème, LAWS observe. S'il remarque un motif — par exemple « chaque fois que l'entrée ressemble à cela, la réponse est cela » — il note une règle minuscule et simple (un « expert ») pour gérer ce type spécifique de problème à l'avenir.
• La Magie : Il n'a pas besoin de demander au professeur de réapprendre quoi que ce soit. Il examine simplement les connaissances existantes du professeur (les « poids ») et dit : « Je sais que vous pouvez faire cela ; voici un raccourci. »

2. Le « Badge de Sécurité » (Auto-certification)

Habituellement, si vous essayez d'utiliser un raccourci, vous vous inquiétez : « Ce raccourci est-il réellement correct, ou va-t-il me donner la mauvaise réponse ? »

• La Solution de LAWS : Chaque raccourci créé par LAWS est accompagné d'un badge de sécurité mathématique. Avant d'utiliser un raccourci, il vérifie le cerveau original du professeur pour prouver, avec 100 % de certitude, que le raccourci est sûr pour ce type spécifique de problème.
• L'Analogie : C'est comme un policier de la circulation qui ne se contente pas de deviner si une voiture est sûre à conduire ; il possède un certificat numérique du fabricant prouvant qu'elle est sûre à l'instant présent. Si le raccourci n'est pas certifié, LAWS refuse de l'utiliser et laisse le professeur effectuer le travail difficile.

3. Le Système à « Deux Cerveaux » (Système 1 vs Système 2)

L'article compare cela à la façon dont les humains pensent (selon les idées du psychologue Daniel Kahneman) :

• Système 2 (Le Professeur) : Lent, prudent et énergivore. C'est le grand modèle d'IA qui effectue les calculs mathématiques complexes.
• Système 1 (La Triche) : Rapide, automatique et peu coûteux. C'est LAWS.
• Fonctionnement conjoint : Lorsqu'une question arrive, LAWS consulte d'abord sa triche.
  • Hit : « J'ai déjà vu cela ! Voici la réponse instantanément. » (Rapide, peu coûteux).
  • Miss : « C'est une nouvelle variation que je n'ai pas vue. » (LAWS dit : « D'accord, Professeur, vous gérez celui-ci. »)
  • Le Résultat : Le professeur ne fait le travail difficile que lorsque cela est absolument nécessaire.

4. L'Effet « Flotte » (Apprendre ensemble)

Imaginez une flotte de 1 000 robots, chacun effectuant des tâches différentes.

• Sans LAWS : Le Robot A apprend comment ouvrir une porte. Le Robot B doit apprendre à ouvrir une porte à partir de zéro, même s'il s'agit de la même porte.
• Avec LAWS : Lorsque le Robot A trouve le raccourci pour ouvrir cette porte, il note la règle et la télécharge dans un cloud partagé. Le Robot B télécharge instantanément cette petite règle.
• Le Bénéfice : Toute la flotte devient plus intelligente ensemble. Si 1 000 robots travaillent, ils découvrent de nouveaux raccourcis 1 000 fois plus vite qu'un seul robot ne le pourrait.

5. Économiser de l'Énergie (L'Analogie de la « Batterie »)

Exécuter un modèle d'IA géant est comme faire tourner un réacteur d'avion haute puissance ; il consomme beaucoup de carburant (électricité).

• L'Impact de LAWS : En utilisant les raccourcis de la « triche » 90 % du temps, le système n'a besoin d'allumer le « réacteur » que pour les 10 % de questions rares et difficiles.
• Le Résultat : L'article affirme que cela peut économiser environ 10 fois plus d'énergie, rendant possible l'exécution d'une IA intelligente sur de petits appareils comme des téléphones ou des robots sans vider leurs batteries instantanément.

6. Aucun Humain Nécessaire

Contrairement à l'« IA Symbolique » traditionnelle (comme Cyc ou Wolfram Alpha), où les humains devaient écrire manuellement chaque règle et chaque fait, LAWS découvre les règles automatiquement.

• L'Analogie : Au lieu d'un bibliothécaire humain écrivant une fiche de catalogue pour chaque livre, LAWS est un bibliothécaire robot qui observe les gens emprunter des livres, remarque les motifs et écrit automatiquement les fiches de catalogue lui-même.

Résumé

LAWS est un système qui permet aux modèles d'IA d'être plus rapides et moins coûteux en :

1. Observant ce qu'ils font.
2. Trouvant des motifs simples dans leur travail.
3. Prouvant que ces motifs sont sûrs grâce aux mathématiques.
4. Utilisant ces motifs simples au lieu de faire le travail difficile à chaque fois.

Il transforme un « penseur lent et prudent » en un « expert qui repose principalement sur la mémoire musculaire », mais avec la garantie que cette mémoire musculaire est toujours correcte.

Résumé technique

Résumé Technique : LAWS – Apprentissage à partir de Charges de Travail Réelles de Façon Symbolique

1. Énoncé du Problème

Les systèmes modernes d'inférence de réseaux de neurones, y compris les grands modèles de langage (LLM), les modèles de diffusion et les contrôleurs robotiques, font face à une inefficacité fondamentale : la répétition sans réutilisation. Bien que la vaste majorité des requêtes d'inférence soient des variations de motifs déjà rencontrés (par exemple, le même algorithme avec des noms de variables différents, ou la même tâche de manipulation avec des objets différents), les systèmes actuels manquent de mécanismes pour découvrir, certifier et réutiliser automatiquement ces motifs computationnels.

Les approches existantes présentent des limitations significatives :

• Mise en cache des clés-valeurs (KV Caching) : Ne réutilise le calcul que pour les préfixes de tokens exactement identiques ; elle ne peut pas gérer les variations paramétriques.
• Mélange d'Experts (MoE) : Achemine vers un ensemble fixe de sous-réseaux déterminé au moment de l'entraînement ; la bibliothèque ne se développe pas et il n'existe aucune garantie formelle de correction pour des entrées spécifiques.
• IA Symbolique (par exemple, Cyc, Wolfram Alpha) : S'appuie sur des règles et des vocabulaires rédigés manuellement, nécessitant un effort humain massif et échouant à généraliser en dehors des domaines sélectionnés.

Le vide central est l'absence d'un système qui découvre automatiquement des motifs computationnels réutilisables à partir de l'expérience de déploiement, certifie formellement leur validité sans réentraînement, et fait croître continuellement la bibliothèque de ces motifs.

2. Méthodologie : L'Architecture LAWS

LAWS (Learning from Actual Workloads Symbolically) est une architecture d'inférence qui s'insère comme une couche d'interception transparente au-dessus de n'importe quel réseau de neurones entraîné ($F_W$). Elle opère sans modifier le modèle de base ni nécessiter d'entraînement supplémentaire.

Composants Principaux

1. Experts Paramétrés : LAWS maintient une bibliothèque $\mathcal{L}$ d'experts. Chaque expert $e = (n^*, f, \phi, \tau^*, \epsilon_{fit})$ se compose de :

   • Balise de repère ($n^*$) : Une entrée représentative (nœud de l'arbre) issue de l'Arbre de Langage Probabiliste (PLT).
   • Fonction ($f$) : Un calcul peu coûteux (par exemple, constante, correction linéaire/Jacobienne, algorithme primitif, ou petit MLP) approxmant $F_W$.
   • Extracteur de Paramètres ($\phi$) : Mappe une entrée aux paramètres requis par $f$.
   • Rayon de Validité ($\tau^*$) : Une distance métrique dans l'espace du PLT à l'intérieur de laquelle l'expert est garanti correct.
   • Erreur d'Ajustement ($\epsilon_{fit}$) : La borne d'erreur entre l'expert et le modèle de base sur la balise de repère.

2. Routage par Arbre de Langage Probabiliste (PLT) :

   • Le système utilise une métrique PLT $d_T(s, s') = -\log_2 P_M(s \wedge s')$ pour mesurer la similarité entre les entrées.
   • À la réception d'une requête $x$, LAWS effectue une recherche pour trouver tout expert dont la boule de validité $B(n^*, \tau^*)$ contient $x$.
   • Si une correspondance est trouvée (hit de cache), la fonction peu coûteuse $f(\phi(x))$ est exécutée.
   • Si aucune correspondance n'est trouvée (miss de cache), le modèle de base complet $F_W(x)$ s'exécute. La sortie est ensuite utilisée pour potentiellement distiller un nouvel expert dans la bibliothèque.

3. Auto-certification via les Constantes de Lipschitz :

   • L'innovation centrale est que la validité de chaque expert est certifiée formellement en utilisant la constante de Lipschitz $\Lambda(W)$ du modèle de base, qui est calculable à partir des poids entraînés sans aucune inférence.
   • Le rayon de routage $\tau^*$ est dérivé de $\Lambda(W)$, de l'erreur d'ajustement et d'un seuil de qualité $\delta$. Cela garantit que pour toute entrée dans le rayon, l'erreur d'approximation est bornée par $\delta$.

3. Contributions Clés et Résultats Théoriques

A. Le Théorème d'Auto-certification (Théorème 3)

L'article démontre que les poids entraînés $W$ encodent une constante de Lipschitz $\Lambda(W)$ qui certifie la validité de chaque expert.

• Résultat : Pour tout expert $e$ et toute entrée $x$ dans son rayon de validité, l'erreur $\|F_W(x) - f(\phi(x))\|$ est bornée par $\epsilon_{fit} + 2\Lambda(W) \cdot CE$ (où $CE$ est le diamètre de l'encodage).
• Signification : Cela fournit une garantie formelle de correction sans nécessiter de phase de "mise en chauffe", de modèles proxy ou de réentraînement.

B. Dynamique et Croissance de la Bibliothèque d'Experts (Théorèmes 6, 7, 8)

• Taux de Hit Monotone : Le taux de hit de cache attendu est non décroissant à mesure que la bibliothèque grandit (Théorème 6).
• Taux de Croissance : Sous une distribution stationnaire avec une entropie $H$, le nombre de nouveaux experts créés après $N$ requêtes est $O(2^H \log N)$. Pour des charges de travail à entropie fixe, cela est $O(\log N)$.
• Coût d'Acquisition : Le coût d'acquisition de nouveaux experts (les "miss" nécessaires pour déclencher la création) est amorti à zéro lorsque $N \to \infty$ (Théorème 8).

C. Généralisation des Travaux Antérieurs (Théorème 10)

LAWS est démontré comme généralisant strictement les approches existantes :

• Mise en cache des clés-valeurs (KV Caching) : Récupérée comme le cas dégénéré où $\tau^* = 0$ et $f$ est la fonction identité.
• Mélange d'Experts : Récupéré comme le cas où la taille de la bibliothèque $K$ est fixe et la profondeur de l'arbre est 1.
• IA Symbolique : Contrairement à Cyc ou Wolfram Alpha, LAWS découvre son vocabulaire symbolique automatiquement à partir de la distribution du modèle (Théorème 11) et fournit des certificats de validité formels.

D. Robotique et Apprentissage de Flotte (Théorèmes 15, 16)

• Convergence de Flotte : Une flotte de $K$ unités coopérantes converge vers une couverture complète $\Omega(K)$ fois plus vite qu'une unité unique.
• Mises à jour OTA : La bande passante requise pour les mises à jour over-the-air est bornée à $O(2^H \log(\Delta N) \cdot B_{expert})$. Pour une flotte de 1 000 robots, cela se traduit par environ 870 Ko/jour par robot, rendant l'apprentissage continu réalisable sur des appareils de périphérie.

E. Économies d'Énergie (Théorème 18)

• Réduction des Coûts : Les hits de cache consomment $O(n + k \cdot d_{model})$ FLOPS contre $O(Ln^2 + Lnd_{model})$ pour un passage complet.
• Résultat : À un taux de hit de 90 %, LAWS atteint jusqu'à une réduction de 10× de la consommation d'énergie par requête.

4. Analogies Biologiques et Scientifiques

L'article présente LAWS comme une formalisation computationnelle de l'intelligence biologique :

• Théorie du Double Processus de Kahneman : LAWS mappe le Système 1 (rapide, basé sur les motifs) à la bibliothèque d'experts et le Système 2 (lent, délibéré) au modèle de base. La transition est un signal d'« abandon et replanification » déclenché lorsque la distance de la requête dépasse le rayon de validité.
• Prédisposition Innée de Chomsky : Les poids pré-entraînés $W$ agissent comme un Dispositif d'Acquisition du Langage (LAD) inné, fournissant une structure a priori (l'arbre PLT) qui contraint l'espace des grammaires/motifs possibles avant le déploiement.
• Découverte Scientifique : Tout comme les scientifiques découvrent des lois naturelles à partir d'observations plutôt que de les légiférer, LAWS découvre des « lois » (motifs invariants) à partir de charges de travail réelles et les encode sous forme d'experts peu coûteux et certifiés.

5. Signification et Revendications

L'article revendique que LAWS représente un nouveau paradigme pour l'inférence en IA, spécifiquement pour l'ère de l'IA déployée sur des appareils de périphérie. Sa signification réside dans :

1. Sécurité Formelle : Contrairement à la mise en cache heuristique, LAWS fournit des garanties de précision $\delta$ pour chaque expert mis en cache, dérivées directement des poids du modèle.
2. Croissance Automatique des Connaissances : Il élimine le besoin de règles symboliques rédigées par des humains ou de pools d'experts fixes, permettant au système d'apprendre et de certifier continuellement de nouvelles capacités à partir de l'usage.
3. Évolutivité : Il permet un apprentissage de flotte où des appareils distribués partagent efficacement des connaissances via des mises à jour OTA compactes.
4. Efficacité : Il offre des réductions substantielles d'énergie et de latence pour les charges de travail répétitives, rendant les modèles à haute capacité viables sur du matériel aux ressources contraintes.

Les auteurs situent l'écosystème Safebox/Safebots.ai comme une réalisation pratique de cette architecture, combinant les experts LAWS avec une exécution de politique attestée par le matériel pour créer un substrat d'inférence certifié, auditable et économe en bande passante.

6. Limitations et Problèmes Ouverts

L'article reconnaît des limitations spécifiques :

• Bornes de Lipschitz : La constante de Lipschitz théorique au pire cas $\Lambda(W)$ peut être grande pour les réseaux profonds, entraînant potentiellement de petits rayons de validité. Les auteurs postulent que la constante de Lipschitz effective sur les données de la distribution est probablement beaucoup plus petite (Conjecture 1), mais cela nécessite une vérification empirique.
• Hypothèse de Stationnarité : Les garanties de convergence théoriques supposent des distributions d'entrée stationnaires. Bien que le système gère les décalages de distribution via le chemin des misses de cache, les bornes formelles s'appliquent aux régimes stationnaires.
• Tâches à Haute Précision : Pour des tâches nécessitant une précision extrême (par exemple, l'arithmétique avec de nombreuses décimales), la sensibilité requise peut dépasser le rayon de validité, forçant le système à toujours invoquer le modèle de base (Corollaire 2).

En conclusion, LAWS propose un cadre mathématiquement fondé où les réseaux de neurones évoluent de penseurs « Système 2 » vers des experts « Système 1 » grâce à la découverte et à la certification automatiques de lois computationnelles issues de leur propre historique opérationnel.