🤖 machine learning

Learning in Infinitesimal Non-Compositional Sketches

Cet article introduit LINCS, un cadre catégorique qui redéfinit l'apprentissage automatique comme la recherche d'un point fixe coalgébrique au sein d'une tour de croquis à élévation tangente, traitant ainsi la non-compositionalité comme un échec de la factorisation universelle plutôt que comme une erreur arithmétique.

Auteurs originaux : Sridhar Mahadevan

Publié 2026-07-17

📖 11 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sridhar Mahadevan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La grammaire cachée des machines apprenantes

Imaginez que vous essayiez d'apprendre à un robot à jouer à un jeu vidéo. Dans le monde de l'apprentissage automatique, la méthode standard pour y parvenir consiste à donner au robot une fiche de score. S'il commet une erreur, le score baisse ; s'il réussit bien, le score monte. Le robot ajuste ensuite ses paramètres internes pour obtenir un meilleur score la prochaine fois. C'est ce qu'on appelle l'« optimisation », et cela fonctionne incroyablement bien pour tout, de la reconnaissance de chats sur des photos à la traduction de langues. Mais il y a un piège : cette méthode traite le cerveau du robot comme une boîte noire. Elle ne s'intéresse qu'au chiffre final, ignorant comment le robot y est parvenu ou si la logique qu'il a utilisée fait réellement sens.

Maintenant, imaginez qu'au lieu de simplement regarder le score final, vous puissiez regarder à l'intérieur du cerveau du robot pour voir si ses pensées « tiennent ensemble » correctement. En mathématiques et en informatique, cette idée de choses qui s'emboîtent parfaitement s'appelle la « compositionalité ». C'est comme vérifier si les engrenages d'une horloge s'emboîtent harmonieusement ou si les phrases d'une histoire s'enchaînent logiquement. Parfois, un robot apprend à tricher : il peut obtenir la bonne réponse pour la mauvaise raison, ou sa logique interne peut s'effondrer si on l'examine de près. Ce document, intitulé « Learning in Infinitesimal Non-Compositional Sketches » (ou LINCS pour faire court), provient du domaine de l'apprentissage automatique catégorique. C'est une façon sophistiquée d'utiliser les règles des mathématiques abstraites (plus précisément la théorie des catégories) pour décrire comment les machines apprennent. Le document pose une question profonde : que se passe-t-il lorsque nous ne regardons pas seulement les erreurs du robot, mais aussi comment ces erreurs changent lorsque nous donnons un petit, très petit coup de pouce au cerveau du robot ?

La grande idée du papier : Le test du « petit coup de pouce »

Ce document propose une nouvelle façon de penser l'apprentissage automatique appelée LINCS. Au lieu de simplement demander : « Le robot a-t-il eu la bonne réponse ? » (ce qui est généralement un simple oui ou non, ou un nombre), LINCS demande : « La logique du robot est-elle brisée, et si nous secouons légèrement son cerveau, la brèche s'aggrave-t-elle, reste-t-elle la même ou se répare-t-elle toute seule ? »

Les auteurs suggèrent que chaque fois qu'un modèle d'apprentissage automatique échoue, ce n'est pas seulement une erreur mathématique ; c'est un échec de la composition. Imaginez que vous construisiez une tour avec des blocs. Si la tour tombe, un enseignant normal dira simplement : « Tu as perdu des points. » Un enseignant LINCS, cependant, regarderait la tour et dirait : « Les blocs ne s'emboîtaient pas parce que le bloc du bas était incliné. » Mais LINCS va encore plus loin. Il demande : « Si je pousse ce bloc du bas d'une quantité microscopique, est-ce que toute la tour vacille d'une manière qui révèle une faille cachée ? »

Dans le langage du document, ce « petit coup de pouce » est appelé un infinitésimal. Les auteurs traitent le processus d'apprentissage comme une carte. Si la carte est parfaite, chaque chemin mène à la bonne destination. Si la carte est brisée, les chemins ne s'alignent pas. LINCS prend cette carte brisée et crée une version « tangente » de celle-ci — une carte de la carte. Il vérifie si les petites erreurs de la carte originale ne parviennent pas non plus à s'aligner dans la nouvelle version, plus zoomée. Si c'est le cas, le modèle présente un problème structurel profond qu'une simple fiche de score ne remarquerait pas.

Le « Lever Tangentiel » : Voir l'invisible

Le cœur du document est un concept appelé le Lever Tangentiel (Tangent Lift). Considérez un modèle d'apprentissage automatique comme une machine complexe avec de nombreuses pièces mobiles. Habituellement, nous ne regardons la machine que lorsqu'elle fonctionne normalement. Le Lever Tangentiel est comme si vous placiez la machine sous un microscope qui ne se contente pas de vous montrer les pièces, mais vous montre comment les pièces bougent lorsque vous secouez légèrement la machine.

Le document soutient que beaucoup de méthodes actuelles d'apprentissage automatique sont comme conduire une voiture en ne regardant que le tachymètre. Vous savez à quelle vitesse vous allez, mais vous ne savez pas si le moteur raten la combustion ou si les roues sont sur le point de se détacher. LINCS est comme l'ajout d'un tableau de bord qui montre la vibration du moteur. Si la vibration (l'« infinitésimal non-compositionalité ») est trop élevée, cela signifie que la conception de la voiture est défectueuse, même si elle roule vite actuellement.

Les auteurs définissent cette « vibration » comme une obstruction. En mathématiques, une obstruction est quelque chose qui empêche l'existence d'une solution parfaite. Dans LINCS, une obstruction est le signe que la logique interne du modèle est incohérente. Le document montre que si un modèle apprend réellement les bonnes règles, ces obstructions devraient disparaître non seulement pour la tâche principale, mais aussi pour chaque petit « coup de pouce » de la tâche. Si les obstructions persistent lorsque vous donnez un coup de pouce au modèle, cela signifie que le modèle ne fait que mémoriser des motifs plutôt que de comprendre la structure sous-jacente.

Du désordre global aux corrections locales

L'une des parties ingénieuses du document est la manière dont il gère les problèmes vastes et complexes. Imaginez que vous essayiez de réparer un énorme nœud de laine emmêlé. Il est difficile de voir où se situe le problème. LINCS suggère de décomposer le nœud en petites boucles. Si une petite boucle est emmêlée, vous réparez cette boucle. Le document prouve que si vous réparez correctement toutes les petites boucles, le gros nœud finira par se démêler. C'est ce qu'on appelle la localisation de l'obstruction.

Dans le monde des réseaux de neurones (le type d'IA utilisé dans des choses comme les chatbots), cela signifie que vous n'avez pas besoin de regarder tout le cerveau à la fois. Vous pouvez regarder juste une couche du réseau, voir si son petit « coup de pouce » provoque une rupture de logique, et réparer cet endroit spécifique. Le document montre que cette méthode de réparation de petites pièces fonctionne aussi bien pour la version « coup de pouce » du problème que pour le problème original. C'est un événement majeur car cela signifie que nous pouvons construire une IA meilleure et plus stable en réparant ces petites cassures logiques cachées avant qu'elles ne causent de grosses erreurs.

La « Tour » de l'apprentissage

Le document introduit également une idée fascinante appelée point fixe coalgébrique. Cela semble compliqué, mais c'est en réalité assez simple. Imaginez que vous épluchiez un oignon. Vous épluchez une couche, puis une autre, puis une autre. Habituellement, vous vous arrêtez quand vous atteignez le cœur. Mais avec LINCS, vous continuez à éplucher. Vous regardez le cœur, puis vous regardez le « cœur du cœur », et ainsi de suite.

Les auteurs suggèrent qu'un modèle d'apprentissage véritablement parfait est un modèle où, après avoir épluché suffisamment de couches (ou appliqué suffisamment de « levers tangentiels »), vous ne trouvez plus de nouveaux problèmes. La « vibration » ou l'« obstruction » cesse de changer. Le modèle a atteint un état stable. Le document utilise des mathématiques avancées pour prouver que si vous continuez ce processus d'épluchage, vous finirez par atteindre un point où la logique du modèle est si cohérente qu'aucun coup de pouce minuscule ne pourra la briser. C'est le « point fixe ». C'est le moment où l'IA a véritablement « appris » les règles du jeu, et pas seulement les réponses.

Ce que le papier écarte et ce qu'il suggère

Il est important de noter ce que ce papier ne dit pas. Les auteurs ne prétendent pas que nous devrions abandonner l'ancienne façon d'entraîner l'IA (en utilisant des scores et des pertes simples). Ils affirment explicitement que l'ancienne méthode est puissante et utile. Au lieu de cela, ils suggèrent que l'ancienne méthode est incomplète. Ils s'opposent à l'idée qu'un petit score d'erreur signifie que le modèle est parfait. Un modèle peut avoir un score d'erreur infime mais posséder toujours une logique interne brisée qui échouera lorsque le monde réel deviendra étrange.

Le document écarte également l'idée que nous devons inventer des mathématiques entièrement nouvelles pour corriger cela. Au lieu de cela, ils montrent que nous pouvons utiliser des outils mathématiques existants (comme les « catégories tangentes » et les « croquis » ou sketches) pour recadrer le problème. Ils ne prétendent pas avoir résolu tous les problèmes d'apprentissage automatique pour l'instant. En fait, ils admettent que si les mathématiques prouvent que ces « états stables » existent, le fait de les trouver réellement dans l'IA du monde réel (comme les modèles géants qui écrivent des histoires ou conduisent des voitures) est encore un travail en cours. Ils mentionnent que des expériences sont actuellement menées pour voir si cette théorie fonctionne en pratique pour des choses comme les grands modèles de langage et l'apprentissage par renforcement, mais les résultats de ces expériences spécifiques sont décrits comme étant « en cours » plutôt qu'achevés.

Le « Crochet de Lie » et le langage secret de l'IA

L'un des concepts les plus ludiques et profonds du document est le crochet de Lie (Lie bracket). En termes simples, c'est une façon de mesurer comment deux actions différentes dans une machine interfèrent l'une avec l'autre. Imaginez que vous dansez. Si vous tournez vers la gauche puis faites un pas en avant, vous arrivez à un endroit différent que si vous faites un pas en avant puis tournez vers la gauche. La différence entre ces deux résultats est le « crochet de Lie ».

Le document suggère que dans une IA bien apprise, ces « mouvements de danse » (ou opérations internes) doivent s'emboîter parfaitement. S'ils ne le font pas, cela signifie que l'IA est confuse quant à l'ordre des choses. Les auteurs montrent qu'en vérifiant ces crochets de Lie, nous pouvons trouver des failles cachées dans la façon dont les modèles d'IA gèrent des choses comme le langage ou la prise de décision. Par exemple, si une IA est censée comprendre que « mélanger les mots dans une phrase » ne devrait pas changer le sens, mais que c'est le cas, le crochet de Lie peut détecter exactement où se produit cette confusion.

Pourquoi cela importe pour l'avenir

Alors, pourquoi un adolescent curieux devrait-il s'en soucier ? Parce que l'IA du futur doit être plus qu'une simple devineresse intelligente. Elle doit être un penseur logique. Si nous entraînons seulement l'IA à minimiser des scores, nous risquons de nous retrouver avec des modèles qui sont excellents pour réussir des tests mais terribles pour comprendre le monde. Ils pourraient être fragiles, s'effondrant dès que quelque chose d'un peu inattendu se produit.

LINCS offre une voie pour construire une IA robuste et fiable. En vérifiant les « petits coups de pouce » et en s'assurant que la logique tient bon sous la pression, nous pouvons créer des machines qui ne font pas que mimer le comportement humain, mais qui comprennent réellement la structure des problèmes qu'elles résolvent. Le document suggère que la prochaine génération d'IA ne sera pas seulement entraînée sur des données, mais entraînée sur la cohérence. Il s'agit d'apprendre à la machine à construire une tour de logique qui ne vacille pas, même quand le sol tremble.

Les auteurs concluent que ce cadre est un nouveau prisme à travers lequel voir l'apprentissage automatique. Il transforme le processus chaotique et désordonné de l'entraînement de l'IA en un voyage structuré de réparation de la logique brisée, couche par couche, jusqu'à ce que la machine atteigne un état de compréhension stable et parfaite. Bien que les mathématiques soient lourdes, l'idée est simple : ne vérifiez pas seulement la réponse ; vérifiez la pensée. Et si la pensée vacille lorsqu'on lui donne un petit coup de pouce, réparez le vacillement avant de passer à la suite.

Résumé Technique : Apprentissage dans les Esquisses de Non-Compositionalité Infinitésimale (LINCS)

Énoncé du Problème
Le paradigme dominant de l'apprentissage automatique (ML) repose sur l'optimisation : la minimisation d'une fonction de perte scalaire. Cependant, cette approche occulte souvent les défaillances structurelles sous-jacentes des modèles d'apprentissage. De nombreux objectifs d'apprentissage — tels que la prédiction supervisée, les résidus de Bellman en apprentissage par renforcement, ou le collage de faisceaux (sheaf gluing) — peuvent être vus comme des scalarisations d'un « échec de composition ». En termes catégoriques standards, un modèle $D$ échoue à être compositionnel s'il ne peut pas se factoriser à travers une esquisse de quotient $q_D: J \to J/\sim_D$ qui encode la commutativité voulue et les contraintes universelles (limites/colimites).

Les méthodes actuelles mesurent généralement cet échec via une erreur arithmétique (par exemple, $g \circ f - f \circ g$ ). L'article soutient que cette scalarisation rejette l'information structurelle. Plus précisément, il demande si l'échec de la compositionnalité persiste ou se comporte de manière cohérente sous des perturbations infinitésimales. Si un modèle échoue à composer, son élévation tangente (représentant les changements infinitésimaux de paramètres, d'états ou d'embeddings) échoue-t-elle également à composer ? L'article postule que l'apprentissage doit être reformulé non pas simplement comme la minimisation d'une erreur scalaire, mais comme la réparation de la « non-compositionnalité » et l'assurance de la cohérence de son « transport infinitésimal ».

Méthodologie
L'article introduit les LINCS (Learning in Infinitesimal Non-Compositional Sketches), un cadre catégorique qui reformule le ML comme la réparation de diagrammes non-compositionnels élevés dans un cadre de catégorie tangente.

Esquisses d'Apprentissage (Learning Sketches) : Un problème d'apprentissage est spécifié par une esquisse $S = (S, D, L, K)$ , où $S$ est un graphe d'opérations formelles, $D$ représente les conditions de commutativité, et $L, K$ représentent les contraintes de limite et de colimite. Un modèle $D: J \to C$ est compositionnel s'il se factorise à travers le quotient $q_D$ . La non-compositionnalité est définie comme l'obstruction à cette factorisation, notée $\text{Obs}(\text{Fact}_S(D))$ .
Esquisses d'Apprentissage Tangentes : Le cadre équipe les esquisses d'apprentissage d'une structure tangente (suivant Cockett et Crutthen). Cela permet de définir une Esquisse d'Apprentissage Tangente, où les contraintes d'apprentissage doivent rester stables sous le foncteur tangent $T$ .
Non-Compositionnalité Infinitésimale (INC) : L'objet central est l'INC, défini comme l'obstruction à la factorisation du modèle élevé en tant que tangente :
$\text{INC}(D) := \text{Obs}(\text{Fact}_S(TD))$
Ceci demande si les perturbations infinitésimales du modèle préservent les contraintes de compositionnalité.
Profils d'Interaction et Ordres Supérieurs : Au-delà de la première élévation tangente, le cadre incorpore des signatures d'interaction.
- Fermeture par crochet de Lie : Teste si la distribution des directions tangentes admissibles est involutive (fermée sous le crochet de Lie).
- Profils conscients de la connexion : Distingue les interactions de second ordre antisymétriques (crochet) et symétriques (accélération), permettant une spécialisation propre à l'esquisse plutôt que d'imposer l'antisymétrie.
Formulation Coalégébrique : L'application itérative de l'élévation tangente ( $D, TD, T^2D, \dots$ ) est modélisée comme un endofoncteur $T_{\text{INC}}$ . L'apprentissage est formulé comme la recherche d'un point fixe coalégébrique ( $\nu T_{\text{INC}}$ ) où les dépliages tangents successifs se stabilisent.

Contributions Clés
L'article apporte les contributions théoriques suivantes :

Définition de l'INC : Il définit formellement la Non-Compositionnalité Infinitésimale comme l'élévation tangente de l'échec de factorisation de diagramme, allant au-delà des résidus scalaires.
Localisation de l'Obstruction : Il formule une décomposition fonctorelle de la non-compositionnalité globale en signaux locaux compatibles, prouvant que cette décomposition est préservée sous l'élévation tangente.
Catégories LINCS : Il définit les objets, les morphismes et les axiomes des catégories LINCS, incluant l'exigence que les champs d'optimiseurs descendent à travers les redondances de présentation (par exemple, la fixation de jauge dans les modèles paramétrés).
Enrichissement par Interaction : Il introduit l'INC enrichi par interaction, distinguant la spécialisation antisymétrique intrinsèque (crochets de Lie) de l'accélération symétrique dépendante de la connexion.
Théorèmes d'Existence et de Convergence :
- En utilisant le théorème d'Aczel–Mendler, il prouve l'existence d'une coalgebra finale pour l'INC dès lors que l'endofoncteur admet une réalisation de classe basée sur des ensembles.
- En utilisant le théorème de Barr, il fournit une alternative de taille finie pour les réalisations accessibles avec une borne de cardinalité régulière sur le porteur final.
- Pour les réalisations métriques complètes où $T_{\text{INC}}$ est contractante, il prouve l'existence et l'unicité du comportement stabilisé, la convergence géométrique de la tour exacte, et des bornes d'erreur finies pour les dépliages approximatifs.
Propriétés Universelles : Il propose que les catégories LINCS agissent comme une « complétion libre » des catégories d'apprentissage de base, ajoutant universellement la structure de factorisation infinitésimale.

Résultats et Exemples
L'article illustre le cadre à travers des instances concrètes où l'« élévation tangente » révèle des propriétés structurelles invisibles aux pertes scalaires ordinaires :

Équivariance des Transformers : Tandis qu'une perte de base peut mesurer la rupture de symétrie au niveau de la sortie, la tour INC diagnostique où et à quel ordre différentiel un modèle s'écarte de l'équivariance (par exemple, en distinguant les effets de courbure d'une simple rupture de symétrie).
GIRL (Gradient Infinitesimal RL) : Élève l'équation de Bellman pour demander si les perturbations infinitésimales des états, des valeurs ou des récompenses préservent la cohérence de Bellman.
Backpropagation Diagrammatique (DB) : Généralise la DB (qui répare les diagrammes non-commutatifs) au niveau tangent, demandant si les changements infinitésimaux dans les logits ou les contraintes préservent la cohérence locale-globale (par exemple, dans la résolution de Sudoku).
ALLORA & LASKO : Applique le cadre aux adaptateurs algébriques de Lie et à l'optimisation de compétences, utilisant la fermeture par crochet et les profils de connexion pour détecter les interactions sensibles à l'ordre dans la composition de compétences.

Signification et Revendications
L'article affirme que LINCS offre une reformulation par catégorie tangente de l'apprentissage automatique. Sa signification réside dans :

Aperçu Structurel : Il expose les propriétés structurelles des modèles (comme les modèles de langage) qui sont invisibles aux objectifs scalaires ordinaires.
Vue Unifiée : Il unifie divers paradigmes d'apprentissage (apprentissage profond, RL, découverte causale, apprentissage de faisceaux) sous un seul motif d'« élévation tangente de factorisation ».
Stabilité Coalégébrique : Il reformule l'apprentissage comme une recherche de dépliages tangents stables, fournissant une base mathématique rigoureuse pour déterminer quand un processus d'apprentissage a « convergé » structurellement, et non seulement numériquement.
Calcul Contingent : Il souligne que bien que le cadre catégorique soit rigoureux, l'admission computationnelle de signaux d'interaction spécifiques (comme l'accélération symétrique par rapport aux crochets de Lie) est contingente et propre à chaque esquisse, évitant ainsi d'imposer une géométrie unique « correcte » à tous les problèmes d'apprentissage.

L'article conclut que bien que la validation expérimentale soit en cours dans des articles compagnons, le cadre théorique établit avec succès que « tout problème de compositionnalité d'apprentissage possède une élévation tangente », et que la compréhension de cette élévation est essentielle pour un apprentissage robuste et structurellement cohérent.