🤖 machine learning

Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction

Cet article introduit un modèle de fondation sensible à la symétrie pour l'induction de règles logiques qui, en imposant une équivariance exacte grâce à un nouveau mécanisme d'exportation canonique, permet à un modèle préentraîné sur de petites données synthétiques de généraliser des règles interprétables et précises à des schémas nettement plus larges sans réentraînement.

Auteurs originaux : Yin Jun Phua

Publié 2026-08-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yin Jun Phua

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le dilemme du détective : trouver des règles dans un monde bruyant

Imaginez que vous êtes un détective essayant de résoudre un mystère, mais qu'au lieu de chercher des empreintes digitales, vous cherchez des motifs cachés dans un tas d'indices. Dans le monde de l'informatique, on appelle cela l'« induction de règles ». L'objectif est d'apprendre à un ordinateur à regarder un ensemble d'exemples — comme une liste de qui a acheté quoi, ou comment un produit chimique réagit — et à découvrir la règle simple de type « si-alors » qui explique tout. Le hic ? L'ordinateur doit être assez intelligent pour ignorer le bruit et les noms spécifiques des personnes ou des objets impliqués. Si la règle est « S'il pleut, l'herbe devient mouillée », peu importe que vous appeliez la pluie « eau tombant du ciel » ou « précipitations », ou que vous changiez l'ordre des exemples dans votre carnet de notes.

Pendant longtemps, les ordinateurs ont été très mauvais pour cela. Ils mémorisaient les noms spécifiques des indices (comme « Jean » ou « Atome 5 ») au lieu d'apprendre la logique réelle. Si vous leur donniez une nouvelle affaire avec des noms différents, ils étaient confus. C'est là qu'interviennent les « modèles de fondation » (foundation models). Voyez-les comme des étudiants super intelligents qui étudient des milliers de petits puzzles imaginaires pour apprendre le concept même de la logique, plutôt que de simplement mémoriser les réponses à des puzzles spécifiques. La grande question que se posent les chercheurs est la suivante : pouvons-nous construire un ordinateur qui apprend la forme de la logique si bien qu'il puisse résoudre de nouveaux puzzles, beaucoup plus grands, qu'il n'a jamais vus, sans avoir besoin de les étudier à nouveau ?

La grande idée de l'article : enseigner à la logique à ignorer le « Qui » et le « Quand »

Cet article présente une nouvelle méthode ingénieuse pour construire l'un de ces ordinateurs apprenant la logique, appelé le Modèle de Fondations Sensible à la Symétrie (Symmetry-Aware Foundation Model). L'auteur, Yin Jun Phua, a réalisé que la meilleure façon d'apprendre à un ordinateur à généraliser est de le forcer à respecter les « symétries ». Dans le langage courant, la symétrie signifie ici que l'ordinateur doit traiter le monde équitablement : il ne doit pas se soucier du fait que vous mélangiez l'ordre des exemples, renommiez les variables, basculiez un interrupteur de « on » à « off », ou inversiez les étiquettes « oui » et « non ».

Les chercheurs sont partis d'un modèle existant appelé le Neural Rule Inducer (NRI). Ce modèle était déjà plutôt bon ; il pouvait apprendre des règles à partir de petits ensembles de données bruités. Cependant, il présentait une faille : il s'appuyait sur des raccourcis basés sur l'ordre des données ou les noms spécifiques des atomes (les briques élémentaires de la logique). Si vous lui donniez un puzzle avec 1 000 atomes au lieu des 12 pour lesquels il avait été entraîné, il échouait car il s'appuyait sur ces noms spécifiques plutôt que sur la logique sous-jacente.

Pour corrir cela, l'auteur n'a pas réentraîné le modèle à partir de zéro. Au lieu de cela, il a construit une enveloppe « sensible à la symétrie » autour de celui-ci. Il a ajouté quelques ajustements architecturaux et une étape spéciale d'« exportation » qui agit comme un traducteur. Voici comment cela fonctionne en termes simples :

Les corrections architecturales : Ils ont supprimé les parties du modèle qui se souciaient de l'ordre des données ou des noms spécifiques des atomes. Ils ont rendu le modèle « aveugle » à ces détails non pertinents, le forçant à se concentrer uniquement sur les relations entre les indices.
L'« Exportation Canonique » : C'est l'invention phare de l'article. Lorsqu'un modèle devine une règle, il produit un ensemble de scores. La nouvelle méthode d'exportation prend ces scores et les traduit en une règle finale de manière très stricte et standardisée. Elle garantit que si vous échangez les noms des atomes dans l'entrée, la règle de sortie échange les noms de la même manière exacte. Si vous basculez un interrupteur, la règle bascule en retour. Elle fait cela sans avoir besoin d'apprendre quoi que ce soit de nouveau ; c'est une garantie mathématique intégrée dans le processus de traduction.

Ce qu'ils ont trouvé : Passer à l'échelle gratuitement

L'équipe a testé son nouveau modèle, qu'elle appelle G-NRI, sur des défis très difficiles.

Le « Test de Stress » : Ils ont entraîné le modèle sur de petits puzzles avec seulement 6 à 12 variables (atomes). Ensuite, ils ont gelé le modèle et lui ont demandé de résoudre des puzzles comprenant jusqu'à 1 024 variables. C'est 85 fois plus grand que ce pour quoi il avait été entraîné.
Le Résultat : Le modèle original (la référence) s'effondrait à mesure que les puzzles devenaient plus grands, tombant au niveau d'une supposition aléatoire. Mais le nouveau modèle G-NRI est resté solide. Il a maintenu une précision élevée et, surtout, les règles qu'il produisait étaient mathématiquement cohérentes. Si vous mélangiez l'entrée, la règle de sortie se mélangeait parfaitement pour correspondre.
Preuve dans le monde réel : Ils l'ont également testé sur 19 ensembles de données réels, comme des dossiers médicaux et des données chimiques. Bien qu'il n'ait pas battu les modèles spécifiquement entraînés pour chaque ensemble de données (ce qui est attendu pour un modèle « zero-shot »), il a nettement mieux performé que le modèle original, surtout sur les ensembles de données plus larges. En fait, sur certains grands ensembles de données, il a même battu la « classe majoritaire » (le simple fait de deviner la réponse la plus courante).

La conclusion : Une garantie mathématique, pas seulement une supposition

La partie la plus passionnante de cet article n'est pas seulement que le modèle est devenu meilleur ; c'est pourquoi il est devenu meilleur. L'auteur a prouvé que leur méthode d'« exportation canonique » est une garantie mathématique. Tant que les scores internes du modèle respectent les symétries, la règle finale doit aussi les respecter. Ce n'est pas un coup de chance ; c'est une propriété de la conception.

Ils ont découvert qu'en imposant ces symétries « par construction » (en les intégrant au système plutôt qu'en espérant que le modèle les apprenne), ils ont transformé un modèle de petites données en un outil réutilisable capable de gérer des problèmes massifs et complexes. Le modèle n'avait pas besoin d'être réentraîné pour les grands puzzles ; il avait juste besoin du bon « traducteur » pour lire ses pensées.

En bref, cet article montre que si vous apprenez à un ordinateur à ignorer les détails non pertinents (comme les noms et l'ordre) et à se concentrer uniquement sur la structure logique, il peut passer à l'échelle pour résoudre des problèmes dépassant largement son entraînement. C'est comme apprendre à un détective à reconnaître le schéma d'un crime plutôt qu'à mémoriser les visages des suspects, lui permettant ainsi de résoudre des affaires dans des villes qu'il n'a jamais visitées. L'auteur suggère que cette approche rend le modèle fiable pour le transfert « zero-shot », ce qui signifie qu'il peut passer de données d'entraînement synthétiques de petite taille à de vastes applications réelles avec un haut degré de confiance, tout en produisant des règles simples et faciles à lire pour les humains.

Résumé technique : Modèle de fondation conscient de la symétrie pour l'induction de règles

Énoncé du problème

L'induction de règles logiques vise à apprendre des hypothèses interprétables (spécifiquement des règles sous forme normale disjonctive, ou DNF) qui se généralisent à travers différents schémas propositionnels. Les approches existantes, telles que la programmation logique inductive (ILP) et l'apprentissage à partir de la transition d'interprétation (LFIT), peinent souvent face à des données bruitées, partiellement observées ou inédites. Bien que les méthodes neuro-symboliques offrent une tolérance au bruit, elles nécessitent généralement un entraînement par tâche, échouant ainsi à agir comme de véritables modèles de fondation capables de transfert zero-shot vers de nouveaux schémas.

Une barrière critique à la mise à l'échelle de ces modèles est la violation des symétries structurelles. Un inducteur de règles robuste doit respecter quatre symétries clés inhérentes aux problèmes logiques :

Ordre des exemples ( $S_M$ ) : Permuter l'ordre des exemples d'entraînement ne doit pas modifier la règle apprise.
Renommage d'atomes ( $S_N$ ) : Renommer les atomes (variables) doit entraîner un renommage correspondant de la règle.
Inversions de polarité ( $Z_2^N$ ) : Inverser la polarité d'un atome (ex. $x_j \to \neg x_j$ ) doit inverser le littéral correspondant dans la règle.
Permutation des étiquettes ( $Z_2^y$ ) : Échanger les étiquettes de sortie (0/1) doit résulter en le complément booléen de la règle apprise.

Les modèles de fondation précédents, tels que le Neural Rule Inducer (NRI), respectent l'ordre des exemples mais ne parviennent pas à maintenir l'équivariance sous le renommage d'atomes, l'inversion de polarité ou la permutation des étiquettes. Par conséquent, leurs performances se dégradent considérablement lorsqu'ils sont appliqués à des schémas plus grands que ceux vus lors de l'entraînement, et leurs règles exportées ne se transforment pas correctement sous les opérations de symétrie.

Méthodologie

Le papier propose G-NRI, une version du Neural Rule Inducer restaurée par la symétrie. La contribution centrale n'est pas un nouvel algorithme d'apprentissage, mais un mécanisme d'exportation canonique et des modifications architecturales spécifiques qui imposent une équivariance exacte par construction, sans nécessiter de réentraînement ni de paramètres apprenables supplémentaires.

1. Définition du groupe de symétrie

Le problème est formulé sous le groupe de symétrie $G = S_M \times B_N \times Z_2^y$ , où $B_N = S_N \ltimes Z_2^N$ représente les permutations d'atomes signés. Une application est $G$ -equivariante si elle commute avec chaque transformation de $G$ .

2. Corrections architecturales (Restauration de $B_N$ )

Pour garantir que la génération de scores interne du NRI est équivariante sous les permutations d'atomes et les inversions de polarité, trois modifications spécifiques sont apportées à l'encodeur et au décodeur :

Caractéristique de signe de littéral nulle : La caractéristique constante distinguant les littéraux positifs et négatifs est mise à zéro, empêchant le modèle de dépendre de représentations de signes fixes.
Désactivation des clés de contenu d'attention des exemples : Les clés apprises pour les exemples sont désactivées pour éviter que l'agrégation ne dépende d'ordonnancements spécifiques d'atomes.
Sélection par complétude de l'égalité (Tie-Complete Selection) : Au lieu de briser les égalités entre paires de littéraux par l'indice de l'atome (ce qui brise l'invariance par permutation), le modèle utilise une sélection "tie-complete" qui conserve toutes les paires ayant des scores égaux au $k$ -ième meilleur.
Embeddings moyennés par polarité : Pour l'équivariance $Z_2^N$ , les embeddings des paires sélectionnées sont moyennés sur leurs inversions de polarité.

3. Exportation de règle canonique (Restauration de $Z_2^y$ et de $G$ complet)

Le papier introduit une exportation canonique qui décode des règles discrètes à partir de scores de littéraux continus ( $p^+, p^-$ ) de manière mathématiquement garantie comme étant équivariante :

Score de présence ( $s_j$ ) : Défini comme $\max(p^+_j, p^-_j)$ , invariant aux permutations de polarité.
Contraste signé ( $d_j$ ) : Défini comme $p^+_j - p^-_j$ , qui change de signe sous l'inversion de polarité.
Logique de décision : Un atome est inclus si $s_j \ge 0,5$ et $d_j \neq 0$ . La polarité est déterminée par le signe de $d_j$ . Si $d_j = 0$ (égalité exacte), l'atome est omis (abstention) plutôt que d'assigner arbitrairement une polarité.
Sélection à double rail (Dual-Rail Selection) : Pour gérer les permutations d'étiquettes, le modèle moyenne les prédictions de deux "rails" (classes positives et négatives) et sélectionne la règle finale ou son complément de De Morgan via un comparateur invariant aux permutations d'étiquettes.
Abstention : L'exportation s'abstient (retourne une règle vide) en cas d'égalité exacte dans le processus de sélection plutôt que de briser l'égalité arbitrairement.

4. Entraînement et Inférence

Entraînement symétrisé : La fonction de perte est symétrisée en moyennant les prédictions sur les permutations d'étiquettes, bien que le papier note que la variante disponible uniquement à l'inférence (composants 1–4) atteint une précision quasi identique.
Mise à l'échelle Zero-Shot : Le modèle est entraîné sur de petits schémas synthétiques ( $N=6$ à $12$) et évalué sur des schémas allant jusqu'à $N=1024$ sans réentraînement.

Contributions clés

Formalisation de la symétrie dans l'induction de règles : Le papier cadre l'induction de règles binaires sous le groupe $G = S_M \times B_N \times Z_2^y$ , définissant l'équivariance comme l'exigence que la règle induite se transforme exactement comme les données d'entrée.
Exportation canonique avec garanties exactes : La contribution centrale est un mécanisme de décodage qui élève l'équivariance des scores continus vers la règle exportée discrète (Theorem 2 prouve que si les scores d'entrée sont $G$ -équivariants, l'exportation canonique produit une règle qui est exactement $G$ -équivariante, à équivalence logique près, sans réentraînement).
Validation empirique de la mise à l'échelle : L'auteur démontre qu'imposer ces symétries par construction permet à un modèle entraîné sur de petits schémas de passer à l'échelle de manière fiable vers des schémas beaucoup plus larges ( $N=1024$ ), là où le modèle de base se dégrade.

Résultats

L'évaluation utilise des tests de stress synthétiques et 19 jeux de données réels (incluant les benchmarks UCI, les problèmes de MONK, MUTAG et CLEVR-Hans3).

Équivariance exacte (RQ1) : Sur des données synthétiques, le G-NRI complet atteint 100 % d'équivalence de règle à travers 13 transformations de symétrie différentes. Sur des données réelles, le modèle maintient une équivariance exacte (1,000) pour 17 des 19 jeux de données lorsqu'il est restreint aux transformations valides pour le schéma (où la transformation préserve la validité de l'encodage). Cependant, sur les transformations brutes qui brisent la validité de l'encodage (spécifiquement sur les jeux de données Mushroom et MUTAG), l'équivalence de la règle tombe à 0,785, confirmant que la garantie tient spécifiquement pour les sous-groupes préservant l'encodage.
Fiabilité de la mise à l'échelle (RQ2) : Évalué sur des schémas allant jusqu'à $N=1024$ (85 $\times$ le maximum d'entraînement), le G-NRI maintient une précision stable sur l'ensemble de support et une fidélité de règle. En revanche, le modèle de base NRI se dégrade significativement, approchant la chance aléatoire à grand $N$ . Les corrections architecturales seules expliquent la majeure partie de ce gain.
Transfert sur données réelles (RQ3) : Sur 19 jeux de données réels, le G-NRI améliore la précision zero-shot par rapport au modèle de base, l'amélioration augmentant à mesure que la taille du schéma croît (ex. +5,67 points de pourcentage sur des schémas avec $N > 100$ ).
Qualité des règles : Les règles exportées sont compactes. En moyenne, le G-NRI induit des DNF avec environ 2 clauses et environ 6 littéraux, ce qui est nettement plus parcimonieux que les arbres de décision ou les bases de comparaison RIPPER, bien qu'avec une précision légèrement inférieure aux modèles entraînés par tâche (comme attendu pour le transfert zero-shot).

Signification et Revendications

Le papier affirme qu'imposer la symétrie par construction transforme un petit modèle pré-entraîné en un modèle de fondation réutilisable, interprétable et capable de transférer vers des schémas plus larges.

Propriété mathématique : L'auteur souligne que l'équivariance exacte de la règle exportée est une propriété mathématique du mécanisme d'exportation canonique, et non spécifique à l'architecture NRI. Tout inducteur fournissant des scores de littéraux $G$ -équivariants peut utiliser cet export.
Aucun réentraînement requis : La méthode atteint ces garanties sans réentraînement ni ajustement par jeu de données, n'ajoutant qu'un faible facteur constant au temps d'inférence (1,2–1,8 $\times$ ).
Portée modeste : L'auteur reste modeste quant à la compétitivité générale du modèle ; il ne surpasse pas tous les apprenants entraînés par tâche sur tous les indicateurs (ex. l'exactitude sur des problèmes multiclasses comme "car"). Cependant, il démontre avec succès que les contraintes de symétrie sont essentielles pour la fiabilité des modèles de fondation à schémas variables.

Le travail valide que le respect des symétries du domaine (nommage des atomes, polarité, permutation d'étiquettes) n'est pas seulement un objectif d'apprentissage, mais une nécessité structurelle pour l'échelle de l'induction logique au-delà de la distribution d'entraînement.