Generate in the Chart, Not on the Boundary: Function-Symbol Grounding for Hard Constraints in LTN-GANs

Dans le monde de l'intelligence artificielle, les machines sont devenues remarquablement douées pour imiter les motifs du monde réel. Elles peuvent générer des photos de visages fausses mais d'apparence réaliste, inventer des articles de presse aux sonorités plausibles, ou créer des enregistrements synthétiques d'horaires de vols ou de réactions chimiques. Ces outils sont précieux pour les scientifiques et les ingénieurs qui ont besoin de plus de données pour tester des théories ou entraîner d'autres systèmes, surtout lorsque les données réelles sont rares ou trop sensibles pour être partagées. Cependant, il y a un piège. Le fait qu'une machine crée quelque chose qui semble statistiquement similaire à la réalité ne signifie pas qu'elle respecte les règles fondamentales qui régissent le réel. Un enregistrement de vol synthétique pourrait montrer un avion arrivant avant son décollage, ou une molécule chimique pourrait être générée avec un équilibre énergétique impossible. Ces erreurs violent les lois strictes de la physique et de la logique auxquelles les données réelles obéissent. Le défi pour les chercheurs est de construire des générateurs qui non seulement paraissent réalistes, mais qui respectent également strictement ces règles inviolables, produisant des données qui sont à la fois crédibles et logiquement cohérentes.

Pendant des années, l'approche standard pour corriger ces erreurs logiques a consisté à les traiter comme des suggestions souples. Dans cette méthode, l'ordinateur reçoit une pénalité chaque fois qu'il enfreint une règle, l'encourageant à faire mieux au fil du temps. Bien que cela aide, cela ne garantit jamais la perfection ; la machine peut encore occasionnellement commettre des erreurs, échangeant une violation de règle contre une image légèrement plus esthétique. Une méthode plus récente et plus stricte implique une « couche de contrainte », une barrière mécanique située à la fin du processus de génération. Si la machine produit un échantillon qui enfreint une règle, cette barrière force physiquement les nombres à changer juste assez pour rendre l'échantillon valide. Cela fonctionne comme un filet de sécurité, garantissant que chaque sortie est techniquement correcte. Mais les chercheurs Nijesh Upreti et Vaishak Belle, de l'Université d'Édimbourg, ont découvert une faille cachée dans ce filet de sécurité. Ils ont découvert que si la barrière garantit la validité de l'échantillon, elle détruit souvent les subtiles variations naturelles qui rendent les données réalistes.

Le problème réside dans la manière dont ces règles sont appliquées. De nombreuses règles scientifiques sont des inégalités, telles que « la température doit être supérieure à zéro » ou « l'heure de l'arrivée doit être après l'heure du départ ». Dans le monde réel, ces écarts ne sont pas simplement de zéro ou de un ; ils possèdent une dispersion naturelle. Un vol peut être retardé de quelques minutes, ou une réaction chimique peut avoir une petite réserve d'énergie. Lorsque la barrière de sécurité standard corrige une violation, elle pousse l'échantillon juste au bord de la zone autorisée, rendant l'écart exactement nul. Elle fait cela pour chaque échantillon qui était même légèrement erroné. Le résultat est un ensemble de données où chaque entrée est valide, mais où la distribution naturelle de ces écarts a disparu. Les données semblent parfaites sur une liste de contrôle, mais elles semblent plates et artificielles car les subtiles variations qui définissent le monde réel ont été écrasées en un point unique. Upreti et Belle appellent cela l'« effondrement » de la distribution de la marge, et ils ont montré que cela se produit si discrètement que les tests standards passent souvent à côté, laissant les chercheurs avec des données qui semblent bonnes mais qui sont fondamentalement déformées.

Pour résoudre cela, les chercheurs ont développé une nouvelle façon de concevoir la construction de leurs échantillons par la machine. Au lieu de générer un échantillon complet puis de vérifier s'il enfreint les règles, ils ont changé le plan directeur lui-même. Ils ont introduit une méthode appelée « ancrage par symbole de fonction » (function-symbol grounding), qui agit comme un système de coordonnées à l'intérieur de la zone autorisée. Imaginez que la machine ne cherche plus à atteindre une cible pour ensuite corriger sa visée ; elle dessine plutôt une carte de toute la zone sûre et choisit un point directement à l'intérieur de celle-ci. La machine génère un nombre libre, non contraint, puis une fonction mathématique spécifique traduit ce nombre en une valeur qui est garantie comme étant valide. Cette traduction se fait en ajoutant une petite quantité positive à une valeur de base, garantissant que la règle est satisfaite par construction. Parce que la machine construit l'échantillon de l'intérieur vers l'extérieur, elle n'a jamais besoin d'être forcée ou bridée. Les variations naturelles, les « marges » entre les valeurs, restent intactes et sont apprises comme n'importe quelle autre caractéristique des données.

L'équipe a testé cette approche sur quatre ensembles de données complexes et à haute résolution impliquant la chimie, les propriétés moléculaires et les registres de trajets de taxis. Dans chaque cas, l'ancienne méthode de bridage produisait des données 100 % valides, mais avec une distribution déformée des écarts entre les valeurs. La nouvelle méthode, cependant, produisait des données également 100 % valides, tout en préservant parfaitement la dispersion naturelle de ces écarts. La différence était frappante : la nouvelle méthode réduisait l'erreur de la distribution de ces écarts jusqu'à vingt-cinq fois par rapport à l'ancienne méthode. Les chercheurs ont également constaté qu'ils pouvaient prédire quand l'ancienne méthode échouerait avant même de commencer l'entraînement. Ils ont calculé un ratio simple basé sur la taille des données par rapport à la taille de l'écart de la règle. Lorsque ce ratio était élevé, signifiant que l'écart était minuscule par rapport aux données, l'ancienne méthode faisait systématiquement s'effondrer la distribution. La nouvelle méthode fonctionnait quel que soit ce ratio, agissant efficacement comme un correctif universel pour ces types de contraintes.

L'étude a également abordé une question pratique : qu'en est-il des règles impliquant des nombres entiers ou des catégories discrètes, où l'« écart » n'est pas une courbe lisse mais un point unique ? Les chercheurs ont découvert que leur nouvelle méthode fonctionne mieux pour les règles lisses et continues, tandis que l'ancienne méthode de bridage est en fait meilleure pour ces cas discrets. Pour obtenir le meilleur des deux mondes, ils ont créé un système hybride. Avant de commencer l'entraînement, le système analyse chaque règle pour voir si elle est lisse ou discrète, puis choisit automatiquement le meilleur outil pour la tâche. Il utilise la nouvelle méthode de l'intérieur vers l'extérieur pour les règles lisses et l'ancienne méthode de bridage pour les cas discrets. Testé contre les meilleurs benchmarks existants, ce système hybride a égalé ou dépassé les performances de la méthode de bridage standard sur tous les ensembles de données, tout en surpassant nettement cette dernière sur les cas difficiles à haute résolution où l'ancienne méthode échouait.

Ce travail change notre façon de concevoir la génération de données contraintes. Il montre que rendre les données valides ne suffit pas ; les données doivent aussi être réalistes dans leurs variations. En passant d'un système qui corrige les erreurs après qu'elles se produisent à un système qui intègre la validité dans la structure même des données, les chercheurs ont créé un moyen de générer des données synthétiques qui sont non seulement sûres, mais aussi fidèles à la réalité complexe et nuancée qu'elles sont censées représenter. Les conclusions suggèrent que pour toute application où les différences subtiles entre les valeurs comptent — de la conception de nouvelles molécules à la planification logistique — la manière dont nous ancrons nos règles dans l'architecture de la machine est aussi importante que les règles elles-mêmes.