Résumé technique : Apprentissage par renforcement piloté par certification pour la découverte de modèles de saveur de neutrinos

Énoncé du problème

La découverte scientifique dans des domaines tels que la physique des particules nécessite souvent la recherche dans de vastes espaces d'hypothèses combinatoires sous des contraintes de domaine complexes. Dans le contexte spécifique de la découverte de modèles de saveur de neutrinos, l'espace des hypothèses dépasse $10^{26}$ modèles possibles. La construction d'un modèle viable consiste à sélectionner le contenu particulaire, les groupes de symétrie et les assignations de représentations, puis à vérifier si le Lagrangien résultant reproduit les masses et les angles de mélange des neutrinos observés.

Les approches existantes, telles que le cadre AMBer, utilisent l'apprentissage par renforcement (RL) pour naviguer dans ces espaces. Cependant, le RL traditionnel repose sur des signaux de récompense scalaires qui indiquent si une solution candidate a échoué, mais fournissent peu d'informations sur le pourquoi. Par conséquent, les agents gaspillent fréquemment des ressources de calcul en explorant de manière répétée des régions invalides du l'espace de recherche qui partagent les mêmes défauts structurels. Bien que des outils de raisonnement externes (par exemple, des prouveurs de théorèmes, des solveurs de contraintes) puissent identifier les causes spécifiques de l'échec, les algorithmes de RL standard n'exploitent pas pleinement ce retour d'information structuré.

Méthodologie : Apprentissage par renforcement piloté par certification (CDRL)

Le CDRL introduit un cadre qui intègre le retour d'information structuré des outils de raisonnement symbolique directement dans la boucle de RL. Au lieu de traiter un échec simplement comme une récompense scalaire négative, le CDRL extrait un « certificat » — une explication structurée identifiant le sous-ensemble spécifique de décisions responsables de la violation.

Composants fondamentaux

1. Réseau politique-valeur et MCTS : L'agent construit des modèles séquentiellement en utilisant une recherche arborescente de Monte Carlo (MCTS) guidée par un réseau neuronal. L'état est représenté comme une matrice d'assignations de particules (représentations irréductibles et charges).
2. Arbitre symbolique (couche de contrainte) : Avant que la recherche ne valide un mouvement, une couche de raisonnement symbolique légère impose les contraintes de domaine connues. Cette couche utilise la propagation de contraintes booléennes (BCP) pour élaguer immédiatement les assignations partielles qui violent les contraintes strictes, garantissant que l'agent n'explore que des régions réalisables.
3. Analyseur de certificats : Lorsqu'un modèle candidat échoue à une évaluation physique (par exemple, en produisant une matrice de masse de rang déficient ou en violant des règles de symétrie), un analyseur dédié extrait les assignations spécifiques causant l'échec.
4. Base de données de contraintes et injection de clauses : L'analyseur convertit la cause de l'échec en une clause de conflit symbolique réutilisable (une contrainte logique). Cette clause est ajoutée à une base de données globale et imposée via la BCP dans toutes les étapes de recherche ultérieures. Cela élimine efficacement des classes entières de solutions invalides, et non seulement le candidat unique qui a échoué.
5. Découverte de connaissances : L'analyse post-hoc des trajectoires de recherche extrait des règles interprétables (schémas de décision) qui peuvent être réutilisées comme contraintes souples pour guider davantage l'exploration future.

La boucle de rétroaction

Le système opère sur deux signaux complémentaires :

• Récompense scalaire (contrainte souple) : Évalue la qualité d'un modèle valide (basée sur l'ajustement $\chi^2$ et le nombre de paramètres), façonnant les poids du réseau de politique pour préférer les solutions de haute qualité.
• Certificat (contrainte stricte) : Identifie les composants exacts responsables d'un échec et les interdit via une clause logique. Cela élague l'espace de recherche, rendant les schémas d'échec spécifiques logiquement inaccessibles pour tous les agents partageant la base de données de contraintes.

Contributions clés

1. Cadre CDRL : Un nouveau paradigme qui transforme les certificats d'échec symboliques en contraintes de recherche réutilisables. Cela permet à l'agent d'éliminer progressivement de vastes régions invalides de l'espace combinatoire, passant de « apprendre à éviter » à « apprendre à élaguer ».
2. Performance de pointe : Application du CDRL à la découverte de modèles de saveur de neutrinos, atteignant des taux de découverte significativement plus élevés que l'état de l'art précédent (AMBer) tout en évaluant moins de candidats.
3. Extraction de connaissances interprétables : Un mécanisme pour extraire 40 règles interprétables des trajectoires de recherche, démontrant que le processus de recherche découvre des dépendances structurelles réutilisables au sein de l'espace théorique.

Résultats expérimentaux

Les auteurs ont évalué le CDRL à travers trois espaces théoriques distincts : $A_4 \times Z_4$, $A_4 \times Z_N$ (où $N \in [2, 10]$), et $T_{19} \times Z_4$.

• Taux de découverte : Le CDRL a atteint jusqu'à 1,95× plus de taux de modèles valides et jusqu'à 6,33× plus de modèles de neutrinos par rapport à AMBer.
  • Exemple : Dans l'espace $A_4 \times Z_N$, le CDRL a trouvé 0,19 % de modèles de neutrinos contre 0,03 % pour AMBer (une amélioration de 6,33×).
• Efficacité d'échantillonnage : Le CDRL a découvert plus de modèles valides tout en évaluant jusqu'à 4× moins de candidats que AMBer. Par exemple, dans l'espace $A_4 \times Z_N$, le CDRL a trouvé 2 343 modèles de neutrinos avec 1 million d'évaluations, tandis qu'AMBer en a trouvé 1 394 avec 4 millions d'évaluations.
• Études d'ablation : Supprimer n'importe quel composant (guidage neuronal, MCTS ou contraintes symboliques) a entraîné une dégradation substantielle des performances, la découverte de neutrinos chutant presque à zéro dans certaines configurations ablatées.
• Réutilisation des règles : La réutilisation des 40 règles interprétables extraites comme contraintes souples a généré des gains supplémentaires allant jusqu'à 2× en taux de modèles valides et 3× en découverte de modèles de neutrinos.

Signification et revendications

L'article affirme que le CDRL fournit un cadre général pour la découverte de modèles scientifiques en exploitant la nature complémentaire des récompenses scalaires et des certificats symboliques. Les auteurs soutiennent que si les récompenses scalaires façonnent les préférences de l'agent, les certificats modifient fondamentalement l'espace de recherche réalisable en excluant les régions impossibles.

La portée de ce travail réside dans sa capacité à :

• Découvrir une structure réutilisable : Le CDRL démontre que les espaces de recherche combinatoires en physique contiennent une structure latente et réutilisable qui peut être capturée via des certificats et des règles de décision.
• Accélérer la découverte : En empênant la redécouverte de modes d'échec équivalents, le CDRL permet une navigation plus efficace dans des espaces d'hypothèses massifs ($>10^{26}$ modèles) où la recherche exhaustive est irréalisable.
• Réunir l'IA neuro-symbolique : L'approche réussit à unir l'apprentissage neuronal (pour l'exploration et l'estimation de la valeur) avec le raisonnement symbolique (pour l'application de contraintes et l'analyse d'échec), offrant une voie pratique vers une découverte scientifique pilotée par l'IA plus interprétable et plus efficace.

Les auteurs concluent que cette approche est particulièrement précieuse dans les domaines où des outils de raisonnement externes peuvent produire un retour d'information structuré, suggérant une large applicabilité au-delà de la physique des particules à d'autres tâches de découverte scientifique impliquant des contraintes complexes.