Résumé Technique : ATLAS (Active Theory Learning for Automated Science)

Énoncé du Problème

Faire progresser la compréhension scientifique en sciences cognitives et dans des domaines connexes nécessite d'identifier les algorithmes mécanistes qui régissent le comportement. Ce processus repose traditionnellement sur un cycle itératif et en boucle fermée de génération d'hypothèses (modélisation computationnelle) et de collecte de données guidée par l'hypothèse (expérimentation). Cependant, ce cycle est souvent lent et gourmand en ressources car les expériences sont coûteuses.

Les méthodes existantes de découverte de modèles basées sur les données peuvent identifier des modèles interprétables mais nécessitent généralement de grands ensembles de données, ce qui les rend peu pratiques pour les scénarios où la collecte de données est coûteuse. Inversement, des méthodes d'Apprentissage Actif (AL - Active Learning) et de Conception d'Expériences Optimales (OED - Optimal Experiment Design) existent pour maximiser le gain d'information, mais elles optimisent souvent des modèles prédictifs de type "boîte noire" (manquant d'interprétabilité) ou discriminent parmi des modèles mécanistes pré-spécifiés (risquant une erreur de spécification et limitant la découverte).

Le défi central abordé par cet article est de créer un cadre capable d'automatiser la découverte de modèles mécanistes interprétables tout en maximisant l'efficacité d'échantillonnage. L'objectif est de concevoir des expériences qui distinguent de manière optimale des hypothèses concurrentes concernant la structure computationnelle interne d'un agent en utilisant un minimum de données.

Méthodologie : Le Pipeline ATLAS

Les auteurs introduisent ATLAS (Active Theory Learning for Automated Science), un cadre d'apprentissage actif qui itère entre la génération d'hypothèses mécanistes diverses et la conception d'expériences pour les distinguer. Le pipeline se compose de trois composants principaux opérant en cycles :

1. Générateur d'Hypothèses (Ensemble de RNNs Désenchevêtrés)

Au lieu d'un ensemble de modèles fixes, ATLAS maintient un ensemble d'hypothèses concurrentes instanciées sous forme de Réseaux de Neurones Récurrents Désenchevêtrés (DisRNNs).

• Structure : Les DisRNNs utilisent des goulots d'étranglement d'information pour encourager des solutions avec un petit nombre de variables latentes ("cognitives") interagissant de manière éparse.
• Interprétabilité : Les interactions entre ces variables latentes peuvent être interprétées comme un graphe de calcul représentant le mécanisme sous-jacent.
• Diversité : Le générateur entraîne un grand ensemble de réseaux avec des hyperparamètres variés (spécifiquement la pénalité de parcimonie) et des graines aléatoires différentes. Il sélectionne un sous-ensemble pour l'ensemble via une stratégie d'échantillonnage probabiliste (offset softmax) sur les vraisemblances de validation croisée. Cela garantit que l'ensemble contient des hypothèses structurelles diverses, allant du sous-apprentissage au surapprentissage, plutôt que de simples variations de paramètres d'un seul modèle.

2. Optimiseur d'Expérience

L'optimiseur recherche une conception d'expérience $D$ qui maximise le Gain d'Information Attendu (EIG - Expected Information Gain) concernant l'identité du véritable modèle génératif.

• Métrique de Désaccord : L'EIG est approximé par le désaccord parmi les membres de l'ensemble. Plus précisément, il calcule la différence entre l'auto-accord d'un modèle (log-vraisemblance de ses propres trajectoires simulées) et l'accord croisé (log-vraisemblance des trajectoires générées par d'autres modèles).
• Stratégie d'Optimisation : La conception de l'expérience est contrainte à une matrice binaire $T \times A$ (définissant les récompenses pour $A$ actions sur $T$ pas de temps). L'optimiseur utilise une stratégie de montée de gradient (hill-climbing) itérative pour inverser les bits de cette matrice afin de maximiser le score de désaccord de l'ensemble. Pour éviter les optima locaux, ce processus est répété avec 128 initialisations aléatoires.
• Sortie : Le résultat est une séquence temporellement structurée de récompenses conçue pour forcer les membres de l'ensemble à diverger dans leurs prédictions comportementales.

3. Exécuteur d'Expérience

L'expérience optimisée est exécutée sur l'agent de vérité terrain (l' "environnement"). La trajectoire comportementale résultante est ajoutée à l'ensemble de données en croissance, qui est ensuite utilisé pour réentraîner et mettre à jour l'ensemble d'hypothèses lors du cycle suivant.

Principales Contributions

1. Intégration du Cadre : L'article démontre que la combinaison de l'apprentissage actif basé sur le désaccord et de la découverte automatique de modèles mécanistes interprétables crée un cadre pratique pour la découverte scientifique en boucle fermée (ATLAS).
2. Efficacité des DisRNN : Il montre que les réseaux de neurones récurrents désenchevêtrés servent de générateurs d'hypothèses efficaces au sein d'ATLAS, faisant émerger des hypothèses structurelles suffisamment diverses pour permettre une conception expérimentale robuste.
3. Optimiseur de Matrice Binaire : Les auteurs développent un optimiseur pour les conceptions d'expériences binaires qui parvient avec succès à induire le désaccord entre des modèles faits à la main et performe bien au sein de la boucle ATLAS.
4. Application à la Découverte de l'Apprentissage par Renforcement (RL) : Le cadre est appliqué à la découverte d'algorithmes d'apprentissage par renforcement (spécifiquement le Q-learning et le Leaky Actor-Critic) à partir d'un comportement manifeste, démontrant qu'il peut récupérer les structures de vérité terrain avec un ordre de grandeur de moins d'expériences que les bases aléatoires.

Résultats

Les auteurs ont évalué ATLAS sur la tâche de récupération de la structure computationnelle de deux agents de vérité terrain : un agent Q-learning et un agent Leaky Actor-Critic. La performance a été mesurée par rapport à deux bases de référence :

1. Expérimentation Aléatoire : Récompenses i.i.d. (indépendantes et identiquement distribuées) ou marches aléatoires gaussiennes.
2. Expériences Conçues par des Experts : Tâches fixes dérivées de la littérature (par exemple, des marches aléatoires gaussiennes spécifiques utilisées dans des études antérieures de sciences cognitives).

Principales Conclusions

• Efficacité d'Échantillonnage : ATLAS a obtenu une amélioration de 5 à 10 fois de l'efficacité d'échantillonnage sur tous les indicateurs par rapport à l'expérimentation aléatoire.
  • Similitude Comportementale : Les modèles entraînés sur les données d'ATLAS ont égalé le comportement de l'agent de vérité terrain sur des tests hors échantillon beaucoup plus rapidement (par exemple, après 20 expériences pour le Q-learning contre 1 000 pour l'aléatoire).
  • Récupération Structurelle : ATLAS a réussi à récupérer le graphe de calcul correct (isomorphisme avec la vérité terrain) pour les 8 exécutions indépendantes après 100 expériences. En revanche, les bases aléatoires ont nécessité 1 000 expériences pour atteindre une performance similaire pour le Q-learning et ont échoué à récupérer la structure pour l'agent Actor-Critic même après 1 000 expériences.
  • Similitude Dynamique : En utilisant la "bisimulation approximative" (mesurant la capacité des modèles à simuler les états internes les uns des autres), les modèles entraînés par ATLAS ont montré des taux d'erreur nettement inférieurs aux bases aléatoires après 100 expériences.
• Comparaison avec les Experts : ATLAS a égalé ou dépassé la performance des expériences conçues par des experts. Pour l'agent Leaky Actor-Critic, ATLAS a nettement surpassé la base de référence experte en termes de récupération structurelle et de similitude dynamique.
• Structure de l'Expérience : Les expériences conçues par ATLAS présentaient des structures temporelles complexes et non intuitives (par exemple, des schémas spécifiques d'omission de récompense et de changement de blocs) qui étaient adaptés aux taux d'apprentissage et à la dynamique spécifiques des agents, différant considérablement des tâches standard conçues par des chercheurs.

Signification et Revendications

L'article affirme qu'ATLAS représente une étape significative vers l'accélération des intuitions humaines interprétables. En automatisant la boucle entre la génération d'hypothèses basée sur les données et la sélection d'expériences guidée par l'hypothèse, ATLAS s'attaque à l'étape limitante de la collecte de données dans la démarche scientifique.

Les auteurs soulignent que leur approche cible spécifiquement des modèles mécanistes interprétables plutôt que des prédicteurs de type boîte noire. Cette distinction est cruciale pour les sciences cognitives, où l'objectif est de comprendre les algorithmes sous-jacents du comportement, et non de simplement le prédire. Les résultats suggèrent qu'ATLAS peut découvrir la véritable structure computationnelle des agents en utilisant beaucoup moins d'expériences que les méthodes traditionnelles, réduisant potentiellement le temps et le coût de la découverte scientifique dans les domaines où les modèles mécanistes sont essentiels.

Les auteurs restent modestes quant à la portée actuelle, notant que la méthode est testée pour l'instant dans des analogues in silico avec des vérités terrains connues. Ils reconnaient que l'entraînement d'ensembles à partir de zéro à chaque étape est un goulot d'étranglement computationnel et suggèrent que les travaux futurs pourraient impliquer des approches de fine-tuning, l'optimisation de lots d'expériences, ou l'application du cadre à la collecte de données réelles et à des domaines au-delà de l'apprentissage par renforcement.