AutoQD: Automatic Discovery of Diverse Behaviors with Quality-Diversity Optimization

L'article présente AutoQD, une méthode théoriquement fondée qui génère automatiquement des descripteurs comportementaux en utilisant des caractéristiques de Fourier aléatoires pour approximer les mesures d'occupation des politiques, permettant ainsi de découvrir une diversité de comportements performants en apprentissage par renforcement sans recourir à des descripteurs prédéfinis.

L'essentiel

Voici une explication simple et imagée de la recherche AutoQD, présentée comme si l'on racontait une histoire à un ami autour d'un café.

🌟 Le Problème : L'Artisan et ses Outils

Imaginez que vous êtes un chef cuisinier (un algorithme d'intelligence artificielle) dont le but est de créer des plats délicieux. Traditionnellement, pour trouver de nouvelles recettes, vous devriez avoir une liste de critères très précise écrite par un expert humain : "Le plat doit être pimenté", "Il doit être sucré", ou "Il doit être croustillant".

C'est ce qu'on appelle les descripteurs de comportement. Le problème, c'est que si l'expert oublie de mentionner "le plat doit être gluant mais savoureux", votre algorithme ne cherchera jamais cette recette, même si elle serait géniale. De plus, écrire cette liste prend du temps et demande une connaissance profonde du domaine. C'est comme si on vous interdisait de cuisiner autre chose que ce qui est écrit sur le menu.

💡 La Solution : AutoQD, le Chef qui "Sent" les Saveurs

Les auteurs de ce papier (Saeed Hedayatian et Stefanos Nikolaidis) ont créé AutoQD. Au lieu de demander à un humain de définir les critères, ils ont donné à l'algorithme un "super-odorat" mathématique.

Voici comment cela fonctionne, étape par étape :

1. La Carte des Trajets (Les Mesures d'Occupation)

Imaginez que chaque robot (ou agent) laisse une trace invisible derrière lui, comme un fantôme qui dit : "J'ai passé beaucoup de temps ici, un peu là, et jamais là-bas". En mathématiques, on appelle cela la mesure d'occupation.

• L'analogie : C'est comme si chaque robot dessinait une carte de ses promenades. Deux robots qui marchent de la même manière auront des cartes presque identiques. Deux robots qui font des choses très différentes auront des cartes totalement opposées.

2. Le Traducteur Magique (Les Features de Fourier)

Le problème, c'est que ces "cartes fantômes" sont immenses et complexes. On ne peut pas les comparer directement.

• L'astuce AutoQD : Ils utilisent une technique mathématique appelée "features de Fourier aléatoires". Imaginez que vous prenez une photo très floue d'une montagne, mais que vous la projetez sur un écran de cinéma géant. Même si c'est flou, vous voyez clairement la forme générale.
• Cette technique transforme la carte complexe du robot en un point simple dans un espace à plusieurs dimensions. Plus les points sont éloignés, plus les comportements sont différents. C'est comme mesurer la distance entre deux odeurs : si l'odeur de "fraise" et l'odeur de "poisson" sont très loin l'une de l'autre sur l'échelle des odeurs, c'est qu'elles sont très différentes.

3. Le Compas Intelligent (PCA Calibré)

Maintenant, l'algorithme a des milliers de points (des robots) dans un espace complexe. Il doit les organiser pour trouver la diversité.

• L'analogie : Imaginez que vous avez un tas de fruits de toutes les couleurs et formes. Vous voulez les ranger dans des boîtes. Au lieu de demander à quelqu'un de dire "mets les rouges dans la boîte A", AutoQD regarde le tas et dit : "Tiens, il y a une grande différence entre les fruits ronds et les fruits allongés". Il crée alors ses propres étiquettes (descripteurs) basées sur ce qu'il voit de plus important.
• Il ne garde que les différences les plus intéressantes (comme la forme ou la couleur principale) et ignore le bruit de fond.

🚀 Le Résultat : Une Boîte à Jouets Infinie

Une fois que l'algorithme a créé ses propres règles de diversité, il se lance dans une exploration massive (grâce à un moteur appelé CMA-MAE).

• Ce qu'il découvre : Au lieu de trouver juste "marcher" et "sauter", il découvre des choses surprenantes.
  • Dans un environnement de robot nageur, il trouve un robot qui avance en faisant des vagues, un autre qui se tord comme un serpent, et un troisième qui avance en faisant des bonds.
  • Dans un environnement de robot bipède, il trouve des robots qui marchent sur la pointe des pieds, d'autres qui rampent, et d'autres qui sautillent.

🛡️ Pourquoi est-ce si utile ? (L'Analogie de la Boîte à Outils)

Le but ultime n'est pas juste de trouver une bonne solution, mais une boîte à outils complète.

Imaginez que vous envoyez un robot sur une planète inconnue.

• Si vous n'avez qu'un seul robot optimisé pour "marcher vite sur du sol plat", et qu'il rencontre du sable mou ou de la glace, il est perdu.
• Avec AutoQD, vous avez une armée de robots. L'un est excellent sur la glace, l'autre sur le sable, un troisième sur les pentes raides.
• La preuve : Dans les tests du papier, quand ils ont changé la friction du sol (comme si le sol devenait glissant), l'armée de robots d'AutoQD a trouvé immédiatement un robot capable de s'adapter, alors que les autres méthodes ont échoué.

🎯 En Résumé

AutoQD, c'est comme donner à un explorateur une boussole qui ne pointe pas vers le Nord, mais qui pointe vers la diversité.

• Il ne demande pas à un humain de dire "cherche des choses bizarres".
• Il regarde ce que les robots font, mesure leurs "traces" (occupations), et crée ses propres catégories de "bizarrité".
• Le résultat ? Une collection de solutions surprenantes, robustes et prêtes à affronter n'importe quel changement de l'environnement, sans qu'aucun humain n'ait eu à écrire une seule ligne de code pour définir ce qu'est un "comportement".

C'est un pas de géant vers des intelligences artificielles capables d'apprendre par elles-mêmes, comme des enfants qui découvrent le monde en jouant, sans que leurs parents aient à leur dicter chaque mouvement.

Résumé technique

Voici un résumé technique détaillé du papier de conférence AutoQD : Découverte automatique de comportements diversifiés par optimisation Qualité-Diversité, publié à l'ICLR 2026.

1. Problématique

L'optimisation Qualité-Diversité (QD) vise à découvrir un ensemble de solutions non seulement performantes, mais aussi comportementalement diverses. Dans le domaine de l'apprentissage par renforcement (QD-RL), les algorithmes QD existants souffrent d'une limitation fondamentale : ils dépendent fortement de descripteurs de comportement (Behavioral Descriptors - BDs) conçus à la main.

Ces descripteurs manuels (par exemple, la fréquence de contact des pieds pour un robot bipède) présentent plusieurs inconvénients :

• Ils nécessitent une connaissance approfondie du domaine.
• Ils contraignent l'exploration aux variations le long de dimensions prédéfinies, risquant de manquer des comportements intéressants ou inattendus.
• Ils ne s'adaptent pas bien à la complexité croissante des tâches.

L'objectif de ce travail est de développer une méthode automatique et théoriquement fondée pour générer ces descripteurs de comportement sans intervention humaine, permettant ainsi une découverte de comportements ouverte et non biaisée.

2. Méthodologie : AutoQD

La méthode proposée, AutoQD, repose sur l'idée que les mesures d'occupation (occupancy measures) des politiques dans un processus de décision markovien (MDP) caractérisent complètement leur comportement.

Le processus se déroule en trois étapes principales :

A. Encodage des politiques via des caractéristiques aléatoires (Random Fourier Features)

Au lieu d'utiliser des descripteurs manuels, AutoQD encode chaque politique $\pi$ dans un espace vectoriel de dimension finie.

• Mesure d'occupation : Pour une politique $\pi$, la mesure d'occupation $\rho_\pi$ représente la fréquence de visite espérée et décomptée des paires état-action $(s, a)$.
• Distance comportementale : La différence entre deux politiques est mesurée par la Discrépance Maximale des Moyennes (MMD) entre leurs mesures d'occupation.
• Approximation par RFF : Comme le noyau gaussien utilisé pour le MMD correspond à un espace de caractéristiques de dimension infinie, l'algorithme utilise des caractéristiques de Fourier aléatoires (Random Fourier Features - RFF) pour approximer ce noyau.
• Embedding : Chaque politique est représentée par un vecteur $\psi_\pi$, qui est la moyenne empirique des caractéristiques RFF extraites des trajectoires collectées. Le théorème 1 du papier prouve que la distance euclidienne entre ces embeddings converge vers la vraie distance MMD lorsque le nombre d'échantillons et la dimension de l'embedding augmentent.

B. Réduction de dimension et calibration (cwPCA)

Les embeddings RFF sont de haute dimension. Pour les utiliser dans un algorithme QD (qui discrétise l'espace des comportements), ils doivent être projetés dans un espace de basse dimension $k$.

• cwPCA (Calibrated Weighted PCA) : L'algorithme applique une Analyse en Composantes Principales (PCA) pondérée sur les embeddings des politiques présentes dans l'archive.
  • Pondération par la performance : Les politiques à haute performance (fitness) reçoivent un poids plus élevé, orientant les axes principaux vers les variations comportementales des meilleures solutions.
  • Calibration : Une étape de mise à l'échelle affine assure que la plupart des projections se situent dans l'intervalle $[-1, 1]$, garantissant des bornes d'archive stables.
• Le résultat est un descripteur de comportement $\text{desc}(\pi) = A\psi_\pi + b$ qui capture les dimensions les plus significatives du comportement.

C. Boucle d'optimisation

AutoQD alterne itérativement entre :

1. Optimisation QD : Utilisation de l'algorithme CMA-MAE (Covariance Matrix Adaptation Map-Annealing) pour découvrir de nouvelles politiques en utilisant les descripteurs actuels.
2. Raffinement des descripteurs : Mise à jour périodique de la projection $A$ et du biais $b$ via le cwPCA sur l'archive élargie des politiques découvertes.

3. Contributions Clés

1. Approche théorique : Première méthode reliant rigoureusement les mesures d'occupation, les caractéristiques de Fourier aléatoires et la MMD pour créer des représentations comportementales automatiques.
2. Preuve de convergence : Démonstration théorique (Théorème 1) que la distance entre les embeddings approxime la distance MMD réelle avec une probabilité élevée, contrôlée par le nombre d'échantillons et la dimension de l'embedding.
3. Algorithme itératif : Proposition d'un algorithme qui combine l'optimisation QD et l'affinement dynamique des descripteurs, éliminant le besoin de spécification manuelle.
4. Performance empirique : Validation sur six tâches de contrôle continu (MuJoCo/Gymnasium) montrant une capacité à découvrir des milliers de politiques diversifiées et performantes.

4. Résultats Expérimentaux

Les expériences comparent AutoQD à cinq méthodes de référence (RegularQD avec descripteurs manuels, Aurora, LSTM-Aurora, DvD-ES, SMERL).

• Score QD (Qualité-Diversité) : AutoQD surpasse systématiquement les autres méthodes sur la plupart des environnements (Ant, Hopper, Swimmer, BipedalWalker), obtenant des scores QD nettement supérieurs.
• Diversité (Vendi Score) : AutoQD génère des populations significativement plus diversifiées que les méthodes basées sur l'apprentissage non supervisé (Aurora, LSTM-Aurora).
• Robustesse et Adaptation : Dans des tests de variation de dynamique (changement de friction ou de masse du robot), la population d'AutoQD contient un nombre plus élevé de politiques capables de s'adapter et de maintenir une haute performance par rapport aux baselines.
• Cas limites : AutoQD a légèrement sous-performé sur HalfCheetah et Walker2d en termes de qualité pure, découvrant parfois des comportements "glissants" ou limités aux articulations inférieures. Cependant, il reste compétitif en termes de diversité.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'apprentissage par renforcement ouvert et l'optimisation Qualité-Diversité :

• Suppression du biais humain : Il permet de découvrir des comportements inattendus qui ne seraient pas capturés par des descripteurs manuels.
• Généralité : La méthode est applicable à n'importe quel domaine de décision séquentielle sans nécessiter de connaissances spécifiques au domaine.
• Fondement théorique : Contrairement aux approches précédentes basées sur des auto-encodeurs (qui apprennent des représentations de l'état sans garantie théorique directe sur la diversité des politiques), AutoQD offre une garantie mathématique sur la mesure de la diversité comportementale.
• Ouverture vers l'apprentissage ouvert : En automatisant la découverte de comportements, AutoQD ouvre la voie à des agents capables d'explorer continuellement de nouvelles capacités sans intervention humaine, un pas important vers l'apprentissage par renforcement à long terme et l'adaptabilité.

En résumé, AutoQD transforme la QD-RL d'un processus dépendant de l'ingénierie manuelle des caractéristiques en un processus automatique, théoriquement fondé et capable de découvrir un spectre beaucoup plus large de comportements complexes et performants.