Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light
Cet article soutient que la communauté de la vie artificielle peut répondre aux critiques fondamentales des principes de base de l'apprentissage par renforcement en intégrant la recherche de nouveauté à horizon ouvert avec les théories thermodynamiques de l'agentivité afin de proposer un cadre biologiquement fidèle qui redéfinit l'apprentissage comme une adaptation plutôt que comme une optimisation de récompense.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un robot à agir comme un être vivant. Pendant des décennies, la recette standard pour cela (appelée Apprentissage par Renforcement, ou RL) s'est appuyée sur trois règles strictes, ou « dogmes » :
- Le monde est un plateau de jeu : L'environnement est une grille prévisible où chaque mouvement mène à un résultat spécifique.
- Apprendre, c'est trouver le meilleur chemin : Le robot apprend en cherchant la solution unique et parfaite à un problème, comme trouver l'itinéraire le plus court vers un coffre au trésor.
- L'objectif est un score unique : Le robot est motivé par un seul chiffre simple (un score de récompense). Il veut obtenir le chiffre le plus élevé possible, tout comme un joueur de jeu vidéo qui cherche à obtenir le meilleur score.
Les auteurs de cet article, Mani Hamidi et Terrence Deacon, soutiennent que ces trois règles sont trop rigides. Ils affirment que la vie réelle n'est pas un jeu vidéo avec un score unique élevé. Au lieu de cela, ils suggèrent de regarder l'apprentissage à travers le prisme de l'évolution et de la physique pour comprendre ce que signifie réellement être un « agent » (un être qui agit de sa propre initiative).
Voici une décomposition simple de leur argument utilisant des analogies de la vie quotidienne :
1. Apprendre n'est pas seulement « chercher » ; c'est « explorer » (L'analogie du jardin)
La vieille vision dit que l'apprentissage est comme un randonneur essayant de trouver le sommet d'une seule montagne (la meilleure solution). Une fois que vous avez trouvé le sommet, vous vous arrêtez.
Les auteurs disent que l'adaptation réelle ressemble davantage à un jardinier prenant soin d'un jardin sauvage et ouvert.
- L'ancienne méthode : Vous ne plantez que les fleurs qui poussent le plus haut. Une fois que vous avez la fleur la plus haute, vous avez terminé.
- La nouvelle méthode : Vous ne cherchez pas seulement la « meilleure » fleur. Vous encouragez différents types de plantes à pousser dans différents coins pour qu'elles ne se fassent pas concurrence. Certaines plantes peuvent être courtes mais très colorées ; d'autres peuvent être hautes mais clairsemées.
- Pourquoi c'est important : Dans le monde réel, on ne sait souvent pas encore quelle est la « meilleure » solution. Vous devez continuer à explorer et à créer de nouvelles formes de solutions (la nouveauté) plutôt que de simplement perfectionner une ancienne solution. C'est ce qu'on appelle la « Recherche de Nouveauté à Ouverture Infinie » (Open-Ended Novelty Search). Il s'agit de créer un écosystème d'idées diversifié, et non de trouver un seul vainqueur.
2. Le « Score » ne fonctionne pas pour les êtres vivants (L'analogie du multitâche)
La vieille vision dit qu'un agent est poussé par un seul chiffre (comme un score dans un jeu). Les auteurs soutiennent que cela est impossible pour les êtres vivants car la vie est un multitâche.
Imaginez que vous êtes un humain essayant de survivre. Vous n'essayez pas seulement de « maximiser le bonheur ». Vous essayez simultanément de :
- Rester au chaud (thermorégulation).
- Maintenir vos niveaux de sel corrects (osmorégulation).
- Trouver de la nourriture.
- Éviter un prédateur.
Ce sont tous des « objectifs » différents qui s'affrontent parfois. Si un tigre apparaît, votre objectif de « trouver de la nourriture » devient soudainement moins important que votre objectif de « fuir ».
- Le problème : Vous ne pouvez pas compresser tous ces besoins différents et changeants dans un seul chiffre (un scalaire de récompense).
- La solution : Les êtres vivants opèrent sur l'homéostasie (le maintien de l'équilibre interne). Ils ne cherchent pas à obtenir un score élevé ; ils cherchent à maintenir leur « thermostat » interne et leur « jauge de carburant » dans une plage sûre. La « récompense » n'est pas un chiffre ; c'est le sentiment de soulagement lorsqu'un besoin est satisfait.
3. D'où viennent les objectifs ? (L'analogie du « Qui a construit la maison ? »)
Si nous disons qu'un robot apprend parce qu'il veut maximiser un score, qui lui a donné ce score ? Dans l'IA actuelle, c'est un ingénieur humain qui écrit le code. En biologie, nous disons que « l'évolution » nous a donné nos objectifs.
Mais les auteurs demandent : Où l'évolution a-t-elle puisé ses objectifs ?
Ils soutiennent qu'on ne peut pas simplement dire « l'évolution » et s'arrêter là. L'évolution a besoin de quelque chose sur quoi travailler. Elle a besoin d'un système capable de se copier lui-même et de rester en vie assez longtemps pour se reproduire.
- La physique de la vie : Avant de pouvoir avoir l'évolution, il faut un système physique qui lutte contre la tendance naturelle des choses à se désagréger (l'entropie). Pensez à un feu de camp par rapport à une bactérie.
- Un feu de camp brûle du combustible et crée de l'ordre pendant un instant, mais il s'éteint simplement. Il ne cherche pas à rester en vie.
- Une bactérie est une machine qui construit activement ses propres parois et se répare elle-même pour continuer à brûler du combustible. C'est une boucle d'« auto-persistance ».
- L'idée majeure : Les auteurs soutiennent que la véritable agence (la capacité d'agir en son propre nom) n'existe que lorsqu'un système est physiquement construit pour se maintenir lui-même contre les lois de la physique. Le « but » n'est pas un chiffre ; le but est simplement de rester en vie.
La métaphore du « Cliquet »
L'article se termine par une image puissante. Imaginez un cliquet (un outil qui tourne dans une direction pour serrer une vis mais qui ne permet pas de revenir en arrière).
- La plupart des théories de l'apprentissage sont comme une balle qui roule sur une colline ; elle peut facilement redescendre.
- Les auteurs suggèrent que la véritable agence est comme un cliquet. C'est un système qui se construit lui-même, qui garde sa forme face au vent (le second principe de la thermodynamique), et qui transmet ensuite cette forme à la génération suivante.
- Ce « cliquet » est ce qui permet à l'évolution de se produire en premier lieu. Sans un système capable de se maintenir, il n'y a pas de « soi » capable d'évoluer.
Résumé
L'article affirme que pour construire des machines véritablement intelligentes et autonomes, nous devons cesser de les considérer comme des personnages de jeux vidéo poursuivant un score élevé. Au lieu de cela, nous devrions les considérer comme des systèmes vivants qui :
- Explorent de nombreuses possibilités différentes (pas seulement un chemin parfait).
- Équilibrent de multiples besoins internes (pas seulement un score).
- Sont physiquement construits pour se maintenir et se reproduire (luttant contre la tendance naturelle à la désagrégation).
En comprenant la physique de la manière dont un système reste en vie, nous pourrons enfin comprendre d'où viennent réellement les « objectifs » et l'« apprentissage ».
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.