Resource depletion accelerates rate learning but not composition learning in patch foraging

Résumé Technique : L'épuisement des ressources accélère l'apprentissage du taux mais pas l'apprentissage de la composition dans le fourragement de patchs

Énoncé du problème
Le fourrage est un problème d'inférence hiérarchique où un animal doit simultanément exploiter une zone de ressources (patch) et apprendre la structure de l'environnement qui génère ces zones. La théorie classique du fourrage, incluant le Théorème de la Valeur Marginale, suppose généralement que le fourrageur possède une connaissance complète des statistiques environnementales (par exemple, la distribution des types de patchs et leurs taux de rencontre) dès son arrivée. Cependant, dans des environnements nouveaux, les animaux doivent inférer ces paramètres par l'exploration. Cet article traite de la lacune dans la compréhension de la manière dont le processus physique de l'épuisement des ressources — où chaque rencontre de nourriture abaisse le taux de rencontre suivant au sein d'un patch — façonne l'apprentissage de deux caractéristiques environnementales distinctes : le taux de rencontre au sein d'un type de patch spécifique et la composition (la fraction de patchs à haut rendement versus bas rendement) à travers l'environnement.

Méthodologie
Les auteurs développent un cadre bayésien normatif pour un agent pratiquant le fourrage dans un environnement par patchs. Le modèle traite l'apprentissage comme un second niveau d'inférence :

1. Inférence intra-patch : L'agent infère le taux de rencontre initial ($\lambda_k$) du patch actuel. Le modèle incorpore l'épuisement, où le taux diminue linéairement avec chaque unité trouvée ($\lambda(t) = \lambda_k - \rho K(t)$), contrastant ainsi avec les environnements non épuisables (taux constant).
2. Inférence inter-patch : L'agent infère la distribution globale des types de patchs, spécifiquement la fraction ($p_H$) de patchs à haut rendement et les taux associés à chacun.
3. Stratégies : L'étude compare deux fonctions d'objectif :
   • Recherche de récompense : Maximiser le taux de récompense à long terme (apport par unité de temps).
   • Recherche d'information : Maximiser le taux de réduction de l'entropie (apprentissage) concernant les paramètres environnementaux.
4. Règles de départ : Les auteurs analysent des politiques de seuil où l'agent quitte un patch lorsque sa croyance concernant la richesse du patch ou son coût d'opportunité franchit un certain niveau. Ils comparent également des agents basés sur des modèles à des apprenants par renforcement sans modèle (model-free) et à des agents "oracles" optimaux.
5. Environnements : L'analyse couvre des environnements homogènes (un seul type de patch), binaires (deux types de patchs) et des environnements avec régénération où les patchs se reconstituent entre les visites.

Contributions clés et résultats

1. L'épuisement comme source d'information pour l'apprentissage du taux
L'article démontre que l'épuisement des ressources n'est pas seulement un coût, mais une source d'information qui accélère l'apprentissage des taux de rencontre intra-patch.

• Mécanisme : Dans un patch en épuisement, les intervalles de rencontre successifs sont tirés d'une séquence de taux décroissants ($\lambda, \lambda-\rho, \lambda-2\rho, \dots$). L'espacement de ces intervalles identifie de manière beaucoup plus nette le taux initial $\lambda$ qu'un flux à taux constant de même durée.
• Résultat : Dans les environnements homogènes en épuisement, l'erreur quadratique moyenne (MSE) de l'estimation du taux décroît significativement plus vite que dans les environnements non épuisables. Le temps nécessaire pour atteindre un seuil de précision fixé peut être jusqu'à trois fois plus court dans les patchs en épuisement.
• Comportement optimal : Pour un maximiseur de récompense dans un environnement homogène en épuisement, la stratégie optimale consiste à consommer la quasi-totalité du patch avant de partir. Sous une mesure de taux d'entropie, rester indéfiniment est optimal, mais sous une mesure de seuil de MSE (minimisant le temps pour atteindre une précision fixe), la meilleure politique est de consommer le patch et de partir. Ce départ survient après avoir consommé essentiellement tout le patch, un comportement distinct de celui du chercheur de récompense qui reste également longtemps ; plutôt, le chercheur d'information (sous le critère MSE) et le chercheur de récompense consomment tous deux le patch, mais la règle du chercheur d'information est dictée par le besoin de résoudre le taux via les intervalles décroissants, tandis que le chercheur de récompense équilibre la valeur marginale des dernières unités contre les coûts de déplacement.

2. L'épuisement est neutre pour l'apprentissage de la composition
En revanche, l'apprentissage de la composition environnementale (la fraction de patchs à haut rendement, $p_H$) n'est pas affecté par l'épuisement.

• Mécanisme : La composition est inférée à partir d'observations catégorielles des types de patchs. Chaque visite de patch contribue au plus à une observation catégorielle (le type du patch), quel que soit le nombre d'unités consommées à l'intérieur.
• Résultat : Le taux d'apprentissage de la composition évolue en $1/n$ (où $n$ est le nombre de patchs visités), et non avec le nombre de rencontres au sein des patchs. L'épuisement n'accélère ni ne freine ce processus, à condition que l'agent utilise la fonction de vraisemblance correcte.
• Implication : Un agent chercheur d'information visant à résoudre la composition globale devrait quitter les patchs tôt (même les riches) pour échantillonner davantage de lieux distincts, alors qu'un chercheur de récompense pourrait y rester plus longtemps.

3. Divergence des stratégies de recherche de récompense et d'information
Les règles de départ optimales pour la maximisation de la récompense et la maximisation de l'information divergent selon ce qui est incertain :

• Environnement homogène (Taux incertain) : Les chercheurs d'information et de récompense ont tendance à rester longtemps dans les patchs en épuisement, mais leurs seuils de départ spécifiques diffèrent selon la métrique d'apprentissage. Sous une mesure de taux d'entropie, rester indéfiniment est optimal pour le gain d'information, tandis que sous une mesure de seuil de MSE, la politique optimale est de consommer le patch et de partir. Dans les deux cas, le chercheur d'information ne "reste pas trop longtemps" par rapport à un chercheur de récompense au sens simple ; plutôt, le chercheur de récompense part quand le taux d'apport marginal chute vers le coût d'opportunité, tandis que le chercheur d'information (sous MSE) part une fois que l'écart-type de la distribution postérieure tombe sous un seuil, ce qui coïncide souvent avec la consommation du patch.
• Environnement binaire (Composition incertaine) : Les chercheurs d'information quittent prématurément les patchs riches. Puisque la composition est résolue en visitant de nouveaux patchs, le chercheur d'information quitte les patchs à haut rendement tôt pour échantillonner la diversité de l'environnement, tandis que le chercheur de récompense reste jusqu'à ce que le taux d'apport marginal chute vers la moyenne globale.
• Environnements avec régénération : Lorsque les patchs se reconstituent entre les visites, la politique de maximisation de la récompense s'effondre sur un cycle limite stable (orbite) sur un sous-ensemble de patchs à haut rendement. Le taux de régénération détermine si le chercheur de nourriture cartographie l'ensemble de l'environnement ou se verrouille sur un sous-ensemble riche. Un taux de régénération élevé supprime l'apprentissage de la composition pour les chercheurs de récompense car ils visitent rarement des patchs non typés.

4. La variabilité dicte la règle de départ optimale
L'article identifie une transition critique dans l'heuristique optimale pour quitter un patch en fonction de la variabilité environnementale :

• Patchs uniformes : Lorsque la richesse des patchs est similaire, une règle de comptage (partir après un nombre fixe d'unités) est optimale.
• Patchs variables : Lorsque la richesse varie de manière significative (de plus de ~24 %), une règle de temporisation (partir après un délai fixe depuis la dernière trouvaille) devient optimale.
• Basé sur un modèle vs Sans modèle : Représenter l'environnement (en utilisant un modèle bayésien) offre un avantage d'apport significatif (~20 points de pourcentage) sur l'apprentissage d'une règle purement basée sur la récompense (sans modèle), mais seulement si le modèle de l'agent concernant le taux d'épuisement est raisonnablement précis. Si le taux d'épuiment est mal spécifié de plus de ~25 %, les performances de l'agent basé sur un modèle s'effondrent, et un agent sans modèle peut alors être plus performant.

Signification et affirmations
Les auteurs affirment que leur travail fournit un compte rendu analytique de la raison pour laquelle la phase initiale de l'apprentissage du fourrage est accélérée par l'épuisement et comment les stratégies de mouvement dépendent de l'incertitude spécifique qui est réduite.

• Inférence hiérarchique : L'étude clarifie que l'épuisement opère au niveau de l'estimation du taux (intra-patch) mais est neutre au niveau de la composition (inter-patch).
• Information vs Récompense : L'article souligne que la recherche d'information n'est pas une pulsion monolithique ; différentes de l'incertitude (réduction de l'incertitude du taux vs de la composition) prescrivent des comportements de mouvement opposés (rester vs partir).
• Robustesse des modèles : L'avantage de maintenir un modèle environnemental explicite est limité par la précision du modèle. Les auteurs soutiennent que la "platitude" de la surface de récompense près de l'optimum rend l'estimation précise des paramètres moins critique pour l'apport que la capacité à s'adapter aux changements de coûts (comme le temps de déplacement) et la justesse du modèle structurel (dynamique d'épuisement).
• Prédictions expérimentales : Le cadre génère des prédictions testables, telles que le passage des règles de comptage aux règles de temporisation à mesure que la variance environnementale augmente, ainsi que la divergence spécifique des temps de résidence entre les chercheurs de récompense et les chercheurs d'information dans les environnements homogènes versus binaires.

L'article conclut que l'apprentissage de l'environnement procure un apport nettement supérieur à l'apprentissage d'une règle à partir de la récompense seule, à condition que les hypothèses de l'agent sur l'épuisement laissent place à la vérité.