Resource depletion accelerates rate learning but not composition learning in patch foraging

Resumo Técnico: O Esgotamento de Recursos Acelera a Aprendizagem de Taxa, mas não a Aprendizagem de Composição em Forrageamento de Patches

Problema
O forrageamento é um problema de inferência hierárquica onde um animal deve simultaneamente explorar um patch de recursos e aprender a estrutura do ambiente que gera esses patches. A teoria clássica do forrageamento, incluindo o Teorema do Valor Marginal, tipicamente assume que o forrageador possui conhecimento total das estatísticas ambientais (por exemplo, a distribuição de tipos de patches e suas taxas de encontro) ao chegar. No entanto, em ambientes novos, os animais devem inferir esses parâmetros através da exploração. Este artigo aborda a lacuna na compreensão de como o processo físico do esgotamento de recursos — onde cada encontro com alimento reduz a taxa de encontros subsequentes dentro de um patch — molda a aprendizagem de duas características ambientais distintas: a taxa de encontro dentro de um tipo específico de patch e a composição (a fração de patches de alto rendimento vs. baixo rendimento) através do ambiente.

Metodologia
Os autores desenvolvem um arcabouço bayesiano normativo para um agente que forrageia em um ambiente de patches. O modelo trata a aprendizagem como um segundo nível de inferência:

1. Inferência Intra-Patch: O agente infere a taxa de encontro inicial ($\lambda_k$) do patch atual. O modelo incorpora o esgotamento, onde a taxa diminui linearmente com cada pedaço encontrado ($\lambda(t) = \lambda_k - \rho K(t)$), contrastando com ambientes de taxa constante (não esgotáveis).
2. Inferência Inter-Patch: O agente infere a distribuição global dos tipos de patches, especificamente a fração ($p_H$) de patches de alto rendimento e as taxas associadas a cada tipo.
3. Estratégias: O estudo compara dois objetivos:
   • Busca de Recompensa: Maximizar a taxa de recompensa de longo prazo (ingestão por unidade de tempo).
   • Busca de Informação: Maximizar a taxa de redução de entropia (aprendizagem) em relação aos parâmetros ambientais.
4. Regras de Partida: Os autores analisam políticas de limiar onde o agente parte de um patch quando sua crença sobre a riqueza do patch ou o custo de oportunidade cruza um nível específico. Eles também comparam esses agentes baseados em modelos contra aprendizes de reforço livres de modelo (model-free) e agentes "oráculos" ótimos.
5. Ambientes: A análise cobre ambientes homogêneos (um tipo de patch), ambientes binários (dois tipos de patch) e ambientes de reposição, onde os patches se recuperam entre as visitas.

Principais Contribuições e Resultados

1. O Esgotamento como Fonte de Informação para Aprendizagem de Taxa
O artigo demonstra que o esgotamento de recursos não é meramente um custo, mas uma fonte de informação que acelera a aprendizagem das taxas de encontro dentro do patch.

• Mecanismo: Em um patch que sofre esgotamento, os intervalos sucessivos entre encontros são extraídos de uma sequência de taxas desaceleradas ($\lambda, \lambda-\rho, \lambda-2\rho, \dots$). O espaçamento desses intervalos identifica a taxa inicial $\lambda$ de forma muito mais nítida do que um fluxo de taxa constante de mesma duração.
• Resultado: Em ambientes homogêneos com esgotamento, o Erro Quadrático Médio (MSE) da estimativa da taxa decai significativamente mais rápido do que em ambientes sem esgotamento. O tempo necessário para atingir um limiar de precisão fixo pode ser até três vezes menor em patches com esgotamento.
• Comportamento Ótimo: Para um maximizador de recompensa em um ambiente homogêneo com esgotamento, a estratégia ótima é consumir quase todo o patch antes de partir. Sob uma medida de taxa de entropia, permanecer indefinidamente é ótimo, mas sob uma medida de limiar de MSE (minimizando o tempo para uma precisão fixa), a melhor política é consumir o patch e partir. Esta partida ocorre após o consumo de essencialmente todo o patch, um comportamento distinto do "permanecer excessivamente" em relação a um buscador de recompensa que também permanece muito; em vez disso, o buscador de informação (sob o critério MSE) e o buscador de recompensa ambos consomem o patch, mas a regra do buscador de informação é impulsionada pela necessidade de resolver a taxa via os intervalos decrescentes, enquanto o buscador de recompensa equilibra o valor marginal dos últimos pedaços contra os custos de deslocamento.

2. O Egotamento é Neutro para a Aprendizagem de Composição
Em contraste com a aprendizagem de taxa, a aprendizagem da composição ambiental (a fração de patches de alto rendimento, $p_H$) não é afetada pelo esgotamento.

• Mecanismo: A composição é inferida a partir de observações categóricas de tipos de patches. Cada visita ao patch contribui com no máximo uma observação categórica (o tipo do patch), independentemente de quantos pedaços sejam consumidos nele.
• Resultado: A taxa de aprendizagem para composição escala como $1/n$ (onde $n$ é o número de patches visitados), não com o número de encontros dentro dos patches. O esgotamento não acelera nem dificulta esse processo, desde que o agente utilize a função de verossimilhança correta.
• Implicação: Um agente que busca informação e visa resolver a composição global deve deixar os patches cedo (mesmo os ricos) para amostrar mais locais distintos, enquanto um buscador de recompensa pode permanecer por mais tempo.

3. Divergência de Estratégias de Busca de Recompensa e de Informação
As regras de partida ótimas para maximização de recompensa e maximização de informação divergem dependendo do que é incerto:

• Ambiente Homogêneo (Taxa Incerta): Buscadores de informação e buscadores de recompensa tendem a permanecer longamente em patches com esgotamento, mas seus limiares de partida específicos diferem com base na métrica de aprendizagem. Sob uma medida de taxa de entropia, permanecer indefinidamente é ótimo para o ganho de informação, enquanto sob uma medida de limiar de MSE, a política ótima é consumir o patch e partir. Em ambos os casos, o buscador de informação não necessariamente "permanece excessivamente" em relação a um buscador de recompensa em um sentido simples; em vez disso, o buscador de recompensa parte quando a taxa de ingestão marginal cai para o custo de oportunidade, enquanto o buscador de informação (sob MSE) parte uma vez que o desvio padrão posterior cai abaixo de um limiar, o que frequentemente coincide com o consumo do patch.
• Ambiente Binário (Composição Incerta): Buscadores de informação permanecem menos tempo em patches ricos. Como a composição é resolvida visitando novos patches, o buscador de informação deixa patches de alto rendimento precocemente para amostrar a diversidade do ambiente, enquanto o buscador de recompensa permanece até que a taxa de ingestão marginal caia para a média global.
• Ambientes de Reposição: Quando os patches se recuperam entre as visitas, a política de maximização de recompensa colapsa em um ciclo limite estável (órbita) sobre um subconjunto de patches de alto rendimento. A taxa de reposição determina se o forrageador mapeia todo o ambiente ou se fixa em um subconjunto rico. Altas taxas de reposição suprimem a aprendizagem de composição para buscadores de recompensa porque eles raramente visitam patches não tipificados.

4. A Variabilidade dita a Regra de Partida Ótima
O artigo identifica uma transição crítica no heurístico ótimo para deixar um patch baseado na variabilidade do ambiente:

• Patches Uniformes: Quando a riqueza do patch é semelhante, uma regra de contagem (deixar após um número fixo de pedaços) é ótima.
• Patches Variáveis: Quando a riqueza varia significamente (em mais de ~24%), uma regra de tempo (deixar após um intervalo fixo desde o último achado) torna-se ótima.
• Baseado em Modelo vs. Livre de Modelo: Representar o ambiente (usando um modelo bayesiano) gera uma vantagem de ingestão significativa (~20 pontos percentuais) sobre aprender uma regra puramente a partir da recompensa (livre de modelo), mas apenas se o modelo de esgotamento do agente for razoavelmente preciso. Se a taxa de esgotamento for mal especificada por mais de ~25%, a performance do agente baseado em modelo colapsa, e um agente livre de modelo pode superá-lo.

Significância e Alegações
Os autores afirmam que seu trabalho fornece um relato analítico de por que a fase inicial do aprendizado de forrageamento é acelerada pelo esgotamento e como as estratégias de movimento dependem da incerteza específica que está sendo reduzida.

• Inferência Hierárquica: O estudo esclarece que o esgotamento opera no nível de estimativa de taxa (intra-patch), mas é neutro no nível de composição (inter-patch).
• Informação vs. Recompensa: O artigo destaca que a busca de informação não é um impulso monolítico; diferentes objetivos de aprendizagem (reduzir a incerteza da taxa vs. incerteza da composição) prescrevem comportamentos de movimento opostos (permanecer vs. partir).
• Robustez de Modelos: A vantagem de manter um modelo ambiental explícito é limitada pela precisão do modelo. Os autores argumentam que a "planicidade" da superfície de recompensa perto do ótimo significa que a estimativa precisa de parâmetros é menos crítica para a ingestão do que a capacidade de se adaptar a mudanças nos custos (como o tempo de deslocamento) e a correção do modelo estrutural (dinâmica de esgotamento).
• Previsões Experimentais: O arcabouço gera previsões testáveis, como a mudança de regras de contagem para regras de tempo conforme a variância ambiental aumenta, e a divergência específica nos tempos de residência entre buscadores de recompensa e buscadores de informação em ambientes homogêneos versus binários.

O artigo conclui que aprender o ambiente proporciona uma ingestão significativamente maior do que aprender apenas uma regra a partir da recompensa, desde que as suposições do agente sobre o esgotamento deixem margem para a verdade.