Task diversity produces systematic transfer but inhibits continual reinforcement learning

Resumo Técnico: Banyan – Um Ambiente Gerado Proceduralmente para Estudar o Efeito da Diversidade de Tarefas na Transferência

1. Definição do Problema

O aprendizado por reforço (RL) contínuo visa desenvolver agentes que não apenas melhorem em tarefas atuais, mas que também se adaptem à medida que as distribuições de tarefas mudam. Embora pesquisas anteriores tenham estabelecido que o treinamento em tarefas diversas pode induzir a generalização zero-shot (avaliada com pesos congelados), permanece incerto se a diversidade de tarefas melhora a capacidade de um agente de continuar aprendendo através de atualizações de pesos conforme as distribuições mudam. Benchmarks existentes para RL contínuo geralmente envolvem aprendizado sequencial sobre, no máximo, centenas de tarefas, enquanto ambientes de larga escala gerados proceduralmente (ex: XLand, AdA) contêm milhões de tarefas, mas carecem do controle necessário para isolar como a quantidade e o tipo de diversidade afetam o aprendizado através de mudanças controladas de distribuição.

2. Metodologia: O Ambiente Banyan

Os autores introduzem o Banyan, um domínio acelerado por GPU e gerado proceduralmente, projetado para estudar o RL contínuo sobre espaços de tarefas composicionais. O Banyan fatura uma tarefa $\tau = \langle L, T, O \rangle$ em três eixos independentemente controláveis:

• Layout ($L$): O mapa do ambiente, incluindo configurações de paredes e posicionamentos iniciais de objetos, que define o problema de navegação.
• Topologia da Árvore de Tarefas ($T$): A estrutura abstrata do objetivo, definindo a profundidade, o ramificamento e a ordem de dependência dos subobjetivos (transformações vs. combinações).
• Atribuição de Objetos ($O$): As identidades concretas dos objetos atribuídos aos nós da árvore de tarefas.

Mecânica da Tarefa:

• Objetivo: O agente deve navegar pela grade, pegar, soltar e combinar objetos (ou transformar itens únicos) para produzir um objeto raiz específico definido pela árvore de tarefas.
• Observações: O agente vê a grade completa e a descrição do objeto alvo, mas deve inferir a estrutura da árvore de tarefas e a sequência de solução.
• Dinâmica: As regras de combinação e transformação de objetos são fixas; apenas o layout espacial e as identidades dos objetos variam.
• Currículo: As tarefas abrangem profundidades de 1 a 6. Tarefas mais profundas atuam como um currículo para as mais rasas, e as distribuições são aninhadas (tarefas de profundidade 6 contêm todas as subtarefas mais rasas).

Protocolo Experimental:
Os autores avaliam dois algoritmos: Proximal Policy Optimization (PPO) e Parallelised Q-Network (PQN). Eles medem:

• Transferência de Ida (Forward Transfer): A "lacuna de transferência" ($\Delta_i$) entre a taxa de sucesso terminal na distribuição $d_{i-1}$ e a taxa de sucesso inicial na distribuição $d_i$.
• Transferência de Volta (Backward Transfer): A mudança no desempenho em uma distribuição anterior $d_i$ após o treinamento em distribuições subsequentes.

3. Principais Contribuições

1. Benchmark Banyan: Um domínio controlado de muitas tarefas que permite a variação independente de layouts, instâncias de árvores de tarefas e topologias, possibilitando o estudo do RL contínuo sobre bilhões de tarefas potenciais.
2. Evidência de Transferência Sistemática: Prova experimental de que aumentar a diversidade em qualquer eixo (layouts, atribuições de objetos ou topologias) induz transferência sistemática, permitindo que os agentes iniciem novas distribuições próximos de seus níveis de desempenho anteriores.
3. Evidência de Inibição Induzida pela Diversidade: Prova experimental de que, embora a diversidade moderada auxilie a transferência, a diversidade excessiva inibe o aprendizado contínuo de longo prazo, causando um platô nos agentes em novas distribuições enquanto eles continuam a refinar o desempenho em distribuições anteriores.

4. Principais Resultados

A. A Diversidade Produz Transferência Sistemática (Mudança Única)
Em experimentos envolvendo uma única mudança da distribuição $d_1$ para $d_2$:

• Transferência de Ida: Aumentar o número de layouts ($|L|$), atribuições de objetos ($|O|$) ou topologias ($|T|$) em $d_1$ reduz a lacuna de transferência ($\Delta_2$) em direção a zero. Agentes treinados em uma $d_1$ altamente diversa iniciam $d_2$ com níveis de desempenho comparáveis ao seu desempenho final em $d_1$.
• Transferência de Volta: Aumentar $|L|$ ou $|O|$ teve pouco efeito na transferência de volta. No entanto, aumentar o número de topologias ($|T|$) melhorou significativamente a transferência de volta, sugerindo que variar as dependências estruturais das tarefas é crucial para reter o conhecimento de distribuições anteriores.
• Mecanismo: A análise do erro de TD do PQN na fronteira $d_1 \to d_2$ revelou que uma maior diversidade gera um erro de TD inicial menor e melhores políticas iniciais. Isso sugere que a diversidade molda características de valor que generalizam bem fora da distribuição.
• Generalização: Esses efeitos foram replicados em um domínio de controle contínuo "Point Mass", indicando que o fenômeno não é um artefato de controle de mundo de grade discreto.

B. A Diversidade Inibe o Aprendizado Contínuo de Longo Prazo (Sequência de Mudanças)
Em experimentos envolvendo uma sequência de dez distribuições ($d_1 \dots d_{10}$):

• O Paradoxo: Embora a alta diversidade ($n=256$ layouts/topologias únicos) tenha fechado com sucesso a lacuna de transferência em cada fronteira (agentes iniciaram cada nova distribuição no pico anterior), ela causou um platô na capacidade do agente de melhorar dentro da sequência.
• Trajetória de Desempenho:
  • Em diversidade intermediária ($n=16$), os agentes continuaram a aprender, melhorando as taxas de sucesso de $\approx 0,74$ em $d_1$ para $\approx 0,95$ em $d_{10}$.
  • Em alta diversidade ($n=256$), a taxa de sucesso em novas distribuições permaneceu estagnada próxima a $0,80$ em todas as dez distribuições. O desempenho final em $d_{10}$ na verdade declinou monotonicamente à medida que a diversidade aumentava além de $n=16$.
• Interferência: A alta diversidade levou a uma forte transferência de volta (o desempenho em $d_1$ melhorou de $\approx 0,80$ para $\approx 0,95$ após 10 rodadas), mas impediu a especialização em novas distribuições. Os autores atribuem isso à interferência: a rede aprende a estrutura geral da tarefa compartilhada entre as distribuições, mas é inibida de aprender as estruturas específicas necessárias para as novas distribuições.

5. Significância e Alegações

O artigo alega um achado significativo e algo paradoxal: a diversidade de tarefas é uma faca de dois gumes para o RL contínuo.

• Motivação: A diversidade é essencial para induzir a transferência sistemática, permitindo que os agentes se adaptem imediatamente a novas mudanças de distribuição sem o esquecimento catastrófico da estrutura geral da tarefa.
• Limitação: No entanto, a mesma diversidade que suaviza as transições individuais inibe o acúmulo de aprendizado ao longo de sequências longas. Os autores argumentam que "aprendizado e escala, por si só, podem não ser suficientes" para permitir o RL contínuo; o equilíbrio entre generalização (transferência) e especialização (aprendizado de especificidades novas) parece ser intrínseco à aproximação de função de compartilhamento de pesos no regime de muitas tarefas.

O trabalho destaca uma lacuna crítica na pesquisa atual de RL: embora a diversidade seja celebrada pela generalização zero-shot, ela pode ativamente dificultar a capacidade dos agentes de otimizar o desempenho em novas distribuições quando aprendem continuamente. Os autores liberam o Banyan como uma ferramenta para a comunidade investigar esses equilíbrios e desenvolver algoritmos que possam mitigar a interferência causada pela alta diversidade de tarefas.