Resumo Técnico: Esquecimento Catastrófico em Aprendizado por Reforço Contínuo

Declaração do Problema

O aprendizado contínuo, a capacidade de um sistema aprender tarefas sequencialmente enquanto retém o conhecimento de tarefas anteriores, continua sendo um desafio não resolvido significativo no aprendizado de máquina. Uma barreira primária a essa capacidade é o esquecimento catastrófico, onde um modelo perde o conhecimento previamente adquirido ao aprender novas informações. Embora exista uma extensa pesquisa voltada para a mitigação do esquecimento em aprendizado supervisionado e redes neurais, a relação específica entre a similaridade de tarefas e a severidade do esquecimento em Aprendizado por Reforço (RL - Reinforcement Learning) permanece subquantificada.

Este estudo investiga até que ponto a similaridade de uma nova tarefa influencia a degradação de desempenho em uma tarefa aprendida anteriormente dentro de um cenário de RL contínuo. A pesquisa visa determinar se existe uma relação quantificável entre o grau de diferença entre as tarefas e a magnitude do esquecimento catastrófico, especificamente em agentes de RL tabulares interpretáveis.

Metodologia

Estrutura Experimental

O estudo utiliza Q-learning tabular em tarefas baseadas em grafos. O objetivo para o agente é minimizar o número de passos necessários para atingir um estado de meta específico. O uso de métodos tabulares garante a interpretabilidade, enquanto o ambiente baseado em grafos permite o controle preciso sobre a estrutura da tarefa.

Geração de Tarefas

As tarefas são geradas usando diagramas de Voronoi derivados de um conjunto de sítios (pontos) em um plano 2D.

• Estrutura: Os nós do grafo correspondem aos vértices do diagrama de Voronoi, e as arestas representam as conexões entre regiões adjacentes.
• Controle de Similaridade: Para gerar uma sequência de tarefas relacionadas, os sítios internos do diagrama de Voronoi são perturbados. Um conjunto base de sítios ($x_0$) e um novo conjunto ($x_1$) são amostrados de uma distribuição Gaussiana. Um novo arranjo de tarefa ($x_\alpha$) é criado via interpolação linear:
  $$x_\alpha = \cos\left(\frac{\pi}{2}\alpha\right)x_0 + \sin\left(\frac{\pi}{2}\alpha\right)x_1$$
  onde $\alpha \in [0, 1]$ controla o grau de perturbação. $\alpha=0$ representa a tarefa base, e $\alpha=1$ representa a tarefa totalmente perturbada.
• Consistência: Para garantir que o agente possa comparar tarefas, um sistema de rotação é implementado. Este atribui ações (trás, esquerda, direita) com base na ordem horária relativa dos vizinhos ao redor de um nó, em vez de coordenadas absolutas. Isso permite que o agente interprete a estrutura topológica do grafo independentemente da distorção espacial.

Medindo a Similaridade da Tarefa

O estudo define a similaridade da tarefa com base na diferença estrutural topológica entre os grafos, uma vez que o agente otimiza para o número de passos em vez de distância geométrica.

• Métricas: Devido à intratabilidade computacional da Distância de Edição de Grafos (NP-difícil), o estudo utiliza uma combinação de duas métricas computacionalmente viáveis:
  1. Distância de Wasserstein ($W_2$): Mede a diferença na distribuição espacial das áreas das células de Voronoi.
  2. Distância de Hausdorff ($\delta_H$): Mede a distância máxima entre os conjuntos de vértices dos dois grafos.
• Métrica Combinada: A medida de similaridade final $\Delta(G_1, G_2)$ é a média das distâncias de Wasserstein e Hausdorff normalizadas.

Protocolo de Avaliação

1. Fase 1 (Aprendizado Base): Um agente é treinado em um grafo base ($G_0$) até a convergência. O desempenho é medido pelo número de passos para atingir o objetivo.
2. Fase 2 (Aprendizado de Nova Tarefa): O mesmo agente é treinado em um novo grafo ($G_\alpha$) com uma topologia diferente, mas com a mesma definição de estado de meta.
3. Fase 3 (Medição de Esquecimento): O agente é testado no grafo base original ($G_0$) novamente.
4. Quantificação: O esquecimento é quantificado como o aumento no número de passos necessários para resolver a tarefa base após o treinamento na nova tarefa, comparado ao desempenho antes do treinamento na nova tarefa.

Principais Resultados

O estudo conduziu cem ensaios experimentais através de vários níveis de complexidade e similaridade de tarefa ($\alpha$).

• Dinâmicas Complexas: Os resultados revelam uma dinâmica complexa entre a similaridade da tarefa e o esquecimento, com flutuações significativas na severidade do esquecimento observadas através de diferentes graus de similaridade e complexidade de tarefas.
• Variabilidade: Os dados exibiram altos graus de variabilidade nos resultados de esquecimento, acompanhados por uma distribuição desigual das medidas de similaridade de tarefa.
• Significância Estatística: Crucialmente, o estudo não encontrou evidências de significância estatística de que a similaridade da tarefa, de forma independente, tenha efeito sobre o esquecimento no aprendizado por reforço contínuo. A relação entre essas variáveis permanece incerta, e nenhum padrão específico (linear, monotônico ou outro) foi confirmado.
• Interdependência: As observações sugerem uma interdependência do esquecimento tanto na similaridade quanto na complexidade das tarefas, mas a natureza específica dessa relação não foi resolvida.

Significância e Alegações

O artigo posiciona-se como uma investigação exploratória de uma lacuna na literatura: a quantificação de como as diferenças de tarefas especificamente impulsionam o esquecimento catastrófico em RL.

• Alegações Modestas: O autor afirma explicitamente que suas observações sugerem uma interdependência do esquecimento tanto na similaridade quanto na complexidade, mas eles não alegam ter provado um mecanismo causal definitivo ou uma relação funcional específica.
• Resultado Negativo como Contribuição: Uma contribuição primária é a descoberta de que, dentro das restrições deste setup específico de tabelas baseadas em grafos, a similaridade da tarefa sozinha não parece ser um preditor estatisticamente significativo da severidade do esquecimento. Isso desafia a suposição de que a similaridade é um substituto direto para o risco de esquecimento em todos os contextos de RL.
• Direções Futuras: O artigo conclui que pesquisas adicionais são necessárias para compreender de forma abrangente a potencial interação entre a similaridade da tarefa e o esquecimento catastrófico, observando que os resultados atuais destacam a necessidade de designs experimentais mais robustos ou métricas alternativas para resolver a variabilidade observada.

O estudo não propõe novos algoritmos de mitigação ou aplicações específicas, mas sim fornece uma análise fundamental do espaço do problema utilizando modelos interpretáveis para isolar variáveis estruturais.