TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning

1. Declaração do Problema

O artigo aborda o Aprendizado por Reforço Offline Contínuo (CORL), um cenário onde um agente deve aprender uma sequência de tarefas a partir de conjuntos de dados estáticos e pré-coletados, sem interagir com o ambiente. Esse cenário surge em domínios onde a interação ao vivo é muito cara, arriscada ou impossível (por exemplo, robótica, saúde).

O CORL enfrenta uma "dificuldade dupla":

1. Desafios do RL Offline: Lidar com deslocamentos de distribuição entre os dados de treinamento e a avaliação, e evitar ações Fora da Distribuição (OOD).
2. Desafios do Aprendizado Contínuo: Prevenir o esquecimento catastrófico de tarefas aprendidas anteriormente ao adquirir novas, sem acesso a dados passados, a menos que sejam explicitamente armazenados.

Soluções existentes dependem fortemente de métodos baseados em replay (armazenar e reutilizar amostras passadas), o que incorre em sobrecarga de memória e sofre com incompatibilidades de distribuição. Por outro lado, métodos arquitetônicos (que alocam parâmetros específicos para tarefas) mostraram promessa no aprendizado supervisionado, mas permanecem pouco explorados no CORL devido às complexidades da tomada de decisão sequencial e aos deslocamentos de distribuição induzidos pela política.

2. Metodologia: TSN-Affinity

Os autores propõem o TSN-Affinity, uma abordagem arquitetônica inovadora que combina TinySubNetworks (TSN) com uma espinha dorsal Decision Transformer (DT). A inovação central é uma estratégia de reutilização de parâmetros impulsionada por similaridade que roteia tarefas para cópias específicas do modelo com base na "afinidade".

Componentes Principais:

• Espinha Dorsal Decision Transformer: O método utiliza um DT para reformular o RL como um problema de modelagem de sequência supervisionada. Isso naturalmente restringe as previsões à distribuição empírica do conjunto de dados, mitigando problemas OOD.
  • Atari (Discreto): Treinado com perda de Entropia Cruzada sobre logits de ação.
  • Panda (Contínuo): Treinado com Erro Quadrático Médio Mascarado sobre ações contínuas.
• Sub-redes Específicas de Tarefa Esparsas: Em vez de treinar um único modelo denso, o sistema mantém múltiplas cópias de modelo. Para cada tarefa, uma máscara binária esparsa é aprendida sobre os pesos de uma cópia específica.
  • Proteção de Pesos: Uma vez que um peso é alocado a uma tarefa, ele é "congelado" e protegido contra gradientes durante o treinamento de tarefas subsequentes.
  • Reutilização: Novas tarefas podem "reativar" pesos congelados de tarefas anteriores se forem consideradas semelhantes, usando-os como componentes funcionais fixos em vez de re treiná-los.
• Roteamento por Afinidade (A Novidade): Antes de treinar uma nova tarefa $T_t$, o sistema decide se deve reutilizar uma cópia de modelo existente ou gerar uma nova. Essa decisão é baseada em três modos de roteamento:
  1. Afinidade de Ação ($d_A$): Mede o quão bem a política de uma tarefa fonte (sub-rede) prevê as ações das trajetórias da nova tarefa (usando Entropia Cruzada para Atari, MSE para Panda).
  2. Afinidade Latente ($d_L$): Mede a similaridade das representações internas. Compara as estatísticas latentes (média e variância dos codificadores de observação) da nova tarefa contra as estatísticas armazenadas das tarefas fonte usando Divergência KL Simétrica.
  3. Afinidade Híbrida ($d_H$): Uma combinação ponderada das afinidades de Ação e Latente.

Se a pontuação de afinidade entre a nova tarefa e uma tarefa fonte estiver abaixo de um limiar $\tau$, a nova tarefa é atribuída à cópia daquela fonte. Caso contrário, uma nova cópia é criada.

Variantes Estudadas:

• TSN-Affinity: O método completo com roteamento baseado em afinidade.
• TSN-ReplayKL: Substitui o roteamento por afinidade por uma heurística baseada em similaridade ao nível de observação (divergência KL entre memórias de replay).
• TSN-Core: Remove o roteamento completamente; usa uma única cópia de modelo em evolução com sub-redes esparsas (sem seleção de cópia).

3. Principais Contribuições

1. Framework TSN-Affinity: Um novo método CORL que formula a transferência de conhecimento como um problema de roteamento sobre sub-redes esparsas e específicas de tarefa, selecionando e reutilizando parâmetros dinamicamente com base em similaridade consciente de RL.
2. Mecanismo de Roteamento por Afinidade: Um mecanismo específico que aproveita métricas ao nível de ação (compatibilidade de política) e ao nível de representação (similaridade latente) para decidir a reutilização de parâmetros, indo além do replay simples ou alocação aleatória.
3. Benchmarks Abrangentes: A introdução de dois benchmarks de RL offline contínuo cobrindo:
   • Controle Discreto Visual: Um conjunto de jogos Atari (Breakout, Alien, Atlantis, Boxing, Centipede).
   • Manipulação Robótica Contínua: Ambientes Panda-gym (Reach, Push, Pick-and-Place) usando um braço Franka Emika Panda.
4. Validação Empírica: Experimentos extensivos demonstrando que abordagens arquitetônicas podem mitigar completamente o esquecimento e que a reutilização impulsionada por similaridade supera significativamente as bases de replay, particularmente em configurações heterogêneas de controle contínuo.

4. Resultados

Benchmark Atari (Controle Discreto)

• Esquecimento: Sub-redes esparsas (TSN-Core) alcançaram zero esquecimento em todas as tarefas. Bases densas (Naive, EWC, SI) sofreram esquecimento catastrófico severo (retornos normalizados ~15-18%).
• Desempenho: Embora as sub-redes esparsas sozinhas eliminassem o esquecimento, o Roteamento por Afinidade melhorou ainda mais o desempenho multi-tarefa.
  • TSN-Affinity-A (afinidade de ação) e TSN-Affinity-L (afinidade latente) alcançaram ~89,7% e ~89,6% de desempenho normalizado, respectivamente.
  • Isso superou a melhor base densa (Replay Cumulativo em 76,2%) e aproximou-se do desempenho de modelos treinados em tarefa única.
• Conclusão: Em configurações discretas, sub-redes esparsas são suficientes para prevenir o esquecimento, e o roteamento por afinidade otimiza o uso de capacidade para impulsionar o desempenho.

Benchmark Panda (Controle Contínuo)

• Desafio: Este cenário é significativamente mais difícil devido a espaços de ação heterogêneos e dinâmicas de controle contínuo. Zero-esquecimento não foi universal em todas as variantes TSN.
• Eficácia do Roteamento:
  • TSN-ReplayKL (roteamento baseado em observação) performou mal, pior que o TSN-Core, indicando que a similaridade de observação é insuficiente para roteamento em controle contínuo.
  • TSN-Affinity-L (afinidade latente) alcançou os melhores resultados com zero esquecimento e a menor lacuna média em relação aos retornos alvo (0,670), superando o Replay Cumulativo (0,729).
• Compromisso: O melhor desempenho exigiu a criação de múltiplas cópias de modelo (3 cópias), destacando um compromisso desempenho-capacidade. No entanto, os resultados confirmam que a afinidade consciente de RL é um sinal confiável para roteamento em domínios contínuos complexos onde heurísticas de replay falham.

5. Significado e Conclusão

O artigo demonstra que o aprendizado contínuo arquitetônico é uma alternativa viável e frequentemente superior às estratégias baseadas em replay no cenário de RL offline.

• Mitigação do Esquecimento Catastrófico: Ao isolar parâmetros específicos de tarefa em sub-redes esparsas, o método previne efetivamente interferências destrutivas.
• Eficiência sobre Replay: O TSN-Affinity evita a sobrecarga de memória e os problemas de incompatibilidade de distribuição inerentes aos buffers de replay.
• Roteamento Superior: O estudo prova que pontuações de afinidade relevantes para controle (similaridade de ação e latente) são muito mais eficazes para decisões de roteamento do que similaridade baseada apenas em observação ou heurísticas de replay, especialmente em tarefas de controle contínuo.
• Impacto Futuro: Este trabalho abre caminho para aprendizado contínuo escalável e eficiente em memória em domínios críticos para a segurança (como robótica), onde recolher dados ou interagir com o ambiente não é viável.

Os autores concluem que a reutilização arquitetônica guiada por similaridade é uma estratégia robusta para CORL, oferecendo um forte equilíbrio entre reter conhecimento passado e transferi-lo para novas tarefas relacionadas.