Combining Trained Models in Reinforcement Learning

Resumo Técnico: Combinação de Modelos Treinados em Aprendizado por Reforço

Enunciação do Problema
O Aprendizado por Reforço Profundo (DRL) alcançou marcos significativos em domínios como Atari e Go, mas enfrenta duas fraquezas práticas persistentes: altos custos de amostragem e baixa transferibilidade quando há mudanças nas dinâmicas da tarefa, nos processos de observação ou nos ambientes. Uma estratégia comum para mitigar esses problemas é a reutilização de informações de modelos previamente treinados (conhecimento pré-treinado) em vez de iniciar o treinamento do zero para cada tarefa alvo. No entanto, a literatura sobre mecanismos para essa reutilização — especificamente aprendizado por transferência, destilação de políticas, métodos de ensemble e treinamento federado — é fragmentada. As comparações existentes são frequentemente difíceis de interpretar devido a inconsistências em tarefas, linhas de base e orçamentos computacionais, tornando incerto sob quais condições a reutilização de conhecimento pré-treinado supera genuinamente o treinamento de um único agente do zero.

Metodologia
Este artigo apresenta uma revisão sistemática guiada pelo PRISMA de estudos empíricos sobre reutilização de conhecimento pré-treinado em DRL. O processo de revisão envolveu:

• Estratégia de Busca: Consultas foram realizadas no IEEE Xplore, na ACM Digital Library e por meio de rastreamento de citações usando termos de intervenção específicos (por exemplo, "destilação de políticas", "aprendizado por reforço federado") combinados com termos de contexto de RL (por exemplo, "aprendizado por reforço profundo", "ator-crítico").
• Triagem: De um conjunto inicial de 589 registros, 570 registros únicos foram triados. Após avaliação do texto completo e auditoria de elegibilidade, 15 estudos empíricos foram selecionados para a síntese principal.
• Critérios de Elegibilidade: Os estudos incluídos tiveram que ser trabalhos empíricos de DRL publicados entre 2015 e 2025, onde a reutilização de modelos pré-treinados era um componente metodológico central, e que comparavam o método proposto contra uma linha de base significativa (treinada sem conhecimento reutilizado) em desempenho, eficiência de amostragem ou robustez.
• Abordagem de Síntese: Devido à heterogeneidade em ambientes, métricas e classes de modelos entre os estudos selecionados, os autores empregaram uma síntese narrativa qualitativa em vez de uma meta-análise. Os estudos foram analisados através de três fatores: similaridade fonte-alvo, diversidade entre modelos reutilizados e a justiça das comparações contra linhas de base treinadas do zero.

Principais Contribuições

1. Definição de Escopo: O artigo estabelece um escopo mais estreito e internamente consistente para revisar a reutilização de conhecimento pré-treinado em DRL, distinguindo entre a reutilização real de conhecimento durante o aprendizado e trabalhos adjacentes, como filtragem apenas para inferência ou aceleração de throughput de hardware.
2. Síntese Empírica: Sintetiza evidências em quatro famílias de mecanismos:
   • Destilação: Uma política professor supervisiona um modelo aluno.
   • Transferência/Reutilização de Políticas: Reutilização de políticas, habilidades ou priores em tarefas relacionadas.
   • Ensembles: Múltiplos modelos influenciando conjuntamente o controle ou a estimativa de valor.
   • Treinamento Federado: Agentes descentralizados agregando atualizações sem centralizar dados brutos.
3. Espectro de Independência: Os autores propõem um "espectro de independência" provisório para descrever como os modelos reutilizados diferem em experiência de treinamento, variando desde diversidade de sementes (inicialização aleatória) até diversidade de dados, tarefas e recompensas. Isso é apresentado como uma hipótese para futuras comparações padronizadas, e não como uma métrica validada.

Resultados e Padrões
A análise dos 15 estudos incluídos revela três padrões recorrentes:

• Sobreposição Estrutural é Crítica: Resultados positivos concentram-se em configurações onde as tarefas fonte e alvo compartilham estrutura substancial (por exemplo, dinâmicas compartilhadas, famílias de tarefas ou semânticas de políticas). Quando o desajuste estrutural é alto, a reutilização pode ser prejudicial, a menos que o método inclua mecanismos explícitos de gateamento, alinhamento ou ponderação adaptativa para gerenciar a transferência.
• Evidência Esparsa para Agregação: Embora as evidências para ensembles e agregação federada sejam promissoras, são esparsas e amplamente limitadas a configurações estreitas. Por exemplo, os resultados de ensemble são atualmente suportados por apenas um estudo no corpus, e os estudos federados focam em configurações de clientes relativamente homogêneas. Consequentemente, alegações amplas sobre a superioridade desses mecanismos em relação à transferência ou destilação não são suportadas pela evidência atual.
• Relatamento Computacional Fraco: Uma limitação significativa na literatura existente é a falta de comparações compatibilizadas computacionalmente. A maioria dos estudos não normaliza orçamentos de treinamento, tempo de relógio ou custos de pré-treinamento contra a linha de base da tarefa alvo. Isso torna difícil validar alegações sobre ganhos de eficiência em relação a linhas de base de agentes únicos mais fortes treinadas do zero.

Significado e Alegações
O artigo alega modestamente que sua contribuição primária é um "mapa mais limpo" das capacidades e limitações da literatura atual. Argumenta que o campo não precisa de mais alegações infladas sobre melhorias universais de desempenho. Em vez disso, as evidências sugerem que:

• A reutilização de conhecimento pré-treinado não é um mecanismo único, mas uma família de intervenções cujo sucesso depende fortemente da compatibilidade fonte-alvo.
• Alegações sobre a superioridade geral de ensembles ou aprendizado federado são prematuras devido à escassez da base empírica.
• Trabalhos futuros exigem linhas de base controladas computacionalmente, relatamento mais claro de incerteza e benchmarks diretos que variem a sobreposição fonte-alvo enquanto mantêm as tarefas alvo fixas.

Os autores concluem que, embora a reutilização seja eficaz sob condições estruturais específicas, a literatura atual carece da evidência rigorosa e normalizada computacionalmente necessária para fazer afirmações definitivas sobre eficiência ou aplicabilidade universal.