Resumo Técnico: Amostragem Adaptativa de Tarefas Robustamente Distribucionalmente (DRATS)

Declaração do Problema

A Aprendizagem por Reforço Multi-tarefa (MTRL) visa treinar um único agente para otimizar o desempenho em múltiplas tarefas simultaneamente, aproveitando a transferência de conhecimento para melhorar a eficiência dos dados. No entanto, as abordagens padrão de MTRL frequentemente sofrem de aprendizado desbalanceado: os agentes resolvem rapidamente tarefas fáceis enquanto fazem progresso lento nas mais difíceis.

Trabalhos anteriores atribuíram amplamente esse desequilíbrio a gradientes de tarefas conflitantes, propondo soluções envolvendo manipulação de gradiente (por exemplo, cirurgia de gradiente) ou arquiteturas de rede especializadas. Este artigo identifica uma causa distinta e pouco explorada de desequilíbrio: alocação desbalanceada de dados. A MTRL padrão aloca um orçamento de interação igual para todas as tarefas. Como tarefas difíceis requerem significativamente mais experiência para serem resolvidas do que as fáceis, a alocação uniforme resulta em superalocação de dados para tarefas fáceis (que precisam de pouco mais de dados) e subalocação de dados para tarefas difíceis. Embora métodos de Aprendizado de Currículo (CL) adaptem distribuições de amostragem, eles tipicamente priorizam tarefas fáceis primeiro para facilitar a transferência, o que pode exacerbar o desequilíbrio de dados em cenários onde a transferência positiva é fraca ou as tarefas entram em conflito.

Metodologia: Amostragem Adaptativa de Tarefas Robustamente Distribucionalmente (DRATS)

Os autores propõem o DRATS, um algoritmo que prioriza adaptativamente a amostragem de tarefas que estão mais distantes de serem resolvidas. O método é derivado através das seguintes etapas:

1. Formalização como um Problema de Viabilidade

Em vez de maximizar o retorno médio entre as tarefas, a MTRL é formalizada como um problema de viabilidade: encontrar uma política $\theta$ tal que o retorno $J_i(\theta)$ em cada tarefa $i$ atinja um alvo de referência $J^{ref}_i$.
O objetivo é transformado na minimização da lacuna de retorno $g_i(\theta) = \max(J^{ref}_i - J_i(\theta), 0)$. Para lidar com casos em que as restrições não podem ser satisfeitas simultaneamente (devido a limites de capacidade ou conflitos), o objetivo torna-se minimizar a lacuna máxima de retorno entre todas as tarefas (um objetivo minimax):
$$\min_{\theta} \max_{i \in [k]} g_i(\theta)$$

2. Otimização Minimax e Robustez Distribucional

A maximização interna é reescrita como uma maximização sobre uma distribuição de tarefas $q \in \Delta_k$ (o simplex de probabilidade). Resolver isso diretamente leva a uma solução não suave e gananciosa que concentra toda a probabilidade na única tarefa de pior desempenho, causando instabilidade e ineficiência de dados.

Para abordar isso, o DRATS emprega Otimização Robustamente Distribucional (DRO) restringindo a distribuição de tarefas $q$ a residir dentro de uma bola de Kullback-Leibler (KL) de raio $\epsilon$ centrada em uma distribuição base $p_0$ (uniforme). Isso resulta na otimização restrita:
$$\min_{\theta} \max_{q \in \mathcal{Q}} \mathbb{E}_{i \sim q}[g_i(\theta)]$$
onde $\mathcal{Q} = \{q \in \Delta_k \mid \text{KL}(q \| p_0) \leq \epsilon\}$.

3. Solução de Forma Fechada e Algoritmo

Usando relaxação lagrangiana, a distribuição de tarefas ótima $q^*$ é derivada em forma fechada como um softmax das lacunas de retorno:
$$q^*_i = \frac{\exp(\eta g_i(\theta))}{\sum_j \exp(\eta g_j(\theta))}$$
Aqui, $\eta$ atua como um parâmetro de temperatura inversa que controla a nitidez da priorização.

Algoritmo DRATS (Algoritmo 1):

1. Coleta de Dados: Amostre tarefas da distribuição atual $q_t$ e colete trajetórias.
2. Estimativa de Lacuna: Calcule estimativas de Monte Carlo dos retornos $\hat{J}_i$ e atualize os retornos de referência $J^{ref}_i$ (estimados online como o retorno máximo observado).
3. Normalização de Lacuna: Calcule lacunas de retorno normalizadas $\hat{g}_i$.
4. Atualização de Distribuição: Atualize $q_t$ via ascensão espelhada (gradiente exponenciado) no objetivo $L(\theta, q) = \mathbb{E}_{i \sim q}[g_i(\theta)] - \frac{1}{\eta}\text{KL}(q \| p_0)$.
5. Projeção: Force uma probabilidade mínima de amostragem $\epsilon$ para garantir que todas as tarefas sejam amostradas suficientemente para uma estimativa de lacuna estável.
6. Atualização de Política: Atualize a política $\theta$ usando um algoritmo on-policy (por exemplo, PPO) para maximizar o retorno ponderado.

4. Garantias de Convergência

Os autores provam que, sob suposições padrão (incluindo uma garantia de baixo arrependimento para a atualização da política), o DRATS converge para a lacuna de retorno do pior caso ótima a uma taxa de $O(1/\sqrt{T})$, onde $T$ é o número de iterações.

Contribuições Principais

1. Algoritmo DRATS: Introdução de um algoritmo de RL multi-tarefa que prioriza adaptativamente tarefas com base na lacuna de retorno, derivado de uma formulação minimax da MTRL.
2. Convergência Teórica: Prova de que o DRATS converge para dentro de um erro $\epsilon$ da lacuna de retorno do pior caso ótima a uma taxa padrão de $O(1/\sqrt{T})$.
3. Validação Empírica: Demonstração de que o DRATS alcança maior eficiência de dados, maior retorno agregado e retorno significativamente maior no pior caso em comparação com bases de aprendizado de currículo existentes (por exemplo, Uniforme, Progresso de Aprendizado, Potencial de Aprendizado, Difícil Primeiro).
4. Ortogonalidade: Demonstração de que o DRATS é compatível com arquiteturas de rede multi-tarefa existentes (por exemplo, Modularização Suave, MOORE) e melhora o desempenho independentemente de as tarefas exibirem transferência positiva ou conflito.

Resultados Experimentais

Os autores avaliaram o DRATS em quatro benchmarks: um Gridworld de 4 tarefas, MuJoCo6 (6 tarefas de controle contínuo), MetaWorld-MT10 e MetaWorld-MT50.

• Desempenho Agregado: O DRATS alcançou o maior retorno agregado em todos os benchmarks.
• Desempenho no Pior Caso: A melhoria foi impulsionada principalmente pelo desempenho superior nas tarefas mais difíceis. Por exemplo, no MuJoCo6, o DRATS foi o único método a resolver com sucesso as tarefas difíceis Ant e Humanoid, enquanto as bases falharam em fazer progresso no Ant.
• Eficiência de Dados: O DRATS atingiu os níveis de desempenho das bases com significativamente menos interações. No MT10, ele superou o retorno final da base Uniforme em tarefas difíceis (por exemplo, pick-place, push) após apenas 6 milhões de passos de tempo.
• Comparação com Bases:
  • Uniforme: Super-aloca para tarefas fáceis; falha em resolver tarefas difíceis.
  • Progresso de Aprendizado/Potencial: Tendem a priorizar tarefas com altas taxas de aprendizado ou alto erro de estimativa de valor, o que frequentemente correlaciona-se com tarefas fáceis, negligenciando tarefas difíceis que estão presas.
  • Difícil Primeiro (SMT): Sofre de colapso de desempenho em tarefas difíceis; uma vez que uma tarefa é declarada "resolvida" com base em um limiar, a probabilidade de amostragem cai abruptamente, fazendo com que o agente esqueça a tarefa e precise reaprender.
• Ablações:
  • Amostragem Adaptativa vs. Reponderação: A amostragem adaptativa (DRATS) é significativamente mais eficiente em dados do que reponderar o objetivo de dados amostrados uniformemente. A reponderação leva a estimativas de gradiente de alta variância para tarefas difíceis devido à coleta insuficiente de dados.
  • Hiperparâmetros: O DRATS é robusto à escolha da temperatura $\eta$ e do tamanho do passo $\alpha$.

Significado e Alegações

O artigo alega que o DRATS aborda uma ineficiência fundamental na MTRL: a má alocação de recursos de dados. Ao deslocar o foco do conflito de gradientes para a alocação de dados, o DRATS fornece um mecanismo eficiente em dados para equilibrar o desempenho entre as tarefas.

Os autores enfatizam que:

• O DRATS é a primeira aplicação de Otimização Robustamente Distribucional a RL multi-tarefa em cenários de controle contínuo.
• Ao contrário de muitos métodos de Aprendizado de Currículo que assumem transferência positiva de tarefas fáceis para difíceis, o DRATS visa explicitamente a lacuna de retorno do pior caso, tornando-o eficaz mesmo quando as tarefas entram em conflito ou a transferência é fraca.
• O método é modular; modifica apenas o processo de coleta de dados e pode ser combinado com arquiteturas especializadas ou técnicas de manipulação de gradiente.

O artigo conclui que o DRATS oferece uma abordagem principista e fundamentada teoricamente para alcançar aprendizado multi-tarefa equilibrado, melhorando tanto a eficiência do aprendizado quanto a robustez da política final em todas as tarefas.