Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

Resumo Técnico: Moldagem de Recompensas Esparsas em Aprendizado por Reforço: Uma Abordagem Semi-supervisionada

Declaração do Problema
O Aprendizado por Reforço (AR) enfrenta um desafio central em cenários do mundo real onde os sinais de recompensa são extremamente esparsos. Em tais ambientes, os agentes recebem feedback imediato mínimo, levando a alta variância nos retornos e dificuldade em aprender políticas ótimas. Embora a moldagem e a densificação de recompensas sejam soluções comuns, elas frequentemente sofrem de "exploração de recompensas" (reward hacking), onde os agentes aprendem comportamentos que se desviam do design pretendido para maximizar recompensas artificiais. Por outro lado, métodos de moldagem de recompensas baseados em supervisão, que dependem de demonstrações de não especialistas, sofrem de baixa eficiência de amostra quando transições com recompensa não nula são extremamente raras. As abordagens existentes lutam para utilizar efetivamente a vasta maioria das transições que geram recompensas zero.

Metodologia: Moldagem de Recompensas Semi-supervisionada (SSRS)
Os autores propõem o framework de Moldagem de Recompensas Semi-supervisionada (SSRS), que preenche essa lacuna ao aproveitar técnicas de Aprendizado Semi-supervisionado (SSL). A ideia central é realizar a moldagem de recompensas não apenas nas escassas transições com recompensa não nula, mas também nas abundantes transições com recompensa zero, aprendendo representações do espaço de trajetórias.

O framework opera através dos seguintes componentes-chave:

1. Estimação de Recompensa como Classificação: O problema da moldagem de recompensas é enquadrado como uma tarefa de classificação. O sistema aprende a atribuir um valor de recompensa de um conjunto discreto $Z$ (contendo recompensas não nulas observadas e zero) a pares estado-ação. O estimador de recompensa consiste em duas redes neurais:

   • $R_V(s)$: Uma função de distribuição de recompensa de valor de estado que mapeia um estado para uma distribuição de probabilidade sobre $Z$.
   • $R_Q(s, a)$: Uma função de distribuição de recompensa de valor estado-ação que mapeia um par estado-ação para uma distribuição de probabilidade sobre $Z$.
     O vetor final de pontuação de confiança $q_t$ para uma transição é uma combinação ponderada dessas duas distribuições.

2. Otimização Semi-supervisionada: O framework alterna entre atualizações de política e otimização do estimador de recompensa.

   • Função de Perda Supervisionada ($L_r$): Para transições com recompensas não nulas conhecidas, o estimador é treinado para minimizar a discrepância entre suas previsões e a verdade fundamental (ground truth) usando uma perda de entropia cruzada com limite.
   • Regularização de Consistência ($L_s$): Para transições com recompensa zero, o modelo emprega regularização de consistência. Ele aplica aumentações de dados fracas e fortes às transições de entrada. O modelo é otimizado para produzir previsões consistentes entre as versões aumentadas fracamente e fortemente aumentadas, desde que a confiança exceda um limite $\lambda$. Isso utiliza os dados não rotulados de recompensa zero para refinar a função de recompensa.

3. Aumentação por Entropia: Uma técnica de aumentação de dados inovadora é introduzida especificamente para tarefas não baseadas em imagens. Diferentemente das aumentações tradicionais de imagens (por exemplo, recorte, rotação), que podem violar suposições de suavidade no espaço de trajetórias, este método utiliza Entropia de Shannon. Ele calcula a entropia da matriz de estado e a utiliza para perturbar a representação do estado. Isso preserva as suposições de suavidade e agrupamento necessárias para que o SSL seja eficaz no espaço de trajetórias.

4. Restrição de Monotonicidade: Para estabilizar o treinamento e melhorar a representação das vantagens de ação, uma restrição é introduzida. Ela penaliza casos em que a vantagem estimada (a diferença entre $R_Q(s, a)$ e $R_V(s)$) é negativa, garantindo que a função de vantagem capture melhorias relativas em relação à linha de base do estado.

Principais Contribuições

• Framework SSRS: Um framework inovador que integra SSL ao AR, permitindo a moldagem de recompensas tanto em transições com recompensa não nula quanto em transições com recompensa zero para melhorar a eficiência de amostra em ambientes de recompensa esparsa.
• Aumentação por Entropia: A proposta de um método de perturbação de dados baseado em entropia adaptado para espaços de trajetórias, que supera métodos de aumentação tradicionais em tarefas de observação não visual.
• Validação Empírica do SSL em AR: O artigo investiga empiricamente as condições sob as quais o SSL é eficaz no AR, demonstrando que os espaços de trajetórias conformam-se às suposições suaves (suavidade e agrupamento) necessárias para metodologias de SSL.
• Restrição de Monotonicidade: A introdução de uma restrição para regular a relação entre estimadores de valor de estado e valor estado-ação, aprimorando a estabilidade do treinamento.

Resultados Experimentais
O framework SSRS foi avaliado em ambientes Atari de recompensa esparsa (por exemplo, Montezuma's Revenge, Seaquest, Venture) e em tarefas de manipulação robótica (FetchReach).

• Desempenho vs. Baselines: O SSRS superou consistentemente abordagens baseadas em supervisão (RCP, SORS) e baselines padrão de AR. Em ambientes altamente esparsos como Montezuma's Revenge, o SSRS alcançou pontuações máximas até duas vezes maiores que as das baselines supervisionadas.
• Eficácia da Aumentação: A aumentação por entropia proposta resultou em um aumento de 15,8% na melhor pontuação em comparação com outros métodos de aumentação (por exemplo, recorte, suavização, tradução).
• Estudos de Ablação: Experimentos confirmaram a importância da restrição de monotonicidade, mostrando que o SSRS com essa restrição (SSRS-ST) alcançou melhores pontuações máximas do que sem ela (SSRS-NST) na maioria dos ambientes testados.
• Robustez de Hiperparâmetros: O estudo analisou hiperparâmetros como a probabilidade de atualização ($p_u$), o limite de confiança ($\lambda$) e o coeficiente de consistência ($\beta$). Os resultados indicaram que o desempenho atinge o pico quando o limite de confiança está entre 0,8 e 0,9, e o coeficiente de consistência tem impacto mínimo nos resultados finais, mas afeta a dinâmica do treinamento.

Significado e Alegações
O artigo alega que, ao tratar a moldagem de recompensas como um problema de classificação semi-supervisionado, os agentes podem aprender efetivamente a partir da maioria das transições com recompensa zero, que são tipicamente descartadas ou subutilizadas. Os autores argumentam que o espaço de trajetórias no AR satisfaz as suposições necessárias para o SSL (agrupamento e suavidade), permitindo que o modelo infira sinais de recompensa confiáveis para transições com recompensa zero. A introdução da aumentação por entropia é destacada como uma inovação crítica que adapta técnicas de perturbação de SSL à natureza específica das observações de AR, evitando as armadilhas de aplicar aumentações centradas em imagens a dados não visuais. Em última análise, o trabalho demonstra que o SSL pode aprimorar significativamente a eficácia da moldagem de recompensas, levando a pontuações mais altas dos agentes em domínios desafiadores de recompensa esparsa.