Resumo Técnico: Unificando RL Condicionada a Objetivos e Aprendizado de Habilidades Não Supervisionado via Maximização de Controle

Declaração do Problema

O pré-treinamento não supervisionado, particularmente o Aprendizado de Habilidade por Informação Mútua (MISL), impulsionou o sucesso empírico na Aprendizagem por Reforço Condicionada a Objetivos (GCRL) ao descobrir habilidades diversas que facilitam a realização de objetivos a jusante. No entanto, a justificativa teórica de por que os objetivos do MISL (que maximizam a diversidade comportamental) deveriam suportar tarefas específicas de GCRL a jusante permanece pouco compreendida.

Um obstáculo fundamental para unificar esses campos é que tanto "GCRL" quanto "MISL" são termos guarda-chuva que abrangem formulações distintas e frequentemente incompatíveis:

1. Diversidade na GCRL: Diferentes tarefas de GCRL utilizam critérios distintos para medir o desempenho na realização de objetivos (por exemplo, objetivos persistentes, temporização exata ou janelas de oportunidade), levando a políticas ótimas fundamentalmente diferentes.
2. Diversidade no MISL: Diferentes métodos de MISL otimizam noções distintas de diversidade comportamental (por exemplo, diversidade em estados terminais versus trajetórias completas) e dependem de diferentes limites variacionais.

A questão central é: Existe uma explicação teórica que vincula objetivos específicos de MISL a formulações específicas de GCRL a jusante, e sob quais condições elas se alinham?

Metodologia e Estrutura

Os autores propõem uma perspectiva unificada baseada na Maximização de Controle. Eles argumentam que tanto a GCRL quanto o MISL buscam fundamentalmente maximizar o grau de controle de um agente sobre seu ambiente.

1. Análise das Formulações de GCRL

O artigo identifica três formulações canônicas de GCRL e prova sua inequivalência geral:

• Objetivo Persistente ($Pe(\gamma)$): Cenários de horizonte infinito onde o agente é recompensado repetidamente por revisitar um objetivo (por exemplo, otimização de ocupação de estado-alvo).
• Temporização Exata ($ET(K)$): Cenários de horizonte finito onde a recompensa é dada apenas se o objetivo for atingido em um passo exato $K$.
• Janela de Oportunidade ($OW(K, \gamma)$): Cenários de horizonte finito onde a recompensa é dada se o objetivo for atingido dentro de uma janela $K$, frequentemente com desconto.

Descoberta Chave: Essas formulações induzem políticas ótimas fundamentalmente diferentes. Por exemplo, em um ambiente estocástico (por exemplo, atravessar um rio com uma ponte arriscada), a estratégia ótima para $Pe(\gamma)$ (priorizando confiabilidade/revisitas) pode diferir da $ET(K)$ (priorizando velocidade para cumprir um prazo) ou da $OW(K, \gamma)$. O artigo fornece condições (por exemplo, ambientes determinísticos, horizontes de um passo ou janelas infinitas) sob as quais essas formulações convergem para a mesma política ótima.

2. Definindo Sensibilidade ao Objetivo

Para unificar essas formulações, os autores introduzem a Sensibilidade ao Objetivo ($C(s, \pi)$), uma nova medida do controle de um agente. Ela quantifica o quanto a trajetória futura do agente depende do objetivo comandado em comparação com um objetivo aleatório:
$$C(s, \pi) := \frac{1}{N_s^2} \sum_{g, g' \in S} \left( J(s, g, \pi_{g}) - J(s, g, \pi_{g'}) \right)$$
onde $J$ é o retorno. Essa métrica reflete tanto a controlabilidade intrínseca do ambiente (controle objetivo) quanto a competência do agente (controle subjetivo).

3. Limites Teóricos Ligando MISL e GCRL

A contribuição teórica central é estabelecer limites precisos de teoria da informação entre objetivos de MISL e desempenho de GCRL a jusante via Sensibilidade ao Objetivo:

• Passo 1: Os autores mostram que, para $Pe(\gamma)$ e $ET(K)$, maximizar a Sensibilidade ao Objetivo é equivalente a maximizar o retorno da GCRL. Para $OW(K, \gamma)$, fornece um limite inferior apertado sobre o retorno.
• Passo 2: Eles derivam que a Informação Mútua Objetivo-Comportamento (MI entre o objetivo comandado e uma variável comportamental $S'$) é rigidamente limitada pela Sensibilidade ao Objetivo da formulação de GCRL correspondente.
  • Para $Pe(\gamma)$, a variável comportamental correspondente é a ocupação de estado com desconto ($S_{\gamma,+}$).
  • Para $ET(K)$, a variável correspondente é o estado no passo $K$ ($S_K$).
  • Para $OW(K, \gamma)$, eles identificam uma nova variável, o vetor de primeira visita com desconto ($F_{K,\gamma}$), como a correspondência mais apertada, observando que variáveis baseadas em trajetórias existentes ($\tau_K$) produzem apenas limites frouxos.
• Passo 3: Eles provam que o objetivo padrão de MISL (MI entre habilidades e comportamento) aproxima a MI Objetivo-Comportamento, com a lacuna controlada pela uniformidade da distribuição de habilidades induzida pelo mapeamento de objetivo para habilidade.

Contribuições Principais

1. Inequivalência das Formulações de GCRL: O artigo prova que formulações distintas de GCRL ($Pe$, $ET$, $OW$) geralmente induzem políticas ótimas incompatíveis, explicando por que algoritmos projetados para uma formulação podem falhar em outra.
2. Lente de Maximização de Controle: Fornece um quadro teórico preciso definindo o desempenho da GCRL como maximizar a "Sensibilidade ao Objetivo", uma medida de controle que unifica formulações dispersas.
3. Correspondência entre MISL e GCRL: Os autores estabelecem limites sistemáticos mostrando que objetivos específicos de MISL correspondem a formulações específicas de GCRL a jusante. Eles demonstram que maximizar um objetivo específico de MISL (por exemplo, diversidade em estados terminais) limita teoricamente o desempenho de uma tarefa específica de GCRL (por exemplo, Temporização Exata).
4. Identificação de Variáveis Novas: O trabalho identifica que, para formulações de Janela de Oportunidade, objetivos de MISL padrão baseados em trajetória são subótimos, e um vetor de primeira visita com desconto é necessário para limites teóricos apertados.

Resultados

• Limites Teóricos: O artigo deriva limites de dois lados para formulações $Pe$e$ET$, mostrando que a Sensibilidade ao Objetivo limita rigidamente a Informação Mútua entre objetivos e comportamento. Para $OW$, fornece um limite inferior e discute condições para um limite superior.
• Condições de Equivalência de Políticas: O artigo delimita condições específicas (por exemplo, ambientes determinísticos, horizontes infinitos ou a presença de ações de "espera") sob as quais políticas aprendidas para uma formulação podem ser transferidas com segurança para outra.
• Implicação Prática: Os resultados implicam que não existe um objetivo de MISL universalmente ótimo. A escolha do objetivo de pré-treinamento deve corresponder ao critério esperado de realização de objetivos a jusante (por exemplo, usar diversidade de estados terminais para tarefas de temporização exata versus diversidade de trajetórias para janelas de oportunidade).

Significado e Alegações

O artigo afirma estabelecer uma fundação teórica para o pré-treinamento em RL ao resolver o "mistério teórico" de por que o aprendizado de habilidades não supervisionado auxilia na realização de objetivos a jusante. Ao enquadrar ambos os campos como instâncias de maximização de controle, os autores fornecem um guia principiado para praticantes:

• Seleção de Objetivos de Pré-treinamento: Os usuários devem selecionar objetivos de MISL que correspondam ao "sabor" específico de realização de objetivos (persistente, exato ou em janela) esperado no momento do teste.
• Design Algorítmico: As descobertas explicam por que certos algoritmos de GCRL (por exemplo, C-Learning, que depende de estruturas estacionárias) não se transferem para cenários de horizonte finito sem modificação.

Os autores permanecem modestos, reconhecendo limitações como a dependência de espaços de estado/ação finitos e a suposição de distribuições uniformes de objetivos (embora mostrem extensões para distribuições não uniformes nos apêndices). Eles também observam que, para a formulação de Janela de Oportunidade, o limite inverso (de MI para desempenho) requer suposições adicionais, deixando a identificação do objetivo MISL "perfeito" para este caso específico como uma questão em aberto.

Em última análise, o trabalho preenche a lacuna entre a descoberta de habilidades não supervisionada e o controle condicionado a objetivos, sugerindo que o sucesso do pré-treinamento não é acidental, mas sim o resultado do alinhamento do objetivo de pré-treinamento com as demandas específicas de controlabilidade da tarefa a jusante.