🤖 machine learning

Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL

O artigo propõe o DCRL (Divide-and-Conquer RL), um método recursivo de aprendizado por reforço offline condicionado a objetivos que decompõe trajetórias em árvores binárias balanceadas para reduzir a profundidade de bootstrap e o acúmulo de erro, superando substancialmente as linhas de base planas e hierárquicas existentes em tarefas de longo horizonte.

Autores originais: Hyeonseong Jeon, Youngwoon Lee

Publicado 2026-09-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hyeonseong Jeon, Youngwoon Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existe um desafio específico conhecido como aprendizado condicionado por objetivos. Imagine ensinar um robô não apenas a andar, mas a caminhar até uma cadeira específica, ou até uma porta específica, ou até um interruptor de luz específico, usando apenas uma biblioteca de vídeos passados de outros robôs se movendo. O robô deve observar essas gravações antigas, descobrir como ir do ponto A ao ponto B e, então, tentar fazer isso sozinho. Isso funciona bem para trajetos curtos. Se o objetivo estiver a apenas alguns passos de distância, o robô consegue facilmente ligar os pontos. Mas quando a jornada é longa — exigindo centenas ou milhares de passos para alcançar um destino distante — o robô costuma se perder. Ele tem dificuldade em lembrar o início do caminho enquanto tenta planejar o fim e, pequenos erros em sua memória de passos curtos acumulam-se em erros massivos quando ele chega ao objetivo.

Este problema torna-se ainda mais difícil quando o robô não pode aprender experimentando coisas no mundo real. Em muitos cenários do mundo real, como operar máquinas pesadas ou navegar em uma fábrica complexa, cometer erros é muito perigoso ou caro. O robô deve aprender inteiramente a partir de um conjunto de dados fixo de experiências passadas, um campo conhecido como aprendizado por reforço offline. Pesquisadores sabem há muito tempo que, para resolver uma jornada longa, você deve compreender os segmentos mais curtos que a compõem. No entanto, métodos padrão para ensinar robôs a partir desses conjuntos de dados estáticos geralmente tentam aprender a jornada inteira de uma só vez, ou saltam aleatoriamente entre segmentos curtos e longos. Essa abordagem é como tentar ler um livro folheando páginas aleatórias; o robô acaba adivinhando o significado de um capítulo longo com base em uma frase que ainda não compreendeu totalmente, levando à confusão e ao fracasso.

Uma equipe de pesquisadores da Universidade Yonsei e da Universidade Nacional de Seul propôs uma nova maneira de ensinar esses robôs, chamada DCRL. Em vez de adivinhar todo o caminho de uma vez, o método deles decompõe cada jornada longa em uma hierarquia estruturada e passo a passo, muito parecido com organizar uma grande tarefa primeiro dominando as menores partes e depois combinando-as. Os pesquisadores pegaram um caminho longo de um conjunto de dados e o dividiram exatamente ao meio, depois dividiram essas metades novamente ao meio, continuando este processo até chegarem a passos individuais. Eles então ensinaram o robô a entender esses movimentos minúsculos de um único passo. Uma vez que o robô estivesse confiante sobre esses pequenos passos, ele usaria esse conhecimento para entender os segmentos ligeiramente mais longos, e depois os segmentos mais longos, construindo seu entendimento do chão para cima. Essa estratégia de "dividir para conquistar" garante que o robô nunca tente aprender uma rota longa e complexa até que já tenha dominado as rotas mais curtas que a compõem.

Os pesquisadores descobriram que essa abordagem estruturada resolveu dois grandes problemas que atormentavam os métodos anteriores. Primeiro, impediu que o robô fizesse suposições otimistas. Métodos antigos frequentemente olhavam para muitos pontos intermediários possíveis e escolhiam aquele que parecia melhor, esperando por um atalho. Mas, como os dados eram limitados, o robô frequentemente escolhia um ponto que parecia bom apenas devido a um erro em sua memória e, então, construía todo o seu plano sobre esse erro. O novo método evita isso seguindo estritamente o caminho real mostrado nos dados, dividindo-o exatamente no meio e aprendendo o valor daquela rota específica sem fazer suposições. Segundo, ao utilizar uma estrutura equilibrada em forma de árvore, o método organiza o aprendizado de modo que a influência de qualquer erro individual seja contida dentro de sua respectiva hierarquia.

Ao serem testados em uma variedade de tarefas difíceis, incluindo navegar um robô humanoide gigante através de um labirinto e resolver quebra-cabeças complexos, este novo método superou todas as abordagens anteriores. Nas cinco tarefas de longo horizonte mais desafiadoras disponíveis em seu benchmark, o novo método melhorou a pontuação média de sucesso de 55 para 64, superando até mesmo sistemas hierárquicos mais complexos que eram anteriormente considerados o estado da arte. Em um teste específico envolvendo um robô humanoide em um labirinto enorme, o novo método alcançou uma taxa de sucesso de 93 por cento, enquanto o segundo melhor método atingiu apenas 79 por cento. Talvez o mais impressionante seja que, em uma tarefa envolvendo um cubo que exigia oito movimentos separados para ser resolvido, o novo método foi o único que conseguiu completar a tarefa, alcançando uma taxa de sucesso de 5 por cento enquanto todos os outros métodos falharam completamente. Além disso, nos testes do conjunto de dados CALVIN, o método demonstrou sua eficácia ao obter sucesso em quatro subtarefas consecutivas.

Os pesquisadores também observaram que a ordem em que o robô aprende é fundamental. Enquanto métodos anteriores utilizam o aprendizado em ordem embaralhada, o DCRL demonstra que a abordagem "de baixo para cima" é essencial para o sucesso. O estudo sugere que, ao respeitar a dependência natural das jornadas longas em relação aos passos curtos, e ao organizar o processo de aprendizado para refletir essa dependência, os robôs podem aprender a navegar por caminhos muito mais longos e complexos do que nunca antes. Este trabalho não oferece apenas um novo algoritmo; ele fornece uma compreensão mais clara de como escalar a inteligência artificial para lidar com as tarefas longas e intrincadas que definem o mundo real.

Resumo Técnico: Aprendizado de Valor Recursivo para RL de Condicionamento de Objetivo Offline de Longo Horizonte

Declaração do Problema

Escalar o Aprendizado por Reforço com Condicionamento de Objetivo (GCRL) offline para tarefas de longo horizonte enfrenta dois desafios primários:

Acúmulo de Erro via Dependência: Estimativas de valor de longo alcance dependem inerentemente de estimativas de curto alcance. Métodos padrão de GCRL offline frequentemente utilizam bootstrapping de valores de longo alcance a partir de valores de curto alcance que são, eles próprios, imprecisos ou ainda não convergiram, levando a erros compostos.
Superestimação via Backups Baseados em Máximo: Backups de valor do tipo Bellman e transitivos padrão selecionam de forma otimista entre ações ou estados intermediários (ex: $\max_w V(s, w) \cdot V(w, g)$ ). Com dados offline finitos, esse processo de seleção tende a favorecer candidatos superestimados, propagando seus erros através de backups repetidos e criando grandes inconsistências globais.

Métodos existentes, incluindo abordagens hierárquicas e o aprendizado transitivo padrão (como Transitive RL ou TRL), frequentemente falham ao não impor explicitamente a ordem de dependência onde valores de curto alcance devem ser aprendidos antes dos valores de longo alcance, ou dependem de seleções ruidosas e otimistas que amplificam erros ao longo de horizontes extensos.

Metodologia: DCRL (Divide-and-Conquer RL)

Os autores propõem o DCRL, um algoritmo que instancia explicitamente uma estratégia de divisão e conquista para o aprendizado de valor. O DCRL aborda os desafios mencionados através de três mecanismos centros:

1. Estrutura de Divisão e Conquista Recursiva

Em vez de amostrar segmentos de trajetória de comprimentos arbitrários de forma independente, o DCRL decompõe recursivamente um segmento de trajetória amostrado $(s_i, s_j)$ em uma árvore binária balanceada:

Dividir: Um segmento é dividido em seu ponto médio $k = \lfloor (i+j)/2 \rfloor$ em dois filhos: $(s_i, s_k)$ e $(s_k, s_j)$ . Esta recursão continua até que segmentos de passo único (folhas) sejam alcançados.
Conquistar: A função de valor é treinada de baixo para cima (bottom-up). Nós folha de passo único são fundamentados (ex: $V(s_i, s_{i+1}) = \gamma$ ). Os nós pais são atualizados apenas após seus filhos terem sido treinados.
Benefício: Esta estrutura reduz a profundidade de bootstrap de pior caso de linear ( $O(H)$ ) nos métodos padrão para logarítmica ( $O(\log_2 H)$ ) em relação ao horizonte $H$ . Esta cadeia de dependência mais curta corresponde empiricamente a um acúmulo de erro significativamente mais lento.

2. Fatoração de Rota Exata (Atualizações Livres de Seleção)

Para evitar a superestimação causada pela maximização sobre estados intermediários ruidosos, o DCRL utiliza uma fatoração exata ao longo da rota observada para o valor de comportamento $V_\tau$ :
$V_\tau(s, g) = V_\tau(s, w) \cdot V_\tau(w, g)$
onde $w$ é o ponto médio fixo do segmento.

Ao contrário dos backups transitivos padrão que maximizam sobre todos os possíveis $w$ , esta regra de atualização avalia uma única rota suportada pelo conjunto de dados.
Isso garante que o algoritmo aprenda valores de comportamento (valores de rotas demonstradas) sem introduzir viés de seleção. Os autores provam que a subotimalidade da rota cresce sob composição, motivando a necessidade de aprender a partir de constituintes mais curtos e menos subotimais primeiro.

3. Propagação de Valor para Otimalidade

Embora a fatoração recursiva aprenda valores de comportamento confiáveis, ela não descobre inerentemente rotas otimizadas mais curtas que não estejam presentes na trajetória específica. Para recuperar valores ótimos ( $V^*$ ), o DCRL emprega um segundo objetivo:

Propagação Multietapa: A função de valor é treinada usando metas reetiquetadas globalmente (estilo Hindsight Experience Replay) com uma perda de upper-expectile.
Mecanismo: Este objetivo compõe segmentos através de diferentes trajetórias para identificar rotas mais curtas.
Sinergia: O componente de divisão e conquista recursiva fornece uma base confiável de baixa dependência para valores de comportamento de longo alcance, a qual o objetivo de propagação utiliza para compor caminhos ótimos.

Implementação: Agendamento de Slots Paralelos

Para executar este treinamento recursivo de forma eficiente sem sacrificar a diversidade de lotes (batches), o DDCRL utiliza agendamento de slots:

Múltiplos "slots" independentes mantêm árvores recursivas separadas para diferentes segmentos raiz.
Cada slot processa sua árvore das folhas para a raiz.
Durante o treinamento, amostras são extraídas desses slots. Como os slots esvaziam e são preenchidos em taxas diferentes, os minibatches contêm uma mistura de comprimentos de segmento (curtos e longos), enquanto preservam estritamente a ordem de treinamento filho-para-pai dentro de cada slot.

Principais Contribuições

Algoritmo: A introdução do DCRL, que constrói explicitamente árvores binárias balanceadas sobre segmentos intra-trajetória, impõe o treinamento de baixo para cima via fatoração de valor e utiliza agendamento de slots para execução paralela.
Análise: Uma prova teórica de que o DCRL reduz a profundidade de bootstrap de pior caso de linear para logarítmica no horizonte. A análise empírica em um ambiente controlado demonstra que esta estrutura de dependência mais curta leva a um acúmulo de erro substancialmente mais lento em comparação com métodos de profundidade linear.
Desempenho: O DCRL atinge desempenho de estado da arte em diversos benchmarks de GCRL offline, incluindo ambientes baseados em estados e pixels. Notavelmente, nas cinco tarefas de longo horizonte mais desafiadoras do OGBench, o DCRL melhora a melhor pontuação média anterior de 55 para 64, superando tanto os baselines planos quanto os hierárquicos.

Resultados

Tarefas de Longo Horizonte: Em tarefas do OGBench como humanoidmaze-giant e ambientes de quebra-cabeça complexos, o DCRL supera significativamente métodos planos anteriores (ex: IQL, TD, TRL) e métodos hierárquicos (ex: HIQL, SHARSA). É o único método plano a alcançar sucesso não nulo na tarefa cube-octuple.
Acúmulo de Erro: Em experimentos controlados (ambiente de fechadura de combinação), o erro de Q do DCRL permanece relativamente estável conforme o horizonte aumenta, enquanto os métodos padrão de TD e TRL exibem um crescimento rápido de erro.
Estudos de Ablação: Remover o agendamento recursivo (treinamento em ordem aleatória) causa uma queda drástica no desempenho (taxa de sucesso caindo de 93% para 18% em humanoidmaze-giant), confirmando a necessidade da ordem filho-para-pai. Remover o objetivo de propagação também degrada o desempenho, validando a necessidade de ambos: aprendizado de comportamento e recuperação de valor ótimo.
Comparação com TRL: Embora o Transitive RL (TRL) utilize backups intra-trajetória semelhantes, carece da estrutura recursiva explícita e do agendamento balanceado, resultando em uma profundidade de pior caso linear e maior acúmulo de erro.

Significância e Limitações

O artigo afirma que o DCRL fornece uma base para escalar o GCRL para horizontes mais longos ao mitigar o acúmulo de erro induzido pelo horizonte através de um processo de aprendizado estruturado e recursivo. Ele demonstra que modelar explicitamente a estrutura de dependência do aprendizado de valor (segmentos mais curtos antes dos mais longos) é crítico para a estabilidade em cenários offline.

Limitações reconhecidas pelos autores:

Dinâmicas Determinísticas: Como outros métodos de desigualdade triangular, o DCRL assume dinâmicas determinísticas. Em ambientes estocásticos, a fatoração exata $E[XY] \neq E[X]E[Y]$ geralmente falha.
Superioridade Hierárquica em Domínios Específicos: Embora o DCRL se destaque em tarefas de longo horizonte como humanoidmaze-giant, abordagens hierárquicas ainda o superam em tarefas de cube-manipulation, sugerindo que a dificuldade da tarefa não é apenas uma função do comprimento do horizonte e que a hierarquia pode permanecer benéfica em certos contextos.

Os autores identificam a extensão da amostragem recursiva para dinâmicas estocásticas e a compreensão das condições sob as quais a hierarquia permanece benéfica como direções importantes para trabalhos futuros.