Resumo Técnico: Representações Quociente-Categoriais para Aprendizado por Reforço Distribucional de Recompensa Média Compatível com Bellman

1. Declaração do Problema

O Aprendizado por Reforço Distribucional (DRL) alcançou sucesso significativo em Processos de Decisão de Markov (MDPs) com desconto, onde a geometria de contração do operador de Bellman facilita a análise e o design de algoritmos. No entanto, o cenário de recompensa média apresenta um desafio estrutural fundamental para a modelagem distribucional.

Em MDPs de recompensa média, a avaliação depende de dois objetos: o ganho (recompensa média de longo prazo) e o viés (função de valor relativa). O viés satisfaz a equação de Poisson, que é o análogo de recompensa média da equação de Bellman. Uma propriedade crítica da equação de Poisson é que suas soluções são únicas apenas a menos de uma constante aditiva. Essa invariância por translação cria um obstáculo para a modelagem distribucional padrão: uma família indexada por estados de leis de probabilidade em $\mathbb{R}$ não pode ser definida diretamente com uma origem fixa, pois traduzir a distribuição de viés de cada estado pela mesma constante não deve alterar o objeto aprendido.

O trabalho existente em DRL de recompensa média frequentemente foca em refinar o próprio critério de recompensa ou utiliza representações escalares. Este artigo aborda a lacuna na construção de um análogo distribucional compatível com Bellman do viés que respeite a simetria de constante aditiva, permitindo programação dinâmica distribucional e aprendizado de diferença temporal (TD) no regime de recompensa média.

2. Metodologia

2.1 Formulação do Espaço Quociente

Os autores propõem modelar leis de viés indexadas por estados módulo translações comuns.

• Espaço Quociente: Seja $\mathcal{F}_S$ o conjunto de coleções indexadas por estados de leis de probabilidade em $\mathbb{R}$. Uma relação de equivalência $\approx$ é definida tal que $\eta \approx \zeta$ se $\zeta$ for uma translação comum de $\eta$. O espaço resultante $\mathcal{F}_S / \approx$ preserva a simetria de constante aditiva da equação de Poisson.
• Operador Distribucional: O operador distribucional de recompensa média $T$ é definido em $\mathcal{F}_S$. O artigo prova que $T$ comuta com translações comuns, induzindo assim um operador bem definido no espaço quociente $\mathcal{F}_S / \approx$.

2.2 Parametrização Categórica

Para tornar o espaço quociente computacionalmente tratável, os autores introduzem uma representação quociente-categórica:

• Representação: A lei de viés de cada estado é representada por uma distribuição categórica em uma grade fixa $\Theta = \{\theta_1, \dots, \theta_d\}$.
• Equivariância de Deslocamento: Uma família representante é definida como $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$, onde $c$ é um deslocamento arbitrário. O vetor de coeficientes $p$ caracteriza unicamente a classe quociente $[\eta_{p,c}]$, independente de $c$.
• Projeção: Uma projeção categórica equivariante por deslocamento $\Pi_{\Theta_c}^C$ é definida. O artigo estabelece que projetar uma lei traduzida em uma grade traduzida produz o mesmo vetor de coeficientes que projetar a lei original na grade original.

2.3 Operador Projetado e Não-Expansividade

Os autores definem um operador projetado $G_g$ sobre os coeficientes categóricos, que corresponde a aplicar o operador distribucional e projetar de volta na grade categórica.

• Métrica: A convergência é analisada usando a métrica de Cramér coordenada ($\ell_{\Theta, C, \infty}$), que coincide com a métrica de Cramér padrão nas leis representantes.
• Propriedade Chave: Diferentemente dos operadores de DRL com desconto, que são contrativos, o operador projetado $G_g$ no cenário de recompensa média é não-expansivo. O artigo prova que $G_g$ é bem definido, não-expansivo na métrica de Cramér coordenada e admite pontos fixos (via o teorema do ponto fixo de Brouwer).

2.4 Recursões de Aproximação Estocástica (SA)

Como o operador é não-expansivo em vez de contrativo, os argumentos padrão de contração não se aplicam. Os autores analisam recursões amostradas como relaxações assíncronas do operador projetado:

1. Recursão Centralizada: Assumindo que o ganho $\bar{r}^\pi$ é conhecido, eles definem uma atualização TD de um estado (Iteração Estocástica de Krasnosel'skiĭ–Mann) usando recompensas centralizadas $B = R - \bar{r}^\pi$. O mapa de campo médio dessa recursão é mostrado como não-expansivo e compartilhar pontos fixos com $G$.
2. Recursão Acoplada (Ganho Desconhecido): Quando o ganho é desconhecido, a recursão é aumentada com um estimador de ganho online $g_k$. Os autores definem uma métrica produto $d_\lambda$ combinando o resíduo categórico e o erro de ganho. Eles provam que o mapa de atualização acoplado é não-expansivo nessa métrica produto e que seus pontos fixos correspondem às leis de viés quociente-categóricas corretas e ao ganho verdadeiro.

3. Contribuições Principais

1. Fundação do Espaço Quociente: O artigo estabelece que o espaço quociente de famílias de leis indexadas por estados por translação comum é o domínio natural para um análogo distribucional do viés escalar.
2. Operador Projetado Bem Definido: Define um operador exato no espaço quociente e um algoritmo de projeção quociente-categórica, provando que o operador projetado é bem definido, não-expansivo e possui pontos fixos.
3. Garantias de Convergência:
   • Para recompensas centralizadas (ganho conhecido), o artigo prova convergência quase certa (q.c.) e limites de resíduo de iteração finita para a recursão TD sob amostragem i.i.d. e markoviana.
   • Para ganhos desconhecidos, introduz uma recursão acoplada com um estimador de ganho online, provando não-expansividade e convergência markoviana do esquema conjunto.
4. Insight Estrutural: O trabalho destaca um contraste estrutural entre distribuições quociente ideais (onde constantes de centralização induzem apenas translações comuns) e representações categóricas práticas de grade fixa (onde a projeção pode alterar coeficientes, necessitando de centralização correta).

4. Resultados Experimentais

O artigo valida suas afirmações teóricas através de dois experimentos:

• MDP de Cinco Estados: Um experimento tabular comparando iterações KM exatas, SKM i.i.d. centralizada, SKM markoviana centralizada e SKM acoplada com estimativa de ganho.
  • Os resultados confirmam que recursões exatas e estocásticas convergem para os mesmos pontos fixos.
  • A recursão acoplada aprende com sucesso tanto a distribuição de viés quanto o ganho.
  • Um estudo de ablação demonstra que o uso de uma constante de centralização incorreta ($g=0$ em vez de $\bar{r}^\pi$) leva à convergência para uma solução degenerada, validando a necessidade de centralização correta em representações de grade fixa.
• Pêndulo-v1 de Estado Contínuo: Uma prova de conceito usando aproximação de função neural.
  • O crítico quociente-categórico centrado no ganho proposto supera significativamente um crítico de recompensa bruta ingênuo em termos de resíduos do operador projetado.
  • A recursão de ganho online acoplada decompõe com sucesso o erro em componentes categóricos e de ganho, consistente com os limites teóricos.

5. Significado e Afirmações

O artigo afirma colocar a estimação distribucional de viés de recompensa média sobre bases sólidas. Seu significado principal reside em:

• Resolver a ambiguidade de constante aditiva do viés escalar introduzindo uma formulação quociente-categórica.
• Forner o primeiro análogo distribucional compatível com Bellman do viés que seja adequado para argumentos de programação dinâmica e aprendizado TD no cenário de recompensa média.
• Estabelecer garantias de convergência para mapas não-expansivos no contexto de RL distribucional, preenchendo a lacuna entre métodos de ponto fixo teóricos para operadores não-expansivos e algoritmos TD práticos.

Os autores observam que seu objetivo é complementar ao trabalho anterior que refina o próprio critério de recompensa média; em vez disso, eles refinam o viés como o objeto de aprendizado. A teoria atualmente foca na avaliação de política fixa em estados finitos com suportes categóricos fixos, com aproximação de função mais rica e cenários de controle identificados como próximos passos naturais.