Resumo Técnico: Integração de DAGs Causais em RL Profundo com MOSE

Declaração do Problema

Algoritmos de aprendizado por reforço (RL) online dependem fundamentalmente da propriedade de Markov, que assume que o futuro é condicionalmente independente do passado dado o estado presente. No entanto, em aplicações do mundo real envolvendo observações brutas (por exemplo, fluxos de sensores, quadros de vídeo), as variáveis observadas frequentemente não formam inerentemente um estado markoviano, pois a dinâmica do sistema pode depender de uma quantidade desconhecida de contexto histórico.

Embora a literatura existente de RL causal utilize Grafos Acíclicos Direcionados (DAGs) causais para acelerar o aprendizado ou projetar recompensas robustas, esses métodos tipicamente assumem que uma representação de estado markoviana válida e pré-especificada já está disponível. Uma lacuna crítica permanece: dado um grafo causal longitudinal sobre variáveis observadas, não há um procedimento estabelecido para construir uma representação de estado que satisfaça provadamente a propriedade de Markov. Além disso, no contexto de RL profundo, simplesmente construir um estado markoviano teoricamente "mínimo" frequentemente falha em melhorar o desempenho empírico, pois redes neurais podem ter dificuldade em generalizar a partir de tais representações esparsas devido ao sobreajuste e à falta de características redundantes que auxiliam na aproximação de funções.

Metodologia

O artigo propõe uma abordagem de duas frentes: um procedimento teórico para construir estados mínimos a partir de grafos causais conhecidos, e um método heurístico (MOSE) para RL profundo quando o grafo é desconhecido ou para melhorar a estabilidade do aprendizado.

1. Construção de Estado Markoviano Mínimo a partir de DAGs Causais

Os autores estabelecem uma conexão formal entre DAGs causais de séries temporais e Processos de Decisão de Markov (MDPs).

• Estrutura Teórica: Utilizando Modelos Causais Estruturais (SCMs) estendidos para séries temporais, o artigo define um "Grafo de Tempo Completo" onde os nós representam variáveis em passos de tempo específicos e as arestas representam dependências causais com atrasos temporais.
• Critério Gráfico: O Teorema 4.1 fornece quatro condições necessárias e suficientes para que uma sequência de conjuntos de variáveis $\{S_t\}$ constitua um espaço de estado válido:
  1. Inclusão de Pais da Recompensa: Todos os pais da variável de recompensa $R_t$ devem ser incluídos em $S_t$.
  2. Inclusão Estendida de Pais do Próximo Estado: Todos os pais (em tempos $\le t$) do "conjunto estendido do próximo estado" (o fecho de $S_{t+1}$ sob pais do mesmo tempo) devem ser incluídos em $S_t$.
  3. Sem Reentrada Ancestral: Uma vez que uma variável é removida da construção do estado, seus ancestrais não podem reentrar no estado em um momento posterior.
  4. Persistência: Se uma variável aparece no estado em dois momentos diferentes, ela deve aparecer em todos os estados intermediários.
• Algoritmo F.1: Um algoritmo de construção reversa é proposto para gerar uma sequência de estados provavelmente mínima que satisfaça os critérios acima. Começando do final do horizonte, ele seleciona iterativamente os pais necessários da recompensa e do próximo estado, garantindo que nenhuma variável redundante seja incluída, preservando a propriedade de Markov e o valor ótimo.

2. Exposição de Estado Multi-Ordem (MOSE)

Reconhecendo que representações mínimas podem levar a uma generalização pobre em RL profundo (devido a mínimos agudos e falta de folga estatística), os autores propõem o MOSE.

• Mecanismo: Em vez de alimentar uma única estado mínimo ou uma janela fixa de histórico para a função Q, o MOSE alimenta múltiplas ordens de construções de estado históricas simultaneamente. Especificamente, para um comprimento de janela $W$, o algoritmo atualiza iterativamente a função de valor usando entradas que variam da observação atual ($l=0$) até a janela completa ($l=W$).
• Racional: As entradas de ordem inferior, não markovianas, atuam como ruído estruturado que remodela a paisagem de perda. Isso fornece um gradiente gradual e informativo, de representações subótimas para ótimas, atuando como um regularizador semelhante ao aumento de dados ou aprendizado multi-visão.
• Causal-MOSE: Uma extensão onde o estado markoviano mínimo (derivado do DAG causal) é incluído juntamente com as entradas multi-ordem. Isso combina a garantia teórica do núcleo mínimo com os benefícios empíricos da redundância.

Principais Contribuições

1. Construção de Estado Markoviano Mínimo: O artigo fornece um critério gráfico e um algoritmo construtivo reverso (Algoritmo F.1) para derivar um espaço de estado provadamente mínimo a partir de um DAG causal longitudinal conhecido. Isso preenche a lacuna entre a descoberta causal e a definição de estado de MDP.
2. Exposição de Estado Multi-Ordem (MOSE): Um método heurístico para construção de estado que não requer conhecimento prévio do DAG causal. Ele demonstra que expor agentes de RL profundo a múltiplas janelas temporais de histórico melhora o desempenho em comparação tanto com a empilhamento de quadros ingênuo quanto com representações causais mínimas.
3. Causal-MOSE: Uma abordagem híbrida mostrando que combinar o estado markoviano mínimo com exposição multi-ordem produz desempenho igual ou superior ao MOSE isolado, validando a utilidade da estrutura causal quando disponível.

Resultados Experimentais

Os autores avaliaram seus métodos em três Processos Geradores de Dados (DGPs) sintéticos e no jogo Atari GOPHER.

• DGPs Sintéticos: Utilizando Modelos de Ruído Aditivo Linear (ANM) e Modelos Pós-Não-Lineares (PNL) com ordens de MDP variáveis ($W=2, 5, 10$), o MOSE superou consistentemente:
  • Política de Janela: Empilhamento padrão de quadros (concatenando $W$ quadros fixos).
  • Pais da Recompensa: Usando apenas pais da recompensa como estado.
  • Estado-DAG: O estado mínimo construído pelo Algoritmo F.1.
  • Descoberta Chave: O estado mínimo (Estado-DAG) sozinho não melhorou o desempenho em relação às políticas de janela e, às vezes, o degradou, confirmando que a minimalidade teórica não equivale à otimalidade empírica em RL profundo.
• Desempenho do Causal-MOSE: Em ambientes ANM Lineares, o Causal-MOSE (estado mínimo + MOSE) superou consistentemente o MOSE sozinho, sugerindo que o estado mínimo fornece um núcleo confiável para a rede construir.
• Atari (GOPHER): O MOSE superou o algoritmo Rainbow padrão (que usa empilhamento de 4 quadros) ao longo de 1 milhão de etapas de treinamento. Isso indica que, em ambientes de pixels de alta dimensão, nem todos os quadros empilhados contribuem igualmente para o controle, e a seleção adaptativa de estados melhora a eficiência de amostragem.
• Ablações: Experimentos confirmaram que os ganhos não foram devidos ao aumento de passos de gradiente por lote (artefatos de otimização), mas sim às representações de estado mais ricas fornecidas pelo MOSE.

Significado e Afirmações

O artigo estabelece um princípio central para o RL causal profundo: a suficiência mínima não é suficiente, e a redundância controlada é necessária para desbloquear o benefício da informação de estado causal.

Os autores argumentam que, embora os grafos causais forneçam uma maneira principial de identificar as variáveis mínimas necessárias para a propriedade de Markov, redes neurais profundas se beneficiam da "folga estatística" fornecida por entradas redundantes e não markovianas. Essas entradas redundantes ajudam a rede a evitar o sobreajuste a correlações espúrias e facilitam uma melhor generalização.

O trabalho contribui com uma base teórica para construir estados de MDP válidos a partir de grafos causais e uma heurística prática (MOSE) que torna esses insights causais utilizáveis no RL profundo moderno. Os autores observam que sua abordagem assume o acesso a um grafo causal longitudinal de verdade fundamental; aprender tais grafos a partir de dados de alta dimensão e não estacionários permanece um desafio aberto para trabalhos futuros.