Resumo Técnico: Conclusão vs. Otimalidade em Problemas de Dano Cumulativo de Longo Horizonte

1. Definição do Problema

Este artigo aborda uma classe específica de problemas de decisão sequencial de longo horizonte caracterizados por dano cumulativo. Nestes ambientes, ações que maximizam a recompensa imediata (localmente atraentes) aumentam simultaneamente um estado latente de dano cumulativo ($D_t$). O episódio termina implicitamente quando $D_t$ ultrapassa um limiar ou quando uma restrição de "viabilidade do papel" é violada (por exemplo, quando a parcela de atividades de alto dano cai abaixo de um nível crítico).

O desafio central é que o sinal de dano é frequentemente latente ou não informativo em níveis baixos de dano. Agentes que utilizam métodos padrão de gradiente de política (como PPO) frequentemente falham em aprender políticas prudentes porque:

1. Eles não conseguem observar o dano até que seja tarde demais (o "limite terminal implícito").
2. A atribuição de crédito gananciosa favorece a recompensa imediata em detrimento da preservação de longo prazo, levando a uma terminação precoce.

Os autores identificam que a avaliação baseada em retorno padrão confunde dois modos de falha distintos:

• Falha de Conclusão: O agente encerra o episódio precocemente (antes do horizonte completo $H$) devido à violação da restrição implícita.
• Falha de Otimalidade: O agente completa o horizonte completo, mas alcança um estado final subótimo (por exemplo, menor preservação de saúde/capacidade) porque se comprometeu com uma estratégia gananciosa no início.

2. Metodologia e Decomposição

O artigo propõe uma decomposição para avaliar agentes em dois eixos ortogonais:

1. Conclusão: A política atinge o horizonte terminal $H$?
2. Otimalidade: Dada a conclusão, a política corresponde ao valor de uma referência de indução reversa ($\pi^*$)?

Configuração Experimental

Os autores avaliam essa decomposição em dois ambientes distintos e calibrados, que compartilham a mesma estrutura abstrata, mas diferem em domínio e parâmetros:

• Carreira de Pedreiro: Uma simulação de 49 etapas (49 anos) de um trabalhador da construção civil gerenciando 7 atividades, calibrada com base em biomecânica do joelho humano e dados epidemiológicos.
• Carreira de Ala-Pivô da NBA: Uma simulação de 20 temporadas de um jogador de basquete gerenciando 6 atividades, calibrada com base na literatura de medicina esportiva.

Ambos os ambientes apresentam:

• Dano Latente: O agente observa apenas um sinal proxy $S_t = g(D_t)$, que é não informativo em níveis baixos de dano.
• Estrutura de Atividade Dominante: Uma atividade maximiza tanto a recompensa quanto o dano.
• Degradação Autoamplificada: Um canal secundário onde a preservação ($M_t$) degrada a uma taxa acelerada uma vez que cai abaixo de um limiar ($M_{amp} = 0.6$).

Algoritmos Comparados

1. PPO-real: Otimização de Política Proximal padrão treinada em rolagens reais com a restrição de terminação implícita ativa.
2. Dyna sem Restrições: Uma variante baseada em modelo (Dyna) com acesso ao horizonte completo (via uma flag no_exit durante o treinamento) e uma penalidade suave linear para violação da restrição de viabilidade do papel.
3. Dyna de Participação Fixa: Uma variante onde a participação da atividade é fixada na alocação ótima de Programação Dinâmica (PD), e apenas o nível de esforço é aprendido.
4. Ótimo de PD: Uma referência de indução reversa usando conhecimento completo do estado ($D, M, t$) para calcular o limite superior teórico.

3. Principais Descobertas e Resultados

A Lacuna de Conclusão

• Falha do PPO-real: O PPO treinado em rolagens reais falha em completar o horizonte em ambos os ambientes (0% de taxa de conclusão). A idade média de saída é significativamente menor que o horizonte (27,8 anos no Pedreiro; 22,6 anos na NBA).
• Prejuízo do Acesso ao Horizonte Isolado: Conceder acesso ao horizonte a um agente sem restrições (Dyna sem Restrições) com uma penalidade suave linear piora o desempenho. A penalidade reduz a participação da atividade dominante a zero, violando a restrição de forma ainda mais agressiva que o PPO-real.
• Restrição do Espaço de Ações: Restringir o espaço de ações à alocação de participação ótima de PD (Dyna de Participação Fixa) desbloqueia a conclusão. Este agente alcança 100% de conclusão em ambos os ambientes, provando que a falha em concluir é estrutural (relacionada à restrição de participação) e não puramente um problema de atribuição de crédito.

A Lacuna de Otimalidade

Mesmo quando a conclusão é alcançada (Dyna de Participação Fixa), uma lacuna significativa de otimalidade ($\Delta M_{final}$) permanece:

• Pedreiro: $\Delta M_{final} = 0.271$ (Dyna de Participação Fixa $M_{final} \approx 0.52$ vs. Ótimo de PD $0.79$).
• NBA: $\Delta M_{final} = 0.150$ (Dyna de Participação Fixa $M_{final} \approx 0.61$ vs. Ótimo de PD $0.76$).

Mecanismo de Falha de Otimalidade: Entrada na Bacia da Primeira Fase

O artigo identifica a causa da lacuna de otimalidade como um comprometimento ganancioso da primeira fase:

• Atrator de Declínio Reativo: Em 8/10 sementes (Pedreiro) e 4/10 sementes (NBA), o agente compromete-se com esforço máximo na atividade dominante em $t=0$.
• Irreversibilidade: Esse esforço inicial elevado leva a variável de preservação $M$ abaixo do limiar de autoamplificação ($M_{amp}$) de forma irreversível.
• Entrada na Bacia em Passo-0: A atualização esperada do primeiro gradiente de política aponta para a ação gananciosa porque a lacuna de recompensa imediata supera o custo futuro descontado do dano (formalizado na Proposição 1). Esse comprometimento ocorre dentro dos primeiros 1% do treinamento, antes que os sinais de longo horizonte se acumulem.
• Invariância do Horizonte: A dominância desse atrator de "declínio reativo" é invariante ao comprimento do horizonte de treinamento ($H$) até um limiar crítico $H^*$, confirmando que a falha é impulsionada por condições iniciais, e não por atribuição de crédito de longo horizonte.

4. Contribuições

1. Formalização: Uma definição formal da classe de problemas de "dano cumulativo com horizonte incompatível" e uma decomposição da falha nos eixos de conclusão e otimalidade.
2. Decomposição Empírica: Uma comparação de três vias (PPO-real, Dyna de Participação Fixa, Ótimo de PD) quantificando ambas as lacunas em dois domínios distintos.
3. Análise Causal: Evidências de que o acesso ao horizonte isolado é prejudicial sob penalidades suaves lineares e que a restrição do espaço de ações é a intervenção necessária para a conclusão.
4. Identificação de Mecanismo: Identificação do "comprometimento ganancioso da primeira fase" como o motor da falha de otimalidade, apoiado por uma proposição teórica sobre a direção da primeira atualização de gradiente esperada.

5. Significado e Alegações

O artigo alega que os métodos padrão de gradiente de política falham em problemas de dano cumulativo não apenas devido à atribuição de crédito de longo horizonte, mas devido a uma incapacidade estrutural de satisfazer restrições terminais implícitas (conclusão) e a uma tendência de comprometer-se com estratégias gananciosas no próprio início do episódio (otimalidade).

• Valor Diagnóstico: A decomposição revela que intervenções que visam um eixo (por exemplo, restrição do espaço de ações para conclusão) não resolvem o outro (otimalidade).
• Generalizabilidade: As descobertas se replicam em dois domínios (saúde ocupacional e medicina esportiva), sugerindo que os modos de falha são inerentes à estrutura do problema (dano latente, alinhamento de atividade dominante, degradação autoamplificada) e não específicos a um simulador.
• Insight Teórico: O trabalho conecta o padrão empírico de "declínio reativo" a uma condição formal onde a lacuna de recompensa imediata domina o valor de continuação em $t=0$, explicando por que os agentes convergem para pontos fixos subótimos independentemente do comprimento do horizonte de treinamento.

Os autores afirmam explicitamente que sua proposição teórica (Proposição 1) aplica-se a um MDP binário mínimo e serve como uma analogia estrutural para os ambientes de teste de múltiplas atividades, em vez de uma derivação direta para eles. Eles também observam limitações quanto ao uso de um único motor de simulação e das funções de penalidade específicas utilizadas (penalidades suaves lineares).