Resumo Técnico: O Aprendizado por Reforço Implantado deve ser Contínuo

Declaração do Problema

O artigo identifica um desalinhamento fundamental entre a natureza teórica da implantação de Aprendizado por Reforço (RL) no mundo real e o paradigma de engenharia predominante, denominado "treinar-e-corrigir" (train-then-fix). Neste paradigma padrão, os agentes são treinados offline (via simulação, auto-jogo ou demonstrações) e depois congelados após a implantação. O aprendizado cessa até que o desempenho degrade significativamente o suficiente para disparar um ciclo de retreinamento liderado por humanos.

Os autores argumentam que este paradigma é teoricamente insuficiente para cenários de "implantação mensurável". A implantação mensurável é definida como um cenário onde:

1. O agente opera em um regime de "Mundo Grande" (Big World), onde a complexidade do ambiente excede a capacidade de representação do agente e os recursos computacionais disponíveis.
2. Um sinal de recompensa avaliativo permanece disponível após a implantação (ex: engajamento do usuário, conclusão de viagens, aceitação de sugestões).

Sob estas condições, a abordagem "treinar-e-corrigir" deixa ganhos de desempenho na mesa. O artigo postula que qualquer agente que recebe feedback avaliativo em um ambiente não estacionário, onde uma política ótima é irrepresentável ou inalcançável, está inerentemente enfrentando um problema de Aprendizado por Reforço Contínuo (CRL). A questão central é que o formalismo tradicional de Processos de Decisão de Markov (MDP), que assume estacionariedade e a existência de uma política ótima ($\pi^*$) fixa, falha em capturar a natureza "interminável" da adaptação no mundo real.

Metodologia e Estrutura Teórica

1. Fundamentação Teórica: Formalismo de Processo de Histórico

Para definir o problema com rigor, o artigo se afasta do tupla padrão de MDP $\langle S, A, P, R \rangle$. Em vez disso, adota o formalismo de Processo de Histórico (Bowling et al., 2023; Abel et al., 2023).

• Ambiente ($e$): Definido como uma função que mapeia históricos de comprimento finito ($H$) e ações ($A$) para uma distribuição sobre observações ($O$).
• Estado do Agente ($S$): Representa a compressão do histórico pelo agente, distinta do estado do MDP.
• Regra de Aprendizado ($\sigma$): Um mapeamento de históricos para uma distribuição sobre políticas ($\Pi$).
• Definição de CRL: Um problema de RL é uma instância de CRL se o "melhor agente" (aquele que maximiza uma medida de desempenho sobre políticas alcançáveis) nunca para de aprender. No processo de histórico, como o agente não pode resetar o ambiente ou revisitar históricos passados exatos, e porque o ambiente é não estacionário, a busca por uma política ótima nunca termina.

2. Caracterização da Não Estacionariedade

O artigo identifica quatro fontes específicas de não estacionariedade que necessitam de aprendizado contínuo na implantação mensurável:

1. Não Estacionariedade Induzida pela Ação: As próprias ações do agente alteram a distribuição de históricos futuros (ex: um sistema de recomendação mudando as preferências do usuário).
2. Mudanças na Dinâmica do Ambiente: Fatores externos como variações sazonais, envelhecimento de hardware ou mudanças de mercado que ocorrem fora do controle do agente.
3. Evolução de Objetivos: A própria função de recompensa muda ao longo do tempo devido a mudanças nas prioridades dos stakeholders, atualizações regulatórias ou restrições de segurança.
4. Novidade Emergente: A "Hipótese do Mundo Grande" dita que os agentes inevitavelmente encontrarão sequências de ação-observação (incluindo eventos de "cisne negro") que estão fora da distribuição de sua fase de treinamento finita.

3. Análise de Regras de Aprendizado

Os autores contrastam duas regras de aprendizado (estratégias para atualizar políticas):

• Regra de Aprendizado A (Treinar-e-Corrigir): O agente busca uma política de alto desempenho, estabelece-se em uma $\pi_{final}$ fixa e para. O desempenho degrada ao longo do tempo até que um limiar dispare um novo ciclo de busca, resultando em um padrão de desempenho em "dente de serra".
• Regra de Aprendizado B (Aprendiz Contínuo): O agente reconhece que nenhuma política alcançável é globalmente ótima. Ele nunca encerra sua busca, adaptando continuamente sua política usando o sinal avaliativo disponível para rastrear alvos em mudança.

Principais Contribuições

1. Proposta de Mudança de Paradigma: O artigo argumenta que a implantação mensurável não é meramente um problema resolvido por algoritmos de aprendizado contínuo, mas é inerentemente um problema de CRL. A distinção reside no cenário do problema (características ambientais) e não apenas na solução algorítmica.
2. Justificativa Formal: Ao utilizar o formalismo de processo de histórico, os autores demonstram que a suposição de uma política ótima fixa é inválida na implantação do mundo real devido às quatro fontes identificadas de não estacionariedade.
3. Estudos de Caso Empíricos: O artigo analisa três implantações bem-sucedidas no mundo real que utilizam de forma implícita ou explícita o aprendizado contínuo:
   • Cursor Tab: Um sistema de completação de código usando gradientes de política online. Ele enfrenta novidade emergente (novos padrões de código) e dinâmica de ambiente (bibliotecas em evolução). Seu ciclo apertado de implantação-treinamento (1,5–2 horas) permite que ele se adapte a essas mudanças, resultando em uma redução de 21% nas sugestões e uma taxa de aceitação 28% maior.
   • Lyft: Um algoritmo de correspondência de ridesharing usando RL online. Ele enfrenta principalmente não estacionariedade induzida pela ação (relocalização de motoristas) e dinâmica de ambiente (flutuações de demanda). O sistema gera mais de US$ 30 milhões em receita anual adicional ao adaptar-se online em vez de depender de modelos fixos.
   • Gap Sim-to-Real: O artigo argumenta que o gap entre simulação e realidade é uma manifestação de todas as quatro fontes de não estacionariedade. Mesmo com randomização de domínio, as políticas requerem dados em tempo real para um desempenho confiável, tornando o aprendizado pós-implantação essencial.
4. Recomendações Acionáveis:
   • Para Profissionais: Construir loops de feedback onde dados de produção sejam dados de treinamento; validar continuamente via monitoramento online (ex: experimentos de switchback); e introduzir deliberadamente a não estacionariedade durante o desenvolvimento para testar a adaptabilidade.
   • Para Pesquisadores: Reavaliar otimizadores convencionais (ex: Adam, RMSProp) em configurações contínuas; derivar propriedades de algoritmos para processos de histórico (indo além das garantias Markovianas); adotar métricas de avaliação como regret de desvio que não assumem ambientes fracamente comunicantes; e considerar explicitamente as restrições de recursos finitos em modelos teóricos.

Resultados e Evidências

O artigo não apresenta novos resultados experimentais gerados pelos autores, mas sintetiza evidências de literatura existente e relatórios da indústria:

• Cursor Tab: Demonstrou que atualizações on-policy contínuas levam a métricas de desempenho superiores comparadas a lançamentos de modelos estáticos.
• Lyft: Mostrou que sistemas de correspondagem de RL online superam políticas fixas em termos de utilização de motorista e receita, validando a capacidade de adaptar-se à não estacionariedade induzida.
• Evidência Teórica: Cita o ambiente "Rusting Pendulum" (Apêndice A) onde uma política de treinar-e-corrigir falha conforme o atrito se acumula, enquanto um aprendiz contínuo mantém o desempenho.
• Tendências da Literatura: Destaca o aumento do interesse acadêmico em CRL (Figura 1) e a maturação das bases teóricas (ex: formalismo de processo de histórico) que sustentam essa mudança.

Significância e Alegações

O artigo afirma que o paradigma "treinar-e-corrigir" é um mecanismo de atraso para o inevitável problema de aprendizado contínuo, não uma solução para ele. Sua significância reside em:

• Reframing da Implantação: Afirma que implantar um agente com feedback avaliativo em um mundo complexo é, por definição, um problema de CRL. Ignorar esse sinal e confiar na intervenção humana para atualizações é uma estratégia suboptimal que sacrifica o desempenho.
• Segurança e Adaptabilidade: Contrário à visão de que políticas fixas são mais seguras, o artigo argumenta que políticas fixas degradam-se de forma insegura em ambientes não estacionários. O aprendizado contínuo, quando projetado com restrições de segurança, é necessário para manter o alinhamento com objetivos e regulamentações em evolução.
• Direção para a Comunidade: Convoca um deslocamento do foco de pesquisa de algoritmos que convergem para artefatos fixos em direção a agentes capazes de aprendizado aberto e sustentado, e urge os profissionais a aproveitarem os sinais de feedback já presentes em seus sistemas.

O artigo conclui que o caminho para um melhor desempenho em RL no mundo real não é um melhor treinamento offline, mas a aceitação da natureza contínua da implantação e o design de agentes que nunca param de buscar políticas melhores.