Resumo Técnico: Aprendizado por Reforço em Contexto sob Não-Estacionariedade: Um Levantamento

1. Definição do Problema

Este levantamento aborda o Aprendizado por Reforço em Contexto (ICRL) Não-Estacionário, definido como o desafio de adaptar um agente de tomada de decisão sequencial a um ambiente em mudança sem atualizar os parâmetros do modelo durante o tempo de teste.

No ICRL padrão, um modelo pré-treinado ou ajustado (fine-tuned) infere regras latentes da tarefa a partir do histórico de interação (contexto) para melhorar ações futuras. No entanto, os levantamentos existentes focam majoritariamente em cenários estacionários, onde o contexto acumulado serve como evidência para uma tarefa fixa. Em cenários não-estacionários, o processo de decisão muda ao longo da vida do agente. Consequentemente, o contexto acumulado não é meramente "mais evidência"; ele pode se tornar obsoleto, enganoso ou inválido devido a mudanças em:

• Especificações de recompensa (ex: mudanças de preferência, rerotulagem de recompensa).
• Kernels de transição (deriva de dinâmica).
• Canais de observação (mudanças no mapeamento de sensores).
• Interfaces de ação (semântica ou remapeamento de ações).
• Distribuições de tarefas ou políticas de comportamento.

O problema central é a validade do contexto: uma política de parâmetros fixos deve não apenas inferir a regra de decisão atual, mas também determinar quais partes de sua evidência acumulada (trajetórias, recompensas, demonstrações, memórias recuperadas) ainda sustentam essa regra. O agente deve se adaptar através do canal de contexto (seleção, compressão, recuperação, esquecimento) em vez de através de atualizações de pesos.

2. Metodologia e Estrutura

O artigo não propõe um novo algoritmo único, mas estabelece uma taxonomia e um framework de avaliação para organizar e analisar o campo.

2.1 Taxonomia da Não-Estacionariedade

O levantamento estrutura o problema ao longo de três eixos independentes para distinguir desafios de adaptação qualitativamente diferentes:

1. Fonte de Mudança (O que muda?):
   • Recompensa/Preferência, Dinâmica, Observação, Semântica de Ação, Interface de Instrução/Ferramenta, Distribuição de Tarefa, Política de Comportamento e Restrições de Horizonte/Recursos.
2. Padrão Temporal (Como muda?):
   • Mudança Abrupta: Requer detecção rápida de ponto de mudança e supressão de evidências pré-mudança.
   • Deriva Gradual: Requer o rastreamento de alvos móveis e suavização de evidências ruidosas.
   • Modos Recorrentes: Requer indexação de memória para recuperar o contexto antigo quando um regime retorna.
   • Adversarial/Pior Caso: Requer robustez contra contextos estrategicamente temporizados ou envenenados.
3. Observabilidade (Quão visível é?):
   • Sinalizada Explicitamente: A mudança é anunciada via tokens ou instruções.
   • Parcialmente Observável: A mudança é inferida a partir de erros de previsão ou resultados atrasados.
   • Latente/Confundida: As mesmas observações são compatíveis com múltiplas explicações de mudança.
   • Atrasada/Ruidosa: A evidência da mudança chega tardiamente ou está corrompida.

2.2 Gestão do Ciclo de Vida do Contexto

O levantamento reformula os métodos de ICRL como mecanismos de gestão de contexto. Ele decompõe o processo de adaptação em um ciclo de vida de operações:

• Escrita (Write): Quais interações são armazenadas?
• Indexação (Index): Como os itens são indexados para recuperação?
• Recuperação (Retrieve): Quais itens entram na janela de contexto?
• Compressão (Compress): Como históricos longos são resumidos dentro de um orçamento?
• Confiança/Peso (Trust/Weight): Quão fortemente cada item influencia a política?
• Esquecimento/Isolamento (Forget/Isolate): Quando o contexto é removido ou particionado?

Os métodos são categorizados pela forma como lidam com essas operações:

• Destilação de Algoritmo: Aprende padrões de melhoria a partir de históricos; corre o risco de confiar excessivamente em histórias estacionárias.
• ICRL Supervisionado/Decision Transformers: Escala via dados offline; corre o risco de a perda de próxima ação recompensar a imitação obsoleta.
• ICRL Aumentado por Recuperação: Seleciona memórias externas; corre o risco de recuperar modos antigos inválidos baseados em similaridade superficial.
• ICRL Baseado em Valor/Modelo: Infere valores ou dinâmicas a partir do contexto; corre o risco de o contexto inválido corromper estimativas de valor ou planejamento.
• Backbones Eficientes (S4, Mamba): Estendem a extensão da memória; correm o risco de estados comprimidos manterem evidências inválidas.

2.3 Protocolos de Avaliação

O artigo argumenta que o retorno médio é insuficiente para o ICRL não-estacionário. Ele propõe uma abordagem de avaliação de ciclo de vida focada em:

• Tempo de Recuperação Pós-Mudança: Passos para retornar ao desempenho próximo ao do oráculo.
• Regret Dinâmico: Lacuna em relação a uma política ótima em mudança.
• Sensibilidade ao Contexto Obsoleto: Queda de desempenho quando evidências antigas inválidas são injetadas.
• Latência de Re-adaptação: Velocidade de recuperação quando um modo anterior recorre.
• Eficiência de Contexto: Retorno por token ou custo de recuperação.

O texto defende testes de estresse pareados (ex: comparando contexto válido vs. válido + contexto obsoleto) e baselines de oráculo (ex: truncamento de ponto de mudança pelo oráculo) para isolar se a adaptação vem da capacidade da política ou da estratégia de gestão de contexto.

3. Principais Contribuições

1. Definição Formal: Delimita claramente o ICRL Não-Estacionário da adaptação de poucos disparos (few-shot) estacionária, generalização de domínio, aprendizado contínuo online (que atualiza pesos) e RL offline padrão. A restrição definidora é parâmetros fixos com adaptação apenas via contexto.
2. Taxonomia Unificada: Introduz o vocabulário Fonte–Padrão–Observabilidade. Isso permite a caracterização precisa de benchmarks (ex: distinguir "recompensa/abrupto/explícito" de "dinâmica/gradual/latente") e evita alegações excessivamente amplas de "lidar com a não-estacionariedade".
3. Perspectiva de Gestão de Contexto: Desloca o foco da arquitetura do modelo para a validade do contexto. Identifica que o mecanismo de adaptação é o pipeline de escrita, recuperação, compressão e ponderação de evidências, não apenas o passo de propagação (forward pass) do transformer.
4. Padrões de Avaliação: Propõe um checklist rigoroso de relatório (Tabela 16) exigindo curvas de ciclo de vida, ablações de contexto obsoleto e especificações de mudança específicas. Destaca que o sucesso em benchmarks procedimentais amplos não implica sucesso em ICRL não-estacionário, a menos que mudanças dentro da vida útil e recuperação através do contexto sejam demonstradas.
5. Agenda de Pesquisa: Identifica lacunas específicas, incluindo a necessidade de recuperação consciente da validade, esquecimento adaptativo, teoria de contexto finito sob evidência obsoleta e modelos de ameaça de envenenamento de contexto.

4. Resultados e Descobertas

Como um levantamento, o artigo sintetiza a literatura existente em vez de reportar novos resultados experimentais. Suas principais descobertas são:

• Limitações Atuais: Muitos sistemas de ICRL existentes (ex: Decision Transformers, agentes aumentados por recuperação) são avaliados em tarefas estacionárias ou de randomização de domínio. Eles frequentemente falham quando a validade do contexto muda porque carecem de mecanismos para detectar invalidação ou distinguir entre recência e relevância.
• Modos de Falha: O levantamento identifica modos de falha específicos, como Imitação Obsoleta (copiar trajetórias de alto retorno pré-mudança), Inércia de Contexto (contexto longo dominando novas evidências), Contaminação de Recuperação (recuperar modos antigos inválidos) e Esquecimento Excessivo (perder modos recorrentes úteis).
• Lacuna de Dados de Treinamento: Conjuntos de dados de treinamento padrão frequentemente carecem de eventos de invalidação. Para aprender a adaptação não-estacionária, os modelos devem ser treinados em dados onde o contexto antigo torna-se incorreto, e a supervisão deve recompensar o modelo por mudar o comportamento de acordo.
• Lacuna de Avaliação: Benchmarks atuais frequentemente confundem generalização com adaptação. Um modelo que generaliza para novas tarefas (não vistas) pode ainda falhar ao adaptar-se quando a tarefa muda dentro de uma vida útil.

5. Significância e Alegações

O artigo afirma que o ICRL Não-Estacionário representa uma fronteira crítica para o implante de agentes de parâmetros fixos em ambientes do mundo real onde as condições mudam.

• Mudança de Foco: O campo deve passar de perguntar "O contexto ajuda?" para "Quando o contexto deve ser confiado?" e "Como um agente congelado sabe a diferença entre evidência válida e inválida?".
• Necessidade Prática: Em implantações no mundo real (ex: robótica, agentes interativos), atualizações de pesos online são frequentemente inviáveis ou inseguras. A capacidade de se adaptar através do contexto é, portanto, um pré-requisito para a robustez.
• Rigor Científico: O levantamento argumenta que, sem a taxonomia e a avaliação de ciclo de vida propostas, as alegações de "adaptação não-estacionária" são frequentemente não verificadas. Ele clama por uma literatura madura que reporte tipos de mudança, padrões temporais e mecanismos de gestão de contexto específicos, em vez de métricas de desempenho genéricas.
• Lacuna Teórica: Destaca a falta de compreensão teórica sobre como o regret e a complexidade de amostra escalam com o comprimento do contexto, erro de recuperação e a presença de evidência obsoleta em uma janela de contexto limitada.

Em resumo, o artigo serve como um framework fundamental para unificar diversas linhas de trabalho (meta-RL, agentes aumentados por recuperação, decision transformers) sob uma definição de problema comum, fornecendo as ferramentas necessárias para avaliar, comparar e avançar agentes capazes de se adaptar a mundos em mudança sem retreinamento.