Resumo Técnico: Um para Todos: Um Transformer Não-Linear pode Habilitar Generalização Cross-Domain para Aprendizado por Reforço em Contexto

Declaração do Problema

Um desafio central no aprendizado por reforço (RL) é desenvolver modelos que generalizem além das tarefas específicas nas quais são treinados. Embora as abordagens tradicionais de multi-tarefa e meta-RL visem abordar isso, trabalhos recentes exploraram o uso de arquiteturas de transformer para aprendizado em contexto, onde os modelos se adaptam a novas tarefas via contexto sem atualizações explícitas de parâmetros. No entanto, uma compreensão principiante de como e por que os transformers generalizam entre tarefas — e especificamente entre diferentes domínios — permanece limitada. Estruturas teóricas existentes, como as de Wang et al. (2025), dependem de fortes suposições de linearidade (Processos de Recompensa de Markov lineares e transformers lineares), o que restringe sua aplicabilidade a configurações complexas e realistas onde as funções de valor são não-lineares. Este artigo aborda a lacuna na compreensão dos mecanismos do RL em contexto, focando especificamente na avaliação de políticas, para determinar se um único transformer com pesos fixos pode generalizar entre múltiplos domínios.

Metodologia

Os autores abordam o problema a partir de uma perspectiva baseada em kernels, estabelecendo uma conexão entre transformers não-lineares e aprendizado de diferença temporal (TD) baseado em kernels.

Estrutura Teórica

1. Transformer como Operador Funcional: O artigo interpreta o transformer como um operador funcional que mapeia um contexto (uma sequência de transições) para uma função específica da tarefa.
2. Interpretação RKHS: Baseando-se na observação de que mecanismos de atenção não-lineares induzem uma função de kernel (Cheng et al., 2024), os autores postulam que transformers não-lineares realizam regressão em um Espaço de Hilbert de Kernel Reprodutor (RKHS) induzido por este kernel.
3. Construção de Atualização Kernel TD: A contribuição teórica central é uma construção explícita mostrando que um transformer não-linear de profundidade-$L$ com pesos fixos pode implementar $L$ iterações de uma atualização de gradiente semi-kernelizada TD puramente através de sua passagem direta.
   • Representação de Entrada: A matriz de entrada $Z_0$ codifica transições de contexto (estados, recompensas) e um estado de consulta.
   • Mecanismo: O transformer usa estados de contexto como centros de kernel. Cada camada do transformer corresponde a um passo da atualização TD. Especificamente, o mecanismo de atenção computa somas ponderadas de resíduos TD ($\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$) ponderados pela função de kernel $\kappa(s_j, s_i)$.
   • Construção de Pesos: Os autores fornecem construções explícitas para as matrizes de projeção Chave ($K$), Consulta ($Q$) e Valor ($V$) para um bloco de atenção de duas cabeças. Uma cabeça computa a subtração da estimativa de valor atual, e a outra computa o alvo bootstrap, efetivamente realizando a atualização:
     $$v^{(i)}_{k+1} = v^{(i)}_k + \alpha_k \sum_{j=0}^{n-1} \delta^{(j)}_k \kappa(s^{(j)}, s^{(i)})$$
   • Saída: O valor do estado de consulta é lido a partir da entrada inferior-direita da matriz de saída após $L$ camadas.

Limitações e Condições

O artigo identifica condições e limitações específicas para esta construção:

• RKHS Compartilhado: A generalização cross-domain é teoricamente garantida apenas se as funções de valor dos diferentes domínios residirem dentro do mesmo RKHS induzido pelo kernel fixo do transformer. Se os domínios exigirem características de kernel fundamentalmente diferentes (por exemplo, larguras de banda diferentes para paisagens de valor suaves versus abruptas), um único kernel fixo não pode representar ambos adequadamente.
• Deslocamento Constante: A construção introduz um viés constante independente do estado nas estimativas de valor absoluto. No entanto, os autores argumentam que isso não afeta a melhoria da política (por exemplo, gradientes de política) ou a convergência do erro TD, pois o deslocamento se cancela em comparações relativas e cálculos de erro.
• Parâmetros de Kernel Fixos: Os parâmetros do kernel (por exemplo, temperatura $\delta$) são fixos e não adaptados em contexto. Isso restringe a capacidade do modelo de lidar com tarefas que exigem propriedades de kernel diferentes.

Contribuições Principais

1. Visão de Kernel da Avaliação de Políticas em Contexto: O artigo enquadra a avaliação de políticas em contexto através da lente do RL baseado em kernels, relacionando a inferência do transformer a atualizações TD kernelizadas.
2. Construção Explícita de Pesos: Fornece uma construção teórica demonstrando que um transformer não-linear com pesos fixos pode implementar atualizações iterativas de kernel TD, usando estados de contexto como centros de kernel.
3. Condição Suficiente para Reutilização Cross-Domain: Estabelece que a generalização cross-domain é possível se as funções de valor das tarefas residirem dentro de um RKHS compartilhado.
4. Validação Empírica: Os autores instanciam esta construção em tarefas do mundo real, validando as previsões teóricas.

Resultados Experimentais

Os autores avaliaram seu método no MetaWorld (Yu et al., 2021), um benchmark compreendendo diversos domínios de manipulação (por exemplo, Pegar-Colocar, Prateleira-Colocar, Pressionar-Botão).

• Generalização de Um Domínio: Um transformer com pesos fixos (treinado apenas em tarefas de alto ruído dentro de um domínio) convergiu com sucesso na perda TD para tarefas de ruído médio e baixo dentro do mesmo domínio e através de diferentes domínios (Pegar-Colocar, Pegar-Colocar-Parede, Prateleira-Colocar, Deslizar-Prato).
• Generalização Cross-Domain: Modelos treinados em um domínio (por exemplo, Pegar-Colocar-v3) foram aplicados a outros domínios sem ajuste fino. O modelo generalizou com sucesso entre Pegar-Colocar, Pegar-Colocar-Parede, Prateleira-Colocar e Deslizar-Prato. No entanto, falhou em transferir para Pressionar-Botão-v3.
  • Análise: Esta falha alinha-se com a limitação teórica referente ao RKHS compartilhado. A análise de hiperparâmetros revelou que Pressionar-Botão requer uma temperatura de kernel (parâmetro de ativação) significativamente diferente em comparação com os outros quatro domínios, implicando que sua função de valor reside em um RKHS diferente.
• Linear vs. Não-Linear: Transformers lineares (como propostos por Wang et al., 2025) falharam em convergir nas tarefas do MetaWorld, confirmando que a não-linearidade é necessária para capturar as estruturas complexas das funções de valor.
• Ambiente Sintético: Em um MRP sintético controlado onde a função de valor verdade-real foi explicitamente construída para residir dentro do RKHS induzido, o transformer recuperou com precisão a forma da função de valor, validando o mecanismo de regressão por kernel.

Significado e Alegações

O artigo alega fornecer a primeira construção teórica demonstrando que o RL em contexto com transformers não-lineares pode generalizar entre domínios. Ao interpretar o transformer como realizando regressão por kernel, os autores oferecem uma explicação principiante para por que um único conjunto de pesos pode aprender através de múltiplos domínios: é possível quando as tarefas compartilham um RKHS comum.

O trabalho serve como um passo fundamental para o desenvolvimento de políticas mais universais. Ele esclarece que, embora transformers com pesos fixos possam generalizar, essa capacidade é limitada pela expressividade do kernel induzido. Os autores afirmam explicitamente que seu foco é na avaliação de políticas como um passo fundamental necessário, deixando a melhoria de políticas e estruturas de kernel adaptativas para trabalhos futuros. Eles não alegam ter resolvido o problema de generalização para todas as tarefas de RL, mas sim ter estabelecido as condições teóricas sob as quais tal generalização é viável.