Resumo Técnico: Compreendendo a Generalização de Objetivos no Aprendizado por Reforço Sequencial

Declaração do Problema

Agentes de aprendizado por reforço (RL) frequentemente exibem comportamentos direcionados a objetivos não intencionais quando implantados em ambientes fora da distribuição (OOD). Embora o comportamento OOD imprevisível seja um problema conhecido em todo o aprendizado de máquina, agentes de RL frequentemente exibem um modo de falha específico conhecido como má generalização de objetivos: agentes desempenham com competência, mas perseguem objetivos que geram recompensas altas em ambientes de treinamento, porém falham em alinhar-se com os objetivos pretendidos em configurações novas.

Este problema é particularmente crítico para sistemas de IA de fronteira modernos, que são tipicamente treinados por meio de pipelines complexos e multiestágio (por exemplo, pré-treinamento, ajuste fino supervisionado e RL a partir de feedback humano). A literatura atual carece de uma compreensão principial de como essas histórias de treinamento sequenciais moldam os valores de um agente e seu subsequente comportamento OOD. A questão central abordada é: Dado o pipeline de treinamento de um agente e seu comportamento na distribuição, podemos prever seu comportamento em amostras OOD?

Metodologia

Configuração Experimental

Os autores investigam este problema em um ambiente controlado de labirinto gerado proceduralmente.

• Tarefa: Agentes (PPO baseado em CNN) navegam em labirintos 8x8 para alcançar objetos objetivo definidos por cor e forma.
• Pipelines de Treinamento: O estudo utiliza mais de 100 pipelines de treinamento distintos, variando de treinamento de estágio único a treinamento sequencial de dois estágios. Em pipelines de dois estágios, os agentes são treinados em um primeiro objeto objetivo e depois ajustados finamente em um segundo.
• Avaliação: Os agentes são avaliados em ambientes OOD contendo pares de objetos (incluindo cores e formas novas não vistas durante o treinamento). A métrica principal é a função de preferência empírica ($\hat{\Pi}_\Omega$), definida como a frequência com que um agente seleciona um objeto em vez de outro (ou nenhum) em 276 ambientes de avaliação.
• Escala: A análise cobre mais de 298 agentes e 250+ ambientes OOD.

O Método de Gradientes de Política Latente (LPG)

Para explicar e prever os comportamentos observados, os autores introduzem os Gradientes de Política Latente, um método que modela a evolução de variáveis latentes de baixa dimensão ($w$) durante o treinamento.

1. Representação Latente: As preferências do agente são encapsuladas por um vetor de baixa dimensão $w$ (dimensão 10, correspondendo ao número de características do objeto), em vez dos parâmetros completos da rede (4,8 milhões).
2. Parametrização de Preferência: As preferências são modeladas usando uma suposição de racionalidade de Boltzmann, onde a probabilidade de escolher um objetivo é uma função logística de seu valor. O valor é linear tanto nas características do objetivo ($\phi(g)$) quanto nas variáveis latentes: $V(g) = \phi(g) \cdot Sw$.
3. Simulação de Treinamento: O método simula o pipeline de treinamento realizando ascensão de gradiente em um objetivo de política modificado sobre a função de preferência. O objetivo inclui um termo de regularização de entropia controlado por um hiperparâmetro $\tau$.
   • Para um estágio único com objetivo $\phi(g)$, o objetivo é $J(\Pi) = \Pi(\phi(g)|\phi(g), 0) + \tau h(\Pi(\phi(g)|\phi(g), 0))$.
   • Para pipelines multiestágio, as variáveis latentes são atualizadas sequencialmente, com os pesos finais de um estágio inicializando o próximo.
4. Interpretabilidade: O método aprende uma matriz de saliência ($S$) que captura as taxas de aprendizado de características e a confusão entre características (onde o treinamento em uma característica afeta a valoração de outra).

Resultados Principais

Fenômenos Empíricos

A análise dos dados empíricos revela três padrões distintos na generalização de objetivos:

1. Saliência de Características: Nem todas as características impulsionam a generalização igualmente. Características de forma (particularmente a forma de cruz) são mais salientes do que características de cor (com o preto sendo o menos saliente).
2. Persistência de Valores: Valores aprendidos no primeiro estágio de um pipeline multiestágio persistem mesmo quando o segundo estágio introduz um novo objetivo. A história inicial de treinamento influencia significativamente as preferências finais OOD.
3. Reforço e Inibição:
   • Reforço: Se uma característica é compartilhada entre os estágios de treinamento, seu valor é reforçado em relação ao caso em que aparecesse apenas no segundo estágio.
   • Inibição: A presença de uma característica compartilhada inibe a formação de valores para características não compartilhadas no segundo estágio (um fenômeno consistente com a fome de gradiente).
   • Efeitos de Ordenação: Quando os objetivos compartilham uma característica, a ordem dos estágios de treinamento altera significativamente os valores finais do agente.

Desempenho do Modelo

O modelo de Gradientes de Política Latente alcança forte precisão preditiva:

• Ajuste Preditivo: O modelo minimiza a divergência KL entre as funções de preferência preditas e empíricas, superando linhas de base como "Sem Memória" (ignorando a história), "Simultâneo" (ignorando a ordem) e "S Diagonal" (ignorando a confusão de características).
• Generalização: Um modelo ajustado exclusivamente em pipelines de estágio único prevê com sucesso o comportamento de agentes treinados em pipelines de dois estágios. Da mesma forma, um modelo treinado sem distratores generaliza para pipelines que os contêm.
• Coerência: As preferências empíricas dos agentes são encontradas como aproximadamente coerentes (racionais de Boltzmann), com pontuações Elo alcançando 89,73% de precisão direcional em pares retidos.

Significado e Contribuições

O artigo faz três contribuições principais:

1. Análise Empírica: Fornece uma análise empírica em grande escala da generalização de objetivos em mais de 100 pipelines de treinamento, demonstrando que o comportamento OOD é coerente e estruturado pela história de treinamento, destacando especificamente fenômenos como persistência de valores e saliência de características.
2. Formulação do Problema: Reenquadra o problema da generalização de objetivos como uma tarefa de previsão: mapear pipelines de treinamento diretamente para funções de preferência OOD.
3. Gradientes de Política Latente: Introduz um método novo e interpretável para resolver este problema de previsão. O método:
   • Alcança alta precisão preditiva com um pequeno número de parâmetros.
   • Oferece uma interpretação mecanicista onde o treinamento multiestágio corresponde à projeção iterada de pesos latentes sobre hiperplanos definidos pelos objetivos de treinamento.
   • Define uma métrica de similaridade de características (via $SS^T$) que explica como o treinamento em um objetivo influencia a valoração de outros.

Conclusão

Os autores concluem que, embora o comportamento de agentes de RL OOD seja dependente do caminho de todo o pipeline de treinamento, essa dependência possui uma estrutura subjacente que pode ser capturada. A estrutura de Gradientes de Política Latente fornece uma ferramenta principial e interpretável para entender como o treinamento multiestágio molda os valores do agente. Este trabalho estabelece as bases para uma perspectiva desenvolvimental sobre a generalização de objetivos, sugerindo que entender a evolução das variáveis latentes durante o treinamento é fundamental para prever e garantir a segurança de sistemas de IA implantados em ambientes novos. Os autores observam que, embora o framework atual assuma decomposição linear de valores sobre características, a estrutura matemática é geral e serve como base para estender essas percepções a sistemas mais complexos.