Resumo Técnico: Representações Neurais Implícitas de Comportamento Individual

Declaração do Problema

O artigo aborda o desafio da aprendizagem de representação de política a partir de dados comportamentais de múltiplas políticas não rotulados. Em muitos domínios do mundo real — como jogos de robótica, esportes, corridas e logs de jogos — os conjuntos de dados contêm trajetórias geradas por múltiplas políticas distintas (por exemplo, diferentes jogadores, motoristas ou demonstradores), mas a política específica responsável por cada episódio é desconhecida.

O objetivo central é inferir uma representação latente $z_i$ para cada episódio que recupere a identidade da política subjacente sem supervisão. Os autores assumem que, dentro de um único episódio, a política é fixa, mas não há rótulos de política, restrições de pares ou parâmetros de ambiente disponíveis durante o treinamento. A representação deve ser inferida de forma offline e autossupervisionada, baseando-se exclusivamente na estrutura estado-ação do episódio.

Um desafio crítico identificado é o desvio de Distribuição Fora de Domínio (OOD) ao nível da política. Os cenários de OOD comportamental padrão variam agentes ou ambientes. No entanto, em dados de imitação de múltiplas políticas, surgem dois eixos adicionais de desvio:

1. Desvio de distribuição de estado: A mesma política é avaliada em diferentes distribuições de estado.
2. Desvio de distribuição de ação: Estatísticas marginais de ação mudam entre as divisões de treino/teste.

O artigo argumenta que muitos métodos existentes falham sob esses desvios porque dependem de "aprendizado de atalhos" (shortcut learning) — identificando políticas com base nas distribuições marginais de estado $p(s)$ ou de ação $p(a)$, em vez do verdadeiro mapa de política condicional $\pi(a|s)$.

Metodologia: Behavioral INR

Os autores introduzem o Behavioral INR (Representação Neural Implícita Comportamental), um modelo generativo autossupervisionado que adapta o conceito de INRs da visão computacional para dados comportamentais.

Conceito Central

Na visão, as INRs representam uma imagem como uma função contínua que mapeia coordenadas espaciais para valores RGB. O Behavioral INR representa uma política como uma função que mapeia estados para ações.

• Representação de Função: Um episódio é tratado como um conjunto de amostras de uma função estado-ação subjacente.
• Modulação Latente: Uma rede estado-para-ação compartilhada (um MLP) é modulada por um código latente ao nível do episódio $z_i$ através de camadas FiLM (Feature-wise Linear Modulation).
• Objetivo: O código latente $z_i$ deve explicar como as ações variam como uma função dos estados, em vez de meramente resumir o histórico da trajetória.

Arquitetura e Treinamento

• Decodificador: Um MLP modulado por FiLM de 3 blocos que recebe um estado como entrada e prevê a ação subsequente.
• Inferência Latente: Diferente de codificadores amortizados que mapeiam o histórico diretamente para um latente, o Behavioral INR trata a extração de representação como ajuste de função (function fitting). No momento do teste, os pesos compartilhados do INR são congelados, e o latente do episódio $z_i$ é otimizado via gradiente descendente sobre os pares estado-ação observados daquele episódio específico para minimizar o erro de previsão.
• Treinamento: O modelo é treinado em lotes de histórico estado-ação, estados atuais e próximas ações usando perda de regressão (contínua) ou entropia cruzada (discreta). Nenhum rótulo de política é usado durante o treinamento.

Baselines (Modelos de Referência)

O artigo compara o Behavioral INR contra várias adaptações fiéis de mecanismos de representação existentes que não requerem rótulos de política:

• CVAE-Transf./RNN: Autoencoders de trajetória usando Transformers ou RNNs para codificar o histórico e decodificar ações.
• VQ-VAE: Codificação de trajetória discreta.
• INR condicionada ao histórico: Um decodificador INR onde o latente ainda é produzido por um codificador de histórico amortizado padrão (separando o benefício do decodificador INR do benefício do latente ajustado).
• Modelos de Difusão: Preditores de ação estilo DDPM condicional.
• Behavior Embedding Maps (BEM): Agrupamento não paramétrico de pares estado-ação.

Principais Contribuições

1. Framework Behavioral INR: Uma nova formulação de representação de política como uma função neural implícita, onde o código latente modula um mapeamento estado-ação compartilhado.
2. Definição de OOD ao Nível da Política: Uma formalização de desvios OOD específicos para conjuntos de dados de múltiplas políticas (desvios de distribuição de estado e de ação) projetados para testar se os modelos aprendem o mapa de política condicional ou apenas atalhos marginais.
3. Análise Empírica de Atalhos: Uma avaliação sistemática mostrando que, quando a identidade da política pode ser recuperada de marginais de estado/ação, repetição simbólica ou estatísticas de baixa dimensão, os codificadores de histórico amortizados permanecem competitivos. No entanto, o Behavioral INR supera significativamente esses baselines em regimes "difíceis", onde o mapa funcional condicional estado-ação deve ser recuperado.

Resultados

Os autores avaliam em dados sintéticos de Campo Aleatório Gaussiano (GRF), MuJoCo (Minari e Hopper aumentado), DM Lab Seek-Avoid, Lichess (xadrez), DROID (robótica) e FastF1 (Fórmula 1).

• Escalabilidade em Sintéticos & MuJoCo: Em configurações controladas com episódios mais longos, mais políticas e divisões OOD (ex: Hopper 10x/20x), o Behavioral INR alcança consistentemente maior acurácia de probe linear e acurácia kNN para recuperação da identidade da política em comparação com os baselines amortizados. Enquanto os baselines frequentemente degradam conforme o comprimento do episódio e a dificuldade OOD aumentam, o Behavioral INR mantém uma acurácia de probe próxima da perfeição.
• Domínios do Mundo Real:
  • FastF1: O Behavioral INR é o performer mais forte, demonstrando que representações funcionais ajustadas escalam melhor quando o número de políticas aumenta e os atalhos são fracos.
  • DROID: Os resultados são competitivos, embora as marginais de ação forneçam atalhos fortes neste cenário de baixa dimensão.
  • Lichess: O desempenho é inferior aos baselines. Os autores atribuem isso à estrutura do domínio: estados de tabuleiro simbólicos, aberturas repetidas e distribuições de movimentos esparsas permitem que outros métodos explorem atalhos nos quais o Behavioral INR não se baseia.
• Robustez OOD: O Behavioral INR é mais eficaz quando a tarefa exige inferir o complexo mapa condicional $\pi(a|s)$ em vez de depender de $p(s)$ ou $p(a)$. Em configurações onde as políticas se sobrepõem em estados ou ações, o Behavioral INR recupera a identidade com sucesso onde outros métodos falham.

Significância e Alegações

O artigo afirma que o Behavioral INR fornece uma representação mais robusta para a identidade da política em espaços estado-ação contínuos e complexos, particularmente quando os dados não são rotulados e há desvios de distribuição.

Os autores enfatizam que seus resultados não sugerem que o Behavioral INR domine em todos os domínios. Em vez disso, eles identificam um regime específico:

• Quando funciona melhor: Quando a identidade da política deve ser inferida de uma função condicional complexa e não linear, e atalhos marginais (frequências de estado ou ação) são insuficientes ou enganosos.
• Quando é competitivo: Quando a identidade da política pode ser recuperada por atalhos de estado/ação, repetição simbólica ou estatísticas de ação de baixa dimensão, codificadores de histórico amortizados permanecem eficazes.

O trabalho sugere que tratar o comportamento como uma função a ser ajustada, em vez de uma sequência a ser resumida, oferece uma vantagem distinta para a compreensão de conjuntos de dados heterogêneos em robótica, jogos e esportes, desde que a estrutura da política subjacente seja suficientemente complexa para evitar o aprendizado de atalhos.