Probabilistic Recurrent Intention Switching Model

Resumo Técnico: Modelo de Comutação de Intenção Recorrente Probabilística (PRISM)

Declaração do Problema
A Aprendizagem por Reforço Inverso (IRL) padrão assume que uma única função de recompensa estacionária impulsiona o comportamento de um agente. No entanto, agentes do mundo real — tanto biológicos (por exemplo, camundongos navegando em labirintos) quanto artificiais (por exemplo, robôs teleoperados) — frequentemente alternam entre objetivos ou estratégias distintos dentro de um único episódio. Abordagens existentes de IRL multi-intenção lutam para modelar essas comutações de forma eficaz:

• IRL Dinâmica (DIRL) assume variação suave e contínua da recompensa, entrando em conflito com evidências de comutação de estratégia discreta e exigindo inferência computacionalmente cara ($T$ resoluções de Bellman).
• Aprendizagem Q Inversa Hierárquica (HIQL) modela transições de intenção como uma cadeia de Markov sem memória, falhando em capturar comutações dependentes de histórico impulsionadas por fatores como fadiga ou saciedade. Sua inferência escala mal ($O(nK^2)$) devido ao algoritmo de Baum–Welch.
• SWIRL incorpora histórico via aumento de estado, mas isso faz com que o espaço de estados exploda exponencialmente ($|S|^L$), limitando os comprimentos de histórico práticos.

Consequentemente, nenhum método existente escala naturalmente para ambientes grandes e não markovianos enquanto recupera intenções discretas e interpretáveis.

Metodologia: PRISM
Os autores propõem o Modelo de Comutação de Intenção Recorrente Probabilística (PRISM), um framework que substitui modelos de transição fixos e aumento manual de estado por uma rede neural recorrente (RNN) leve.

1. Arquitetura do Modelo:

   • MDP de Intenção Oculta (HI-MDP): O ambiente é modelado como um MDP com um espaço de intenção latente $Z = \{1, \dots, K\}$.
   • Comutação Recorrente: Uma função paramétrica $f_\theta$ (uma RNN, LSTM ou Transformer) mapeia o histórico de observações $\phi_{1:t}$ para uma distribuição de probabilidade suave sobre intenções em cada passo de tempo. Isso permite que o modelo capture mecanismos de comutação complexos e dependentes de histórico sem aumento explícito de estado.
   • Recompensas por Intenção: Cada intenção $k$ está associada a uma função de recompensa específica $r_k$. A política do especialista sob a intenção $k$ é assumida como uma política ótima de Boltzmann derivada de $r_k$.

2. Inferência e Otimização:

   • Decomposição EM: Os autores provam que o objetivo de Expectativa-Maximização (EM) para o PRISM decompõe-se exatamente em subproblemas independentes, não exigindo aproximação variacional.
     • Passo E: Calcula a responsabilidade posterior $P(z_t=k | \xi, \psi, \Theta)$ para cada passo de tempo. Devido à fatorização da posterior, este passo escala linearmente como $O(nK)$ por trajetória, uma melhoria significativa sobre o custo $O(nK^2)$ de métodos baseados em cadeias de Markov.
     • Passo M:
       • Atualização de Recompensa: Cada função de recompensa $r_k$ é atualizada independentemente resolvendo um problema de Iteração Inversa de Ação-Valor (IAVI) ponderado em forma fechada.
       • Atualização da Rede: Os parâmetros da rede de comutação $\theta$ são atualizados via descida de gradiente para maximizar a verossimilhança das intenções atribuídas, regularizados por $\ell_1$ (para incentivar comutação esparsa) e divergência KL (para incentivar transições suaves).

3. Objetivo de Treinamento:
   A função de perda combina a log-verossimilhança negativa das atribuições de intenção com penalidades de suavidade temporal para prevenir comutações erráticas, preservando ao mesmo tempo a capacidade de comutar quando necessário.

Principais Contribuições

1. Framework PRISM: Um método inovador de IRL multi-intenção que usa uma rede recorrente para modelar dinâmicas de intenção, permitindo aprendizado de ponta a ponta de comutação dependente de histórico sem aumento manual de estado.
2. Garantias Teóricas: Uma prova de que o objetivo EM decompõe-se exatamente em subproblemas de recompensa por intenção independentes, solucionáveis em forma fechada via IAVI.
3. Eficiência Computacional: Um Passo E de $O(nK)$ alcançado através da fatorização da posterior, evitando a complexidade quadrática dos algoritmos forward-backward usados em abordagens baseadas em Markov.
4. Primeira Aplicação Robótica em Grande Escala: A aplicação de IRL multi-intenção ao conjunto de dados de manipulação robótica BridgeData V2, demonstrando a capacidade do método de generalizar além das neurociências.
5. Interpretabilidade: A recuperação de intenções nomeáveis e temporalmente coerentes e mapas de recompensa a partir de demonstrações não rotuladas em três domínios distintos.

Resultados Experimentais
O PRISM foi avaliado em três conjuntos de dados de complexidade crescente:

1. Gridworld de Frustração (Validação Não Markoviana):

   • Configuração: Um ambiente controlado onde um agente alterna estratégias com base em um "contador de frustração" oculto (um estado estritamente não markoviano).
   • Resultado: O PRISM alcançou a maior log-verossimilhança de teste e a menor diferença de valor esperada em comparação com HIQL, IAVI e IRL MaxEnt. Crucialmente, o PRISM rastreou com sucesso a frustração acumulada e comutou intenções de forma abrupta, enquanto o HIQL (sem memória) falhou em capturar a natureza cumulativa da comutação.

2. Labirinto de Camundongos (Dados Biológicos):

   • Configuração: Dados do mundo real de camundongos com restrição hídrica navegando em um labirinto de 127 nós.
   • Resultado: O PRISM superou o SWIRL e outras linhas de base na log-verossimilhança de teste. Recuperou três intenções distintas e interpretáveis: busca por água, retorno ao ninho e exploração. Os mapas de recompensa recuperados e os limites de segmentação alinharam-se com impulsos biológicos conhecidos e eventos comportamentais (por exemplo, visitas a bebedouros).

3. BridgeData V2 (Manipulação Robótica):

   • Configuração: Um conjunto de dados em grande escala de tarefas de manipulação robótica teleoperadas por humanos com observações visuais de alta dimensão.
   • Resultado: Sem qualquer supervisão ou conhecimento prévio de intenções, o PRISM descobriu quatro fases de manipulação temporalmente coerentes: Aproximação/Partida, Agarrar, Transportar e Ocioso. O método alcançou maior log-verossimilhança em dados retidos do que as linhas de base, demonstrando que a comutação de intenção discreta é uma propriedade geral do comportamento orientado a objetivos em agentes biológicos e artificiais.

Significado e Alegações
O artigo afirma que o PRISM fornece uma solução escalável e teoricamente fundamentada para a recuperação de objetivos latentes em comportamento sequencial. Ao provar que o objetivo EM decompõe-se exatamente, os autores mostram que a comutação complexa dependente de histórico pode ser modelada sem sacrificar a tratabilidade computacional da recuperação de recompensa em forma fechada.

O significado reside na demonstração de que:

• A comutação de objetivos discreta é prevalente em agentes biológicos e artificiais.
• A comutação dependente de histórico (dinâmicas não markovianas) pode ser aprendida de ponta a ponta sem engenharia manual de características ou aumento de estado.
• Os mapas de recompensa recuperados oferecem uma lente estruturada e interpretável para entender os objetivos latentes por trás de demonstrações complexas, indo além da simples imitação de políticas para entender por que um agente age em momentos específicos.

Os autores reconhecem limitações, incluindo a dependência atual de MDPs discretos (exigindo discretização para dados visuais) e operação offline. Eles sugerem que trabalhos futuros poderiam explorar extensões sem modelo (substituindo IAVI por aprendizagem Q inversa sem modelo) e extensões online para monitoramento de intenção em tempo real.