GRAIL: Goal Recognition Alignment through Imitation Learning

Título: GRAIL: Reconhecimento de Objetivos Alinhado através de Aprendizado por Imitação

1. Problema e Motivação

O Reconhecimento de Objetivos (Goal Recognition - GR) visa inferir os objetivos subjacentes de um agente a partir de seu comportamento observável. Este é um componente crítico para sistemas interativos e cooperativos, como interação humano-robô e coordenação multiagente.

No entanto, os métodos de GR existentes enfrentam duas limitações principais:

1. Suposição de Otimização: A maioria das abordagens (baseadas em planejamento inverso ou aprendizado por reforço - RL) assume que o agente observado age de forma ótima (racional) em relação a um objetivo pré-definido. Isso falha quando o comportamento humano ou de agentes reais é subótimo, ruidoso ou sistematicamente enviesado (ex.: preferir rotas cênicas em vez da mais curta).
2. Custo Computacional: Métodos baseados em RL frequentemente exigem milhões de interações com o ambiente para treinar políticas por objetivo e, no momento da inferência, podem necessitar de chamadas de planejador ou rolagens (rollouts) de políticas para cada trajetória observada, criando gargalos de latência.

O artigo propõe que ignorar esses desvios da otimalidade leva a uma baixa precisão na inferência de objetivos em cenários do mundo real.

2. Metodologia: GRAIL

O GRAIL (Goal Recognition Alignment through Imitation Learning) é um novo framework que reformula o problema de GR como uma coleção de problemas de Aprendizado por Imitação (IL). Em vez de aprender um modelo de recompensa ou um planejador, o GRAIL aprende diretamente uma política orientada a objetivos para cada candidato de objetivo a partir de demonstrações (que podem ser subótimas).

O processo divide-se em duas fases:

• Fase de Aprendizado Offline (Treinamento):

  • Para cada objetivo candidato $g \in G$, o sistema coleta um conjunto de demonstrações ($D_g$) de um agente perseguindo esse objetivo.
  • Utiliza-se algoritmos de IL para aprender uma política específica para o objetivo, $\pi_g(a|s)$, que captura o "fingerprint" comportamental, incluindo vieses sistemáticos e subotimalidades.
  • O GRAIL explora três algoritmos de IL como backbones:
    • BC (Behavioral Cloning): Aprendizado supervisionado direto de pares estado-ação.
    • GAIL (Generative Adversarial Imitation Learning): Treinamento adversarial para igualar a distribuição de ocupação das trajetórias do especialista e do aprendiz.
    • AIRL (Adversarial Inverse Reinforcement Learning): Aprende uma função de recompensa latente e uma política, utilizando AIRL apenas para obter cabeças de políticas orientadas a objetivos.

• Fase de Inferência Online (One-Shot):

  • Ao receber uma trajetória parcial observada $\tau_{obs}$, o sistema não executa planejamento nem rolagens no ambiente.
  • Calcula-se uma pontuação de similaridade $S_g(\tau_{obs})$ para cada política treinada $\pi_g$.
  • O objetivo inferido $\hat{g}$ é aquele que maximiza essa pontuação: $\hat{g} = \arg\max_{g \in G} S_g(\tau_{obs})$.
  • A métrica de pontuação proposta é a Negativa da Média do Erro Quadrático (Negative Average MSE) entre as ações previstas pela política e as ações observadas. Isso permite uma inferência rápida e sem planejador.

3. Contribuições Principais

1. Alinhamento Comportamental: O GRAIL alinha o reconhecimento de objetivos com a realidade do comportamento de agentes (subótimo ou enviesado), tratando desvios sistemáticos como padrões aprendíveis em vez de ruído.
2. Inferência Eficiente: Elimina a necessidade de chamadas de planejador ou interações com o ambiente durante a inferência, permitindo reconhecimento "one-shot" com baixa latência.
3. Unificação de Campos: Conecta formalmente Reconhecimento de Objetivos (GR), Aprendizado por Imitação (IL) e Aprendizado por Reforço Inverso (IRL) em um único pipeline unificado.
4. Versatilidade: Funciona tanto em ambientes discretos (como navegação em grades) quanto contínuos (como controle robótico).

4. Resultados Experimentais

Os autores avaliaram o GRAIL em dois domínios: MiniGrid (navegação discreta) e PandaReach (controle robótico contínuo), comparando com baselines de ponta como GRAQL (baseado em Q-Learning) e DRACO (baseado em PPO).

• Comportamento Sistematicamente Enviesado (Otimizado mas com viés):

  • Em cenários onde o agente segue um caminho preferencial (não o mais curto), o GRAQL falha (F1-score entre 0.3–0.5), pois assume otimalidade uniforme.
  • O GRAIL alcançou F1-score próximo a 1.0 (perfeito), demonstrando capacidade de distinguir objetivos baseando-se em hábitos específicos.

• Comportamento Subótimo (Ruidoso ou não ideal):

  • O GRAIL superou consistentemente os baselines, com ganhos de 0.1 a 0.3 no F1-score.
  • O BC-GRAIL destacou-se especialmente, mostrando que a clonagem comportamental supervisionada é robusta para capturar desvios estruturados.

• Comportamento Ótimo (Sem ruído):

  • O GRAIL manteve-se competitivo ou superou os baselines, especialmente em conjuntos de objetivos maiores e com baixa observabilidade (ex.: apenas 10-20% da trajetória visível).
  • Em PandaReach, o GRAIL superou o DRACO mesmo com trajetórias ótimas geradas por SAC.

• Eficiência:

  • Treinamento: O BC-GRAIL treinou em cerca de 5 segundos por objetivo (MiniGrid), enquanto o GRAQL exigiu ~300 segundos.
  • Inferência: O GRAIL é drasticamente mais rápido no tempo de inferência, pois requer apenas passadas diretas (forward passes) das redes neurais, sem simulações de ambiente.

5. Significado e Impacto

O GRAIL representa um avanço significativo na modelagem de agentes para cenários de interação real. Ao abandonar a suposição de racionalidade perfeita, o framework permite que sistemas de IA interpretem intenções humanas de forma mais robusta e segura.

• Escalabilidade: A abordagem escala bem com o ruído e a complexidade do conjunto de objetivos.
• Aplicabilidade Prática: A baixa latência na inferência torna o GRAIL viável para aplicações em tempo real, como assistência robótica e sistemas multiagente dinâmicos.
• Considerações Éticas: O artigo discute que, ao inferir objetivos com base em comportamentos reais (e não ideais), é crucial implementar salvaguardas de privacidade e transparência para evitar vigilância indevida ou manipulação de intenções inferidas.

Em resumo, o GRAIL oferece uma solução escalável e robusta para o reconhecimento de objetivos em ambientes incertos, alinhando a teoria de GR com a complexidade do comportamento humano e artificial real.