Online Intention Prediction via Control-Informed Learning

Resumo Técnico: Previsão de Intenção Online via Aprendizado Informado por Controle

1. Problema Abordado

O artigo foca na previsão de intenção de sistemas autônomos, definida como a inferência do estado de objetivo (meta) futuro de um agente com base em sua trajetória observada. O problema é formulado em um cenário desafiador que combina três dificuldades simultâneas, não tratadas adequadamente por métodos existentes:

• Objetivos Variáveis no Tempo: A intenção (estado de meta) do sistema pode mudar dinamicamente durante a execução da trajetória (ex: um drone mudando de alvo em um ambiente hostil).
• Parâmetros Desconhecidos: O sistema possui parâmetros desconhecidos tanto na sua dinâmica (ex: massa, inércia) quanto na sua função objetivo (pesos dos custos).
• Estimativa Online: A previsão deve ser realizada em tempo real, atualizando-se continuamente à medida que novos dados ruidosos chegam, sem depender de conjuntos fixos ou pré-definidos de metas.

A maioria dos métodos atuais falha aqui: abordagens baseadas em física dependem de modelos precisos (que não existem aqui), e métodos de aprendizado (como IRL/IOC) são geralmente offline ou assumem metas fixas, não conseguindo se adaptar a mudanças bruscas de objetivo.

2. Metodologia Proposta

Os autores propõem um framework chamado Online Intention Prediction via Control-Informed Learning (OCIL), que integra princípios de controle ótimo com aprendizado online. A solução é estruturada em três pilares principais:

A. Formulação como Problema de Controle Ótimo Inverso (IOC/IRL)
A previsão de intenção é tratada como um problema de estimativa de parâmetros. O estado de objetivo ($x_g$) é tratado como um parâmetro desconhecido dentro da função de custo, juntamente com os pesos do custo e os parâmetros da dinâmica. O objetivo é estimar esses parâmetros para que a trajetória prevista minimize a discrepância com a trajetória observada.

B. Estratégia de Horizonte Deslizante (Shifting Horizon)
Para lidar com objetivos que mudam no tempo, o algoritmo não utiliza todo o histórico de dados. Em vez disso, ele emprega uma janela de memória finita ($T_m$):

• Apenas as observações recentes (dentro do horizonte) são usadas para prever a trajetória futura.
• Isso permite que o algoritmo "desconte" informações antigas que pertenciam a um objetivo anterior, permitindo uma adaptação rápida a mudanças de intenção.
• Isso também aumenta a robustez contra ruído de medição e deriva de parâmetros ao longo do tempo.

C. Aprendizado Informado por Controle Online e Gradientes
A atualização dos parâmetros (incluindo a meta estimada) é feita iterativamente:

• Estimativa de Estado: O problema de estimação de parâmetros é convertido em um problema de estimação de estado estendido.
• Cálculo de Gradientes: Para atualizar os parâmetros eficientemente, o algoritmo utiliza a Programação Diferenciável de Pontryagin (PDP). Isso permite calcular os gradientes exatos da trajetória em relação aos parâmetros desconhecidos (incluindo a meta e a dinâmica) de forma computacionalmente viável.
• Lei de Atualização: Um filtro de Kalman-like (baseado no método de aprendizado controlado online) é usado para atualizar a estimativa dos parâmetros a cada passo de tempo, minimizando o erro residual entre a observação real e a trajetória prevista.

3. Contribuições Principais

1. Formulação de Objetivos Variáveis: Introduz uma nova formulação que permite que o estado de objetivo mude continuamente durante a execução, estimando-o em um espaço contínuo em vez de escolher de um conjunto discreto fixo.
2. Gestão de Incertezas Simultâneas: O método estima simultaneamente a intenção, os parâmetros da dinâmica e os parâmetros da função de custo, superando a dependência de modelos físicos precisos.
3. Estratégia de Horizonte Deslizante: Propõe uma estratégia específica para gerenciar a não estacionariedade das intenções, permitindo que o sistema "esqueça" dados obsoletos e se adapte rapidamente a novas metas.
4. Validação em Tempo Real: Demonstra que o uso de PDP permite o cálculo eficiente de gradientes, tornando o método viável para aplicações em tempo real em hardware.

4. Resultados Experimentais

Os autores validaram o método através de simulações e experimentos em hardware com um quadricóptero (drone):

• Simulações (Ruído e Troca de Metas):

  • O método demonstrou alta precisão na previsão de metas sob diferentes níveis de ruído gaussiano.
  • Em cenários com múltiplas trocas de objetivo (2 e 3 mudanças), o método proposto convergiu rapidamente para a nova meta após cada mudança.
  • Comparação com OCIL (sem horizonte deslizante): O método base (OCIL) falhou em cenários de mudança de objetivo, pois continuou a ser influenciado por dados antigos, resultando em perda de previsão alta e não convergente. O método proposto manteve uma perda significativamente menor.
  • O tempo médio de processamento foi de 60 ms por atualização (em CPU i9), permitindo operação em tempo real com um passo de tempo de 150 ms.

• Experimentos em Hardware:

  • Realizados em um drone real em uma área de 5m x 3m com sistema de captura de movimento.
  • O algoritmo previu com sucesso a intenção do drone de evitar uma zona proibida e atingir um alvo, mesmo com parâmetros desconhecidos.
  • O tempo de previsão foi de 92,3 ms, inferior ao intervalo de medição do sistema de captura (100 ms), confirmando a viabilidade em tempo real.
  • A perda de previsão convergiu para zero à medida que mais observações foram coletadas, mesmo após manobras complexas.

5. Significado e Impacto

Este trabalho é significativo porque preenche uma lacuna crítica na interação humano-robô e em sistemas autônomos colaborativos. Ao permitir a previsão de intenções em tempo real, mesmo quando o sistema adversário ou parceiro muda de objetivo dinamicamente e possui parâmetros desconhecidos, o método aumenta a segurança e a eficiência da reação do sistema observador.

A abordagem elimina a necessidade de modelos físicos perfeitos ou de conjuntos de metas pré-definidos, tornando-a aplicável em ambientes do mundo real, hostis e altamente dinâmicos, onde a adaptabilidade é crucial. A combinação de princípios de controle ótimo com aprendizado online via PDP oferece um novo paradigma para a estimativa de comportamento em sistemas complexos.