Resumo Técnico: Treinamento de Políticas de Controle Observáveis para Expor o Estado do Agente através de Ações

Declaração do Problema

A colaboração eficaz entre agentes autônomos frequentemente depende da consciência mútua de estado, tipicamente alcançada através de comunicação direta. No entanto, restrições físicas ou operacionais (ex: ambientes subaquáticos, limitações de largura de banda ou incompatibilidade de hardware) frequentemente tornam a comunicação pouco confiável ou impossível. Embora os Processos de Decisão de Markov Parcialmente Observáveis (POMDPs) ofereçam um arcabouço teórico para lidar com tal incerteza, eles sofrem de problemas de escalabilidade e exigem o retreinamento de todos os agentes quando os parâmetros da tarefa mudam, limitando sua praticidade em sistemas federados.

Uma abordagem alternativa envolve o "desacoplamento" de agentes ao formular explicitamente um estimador para inferir o estado de outros agentes com base em ações observáveis. Como as ações de controle dos agentes são frequentemente visíveis sem comunicação explícita (ex: uma aeronave realizando um banco/inclinação lateral), políticas de controle padrão otimizadas apenas para o desempenho da tarefa carecem de "observabilidade". Nesses casos, diferentes estados podem produzir sequências de ações idênticas (ex: um ângulo de inclinação constante em uma órbita circular), tornando a reconstrução do estado impossível ou propensa à divergência. O problema central abordado é como treinar uma política de controle que permaneça eficaz para sua tarefa primária e, simultaneamente, gere ações que permitam a um observador externo reconstruir com precisão o estado do agente.

Metodologia

Os autores propõem um arcabouço onde uma política de controle é treinada usando Aprendizado por Reforço (RL) com uma função de recompensa que incorpora explicitamente o desempenho de um estimador de estado.

Formulação do Agente e do Ambiente

• Tarefa: Um Sistema Aéreo Não Tripulado (UAS) de asa fixa deve rastrear um alvo terrestre. O agente controla o ângulo de inclinação ($\phi$) da aeronave para manter a proximidade com o alvo.
• Estado: O estado de decisão do agente consiste na posição relativa ($x, y$) e velocidade ($v_x, v_y$) em relação ao alvo.
• Política: Uma rede neural mapeia o estado para uma distribuição de pseudo-controle (Gaussiana). A média é produzida pela rede, enquanto a variância é fixa para garantir uma exploração estável. O pseudo-controle amostrado é mapeado para um comando de ângulo de inclinação via uma função de saturação.
• Estimador: Um Filtro de Kalman Não Linear Unscented (UKF) é empregado para estimar o estado do agente. O filtro utiliza a dinâmica do sistema do agente e trata a política de controle do agente como a função de medição. A "observação" é a ação de pseudo-controle amostrada ($\tilde{u}$) gerada pela política.

Incorporação da Recompensa

Duas políticas são treinadas e comparadas:

1. Política Apenas-Tarefa: Treinada com uma recompensa ($r_{task-only}$) que decai exponencialmente com a distância ao alvo.
2. Política de Estimador Incorporado: Treinada com uma recompensa aumentada ($r_{embedded}$) definida como:
   $$r = r_{task-only} + R(\hat{x}, x)$$
   onde $R(\hat{x}, x)$ é um termo de recompensa que promove ações que minimizam o erro entre o estado real ($x$) e o estado estimado ($\hat{x}$). Este termo é formulado como um decaimento exponencial do erro normalizado ponderado por uma matriz de covariância.

Ao incorporar o estimador dentro do loop de treinamento, o agente de RL é incentivado a selecionar ações que não apenas alcancem o objetivo de rastreamento, mas também reduzam a incerteza da estimativa de estado, otimizando efetivamente para a observabilidade.

Análise de Observabilidade

Os autores analisam a observabilidade usando duas métricas:

1. Matriz de Observabilidade Linearizada: Computada em cada passo de tempo via aproximação de série de Taylor para avaliar a observabilidade local.
2. Matriz de Observabilidade Destilada (SOM): Construída empilhando matrizes linearizadas ao longo de uma trajetória temporal para avaliar a observabilidade dinâmica. Os valores singulares dessas matrizes indicam o grau de observabilidade do espaço de estados.

Principais Contribuições

1. Implementação do Estimador: Os autores implementam um estimador de estado que depende exclusivamente da saída da política de controle (ações) como observações, sem exigir telemetria de estado explícita.
2. RL para Observabilidade: Eles demonstram um método para melhorar a observabilidade das políticas de controle ao incorporar o desempenho do estimador diretamente na função de recompensa do RL.
3. Validação de Desempenho: Através da Decomposição de Valor Singular (SVD) das matrizes de observabilidade e simulações de Monte Carlo, mostram que as políticas resultantes melhoram significativamente o desempenho do estimador com uma degradação mínima na tarefa de rastreamento nominal.

Resultados

O estudo avaliou 14.500 episódios de simulação comparando as políticas "Apenas-Tarefa" e "Incorporada".

• Desempenho do Estimador: A política incorporada superou significativamente a política apenas-tarefa.
  • Erro de Posição: No nível de desempenho mediano, a política incorporada reduziu o erro de posição por um fator de aproximadamente quatro em comparação com a política apenas-tarefa. No percentil 90, a política incorporada manteve erros abaixo de 10m em 90% dos casos, enquanto a política apenas-tarefa atingiu isso em apenas 60%.
  • Divergência: A política apenas-tarefa exibiu uma alta taxa de divergência do filtro (aprox. 30% dos episódios), onde a estimativa derivou significativamente do estado real. A política incorporada apresentou divergência negligenciável.
  • Convergência: Ao excluir os casos divergentes, a política incorporada ainda demonstrou uma redução de 44,2% no erro de posição e uma redução de 32,1% no erro de velocidade em comparação com a política apenas-tarefa ao final da simulação.
• Desempenho da Tarefa: A inclusão da recompensa do estimador resultou em uma "penalidade" negligenciável para a tarefa de rastreamento primária. A recompensa de rastreamento para a política incorporada foi apenas 1,2% inferior à da política apenas-tarefa no percentil 80, indicando que políticas observáveis podem ser alcançadas sem sacrificar a eficácia da tarefa nominal.
• Métricas de Observabilidade:
  • Observabilidade Local: Nenhuma das políticas foi totalmente observável em qualquer ponto único do espaço de estados (os menores valores singulares estavam próximos de zero).
  • Observabilidade Dinâmica: A análise da SOM revelou que a política incorporada gerou trajetórias com valores singulares significativamente maiores ao longo do tempo. Especificamente, após aproximadamente 50 segundos de dados, o menor valor singular para o caso incorporado aumentou de 0 para 1, indicando que a sequência tornou-se observável, enquanto o caso apenas-tarefa permaneceu menos observável.

Significância e Alegações

O artigo afirma que integrar um estimador no processo de treinamento permite a geração de políticas de controle que são "observáveis" por design. A principal significância reside em permitir a coordenação entre agentes autônomos em cenários de comunicação limitada. Ao tornar as ações de controle informativas sobre o estado interno do agente, os agentes podem coordenar-se baseando-se apenas na observação.

Os autores argumentam que o espaço de políticas é suficientemente complexo para que se possa selecionar uma política que satisfaça tanto o objetivo da tarefa quanto o objetivo de observabilidade sem trade-offs significativos. Esta abordagem oferece uma alternativa "desacoplada" aos POMDPs totalmente integrados, permitindo que os agentes sejam treinados e atualizados independentemente, desde que suas políticas de controle sejam compartilhadas.

Além disso, o trabalho sugere que políticas observáveis poderiam melhorar a cooperação entre humanos e autônomos. Se os sistemas autônomos agirem de formas que tornem seu estado e intenção mais transparentes (observáveis) através de suas ações, os operadores humanos poderão entender e antecipar melhor o comportamento do sistema, melhorando a segurança e o conforto em operações mistas. O artigo conclui que, embora não resolva totalmente a coordenação homem-máquina, estabelece um método fundamental para tornar a reconstrução de estado a partir de ações viável e eficiente.