Mission-Aligned Learning-Informed Control of Autonomous Systems: Formulation and Foundations

Resumo Técnico: Controle de Sistemas Autônomos Alinhado à Missão e Informado por Aprendizado

1. Problema e Motivação

O artigo aborda um desafio fundamental na implantação de robôs autônomos em ambientes críticos e sensíveis, como o cuidado de saúde (ex.: robôs assistentes para idosos). Embora o Aprendizado por Reforço (RL) tenha demonstrado sucesso em jogos e simulações, sua aplicação no mundo real enfrenta barreiras significativas:

• Falta de Garantias de Segurança: Modelos de RL são estatísticos e "caixas-pretas", não oferecendo garantias formais de estabilidade ou segurança física, o que é inaceitável em cenários onde falhas podem causar danos a humanos.
• Interpretabilidade: Reguladores e usuários precisam entender a lógica das decisões do agente. O RL puro não fornece raciocínio semântico claro.
• Generalização e Modelagem: Sistemas físicos reais possuem dinâmicas não totalmente identificadas (ex.: efeitos giroscópicos não modelados, atrito variável) e o RL puro sofre com a generalização fora da distribuição (OOD).
• Custo Computacional e de Dados: O treinamento de modelos profundos puramente baseados em dados é energeticamente custoso e requer grandes volumes de dados, muitas vezes inviáveis para treinamento seguro no mundo real.

O objetivo é criar uma arquitetura que combine a adaptabilidade do RL com a segurança e interpretabilidade do controle baseado em modelos e planejamento clássico.

2. Metodologia Proposta

Os autores propõem um esquema de otimização em dois níveis (bilevel) que integra três disciplinas: Controle Preditivo por Modelo (MPC), Planejamento Clássico e Aprendizado por Reforço (RL). A arquitetura opera em escalas de tempo hierárquicas:

• Nível Superior (Planejamento e Agendamento):

  • Opera em uma escala de tempo lenta e discreta.
  • Utiliza Planejamento Clássico (baseado em lógica relacional e símbolos) para definir tarefas de alto nível (ex.: "alimentar", "medicar").
  • As decisões são interpretáveis e alinhadas à missão.
  • Um Agendador (Scheduler) define a sequência de tarefas ao longo do dia.
  • O RL é utilizado neste nível para aprender as preferências do usuário (pesos de uma função de custo multiobjetivo) com base em feedback humano.

• Nível Inferior (Controle Físico):

  • Opera em uma escala de tempo rápida e contínua.
  • Utiliza MPC (Model Predictive Control) para gerar comandos de atuadores físicos (velocidade, direção, força).
  • O MPC incorpora leis físicas conhecidas (dinâmica do robô) e restrições de segurança (evitar colisões, limites de energia).
  • O RL auxilia o MPC ajustando seus parâmetros (função de custo, horizonte de previsão) para compensar incertezas no modelo e adaptar-se ao ambiente.

• Integração e Aprendizado (A Ponte):

  • Fuzzificação/Defuzzificação: Uma camada de "fuzzificação" traduz o estado contínuo do controle (posições, velocidades) em estados simbólicos discretos para o planejador, e vice-versa. Isso permite que o planejador "entenda" o estado físico e que o controlador receba objetivos simbólicos.
  • Diferenciação End-to-End: O sistema utiliza a Teorema da Função Implícita (IFT) e sensibilidade do MPC para propagar gradientes de erro (diferença entre o estado previsto e o real, ou recompensa observada) de volta para os parâmetros do planejador e do tradutor de preferências. Isso permite o aprendizado contínuo sem violar as restrições de segurança do MPC.
  • Exploração Segura: O MPC atua como um oráculo de segurança, garantindo que as ações exploratórias do RL permaneçam dentro de limites seguros (via restrições robustas ou modelos pessimistas).

3. Contribuições Principais

1. Esquema de Otimização Bilevel Integrado: Uma formulação matemática que une decisões discretas interpretáveis (planejamento) com controle contínuo físico (MPC), permitindo aprendizado de dados em ambas as camadas.
2. Metodologia de Diferenciação Planejamento-Controle: Uso de operadores de fuzzificação e sensibilidade do MPC para permitir o fluxo de gradientes entre o nível simbólico e o nível físico, facilitando o aprendizado de preferências do usuário que afetam diretamente a dinâmica de controle.
3. Garantias de Segurança e Interpretabilidade: Ao embutir o MPC na camada inferior e o planejamento lógico na superior, o sistema oferece garantias de segurança física (via restrições do MPC) e interpretabilidade semântica (via lógica de planejamento), superando as limitações do RL puro.
4. Validação em Robótica de Cuidado: Implementação e validação completa em um cenário de robô de assistência hospitalar, demonstrando a adaptação a diferentes perfis de pacientes.

4. Resultados Experimentais

O sistema foi validado em um ambiente simulado de uma unidade de saúde, com um robô realizando duas tarefas principais: entrega de medicamentos e preparação de refeições. Foram testados cinco perfis de pacientes com preferências distintas (focados em velocidade, segurança, bateria, conforto ou qualidade de apresentação).

• Convergência de Preferências: O algoritmo conseguiu aprender os vetores de preferência dos pacientes (pesos da função de custo) com alta precisão.
  • Perfis com preferências muito distintas (ex.: focados em velocidade ou segurança) convergiram rapidamente (10-15 episódios).
  • Perfis com preferências mais sutis (ex.: foco em "apresentação") exigiram mais tempo, mas o sistema identificou corretamente a dimensão dominante em todos os casos.
• Adaptação de Planos: O planejador ajustou dinamicamente as rotas e tipos de tarefas com base nas preferências aprendidas.
  • Pacientes focados em segurança evitaram áreas de alto risco (cozinha, enfermaria lotada), mesmo que isso aumentasse o tempo de viagem.
  • Pacientes focados em velocidade escolheram rotas mais curtas e refeições mais rápidas (sanduíche).
  • Pacientes focados em conforto optaram por abordagens mais suaves e refeições mais elaboradas.
• Execução Física: O controlador MPC manteve uma taxa de conclusão de tarefas de 100%, garantindo que as trajetórias fossem fisicamente viáveis e seguras, mesmo com as mudanças nos parâmetros de custo aprendidos.
• Eficiência: O sistema demonstrou que é possível alinhar o comportamento do robô às preferências humanas sem sacrificar a segurança física ou a estabilidade do controle.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na direção de Sistemas Autônomos Confiáveis.

• Superação do "Gap Sim-to-Real": Ao usar modelos físicos no MPC e aprender apenas os parâmetros de ajuste e preferências, o sistema reduz a necessidade de treinamento massivo em simulação e adapta-se melhor às dinâmicas reais.
• Segurança Crítica: A abordagem oferece uma via para certificar sistemas autônomos para uso em ambientes sensíveis (hospitais, idosos), onde a "caixa-preta" do RL tradicional é inaceitável.
• Escalabilidade e Eficiência: A arquitetura permite reutilizar modelos de dinâmica física para novas tarefas, exigindo apenas a redefinição do problema de planejamento, o que é mais eficiente do que re-treinar políticas de RL do zero para cada nova tarefa.

Em suma, o artigo propõe que a integração de planejamento lógico, controle baseado em física (MPC) e aprendizado de dados (RL) é o caminho necessário para criar agentes autônomos que sejam simultaneamente inteligentes, seguros e alinhados com os valores humanos.