A Model for Mediating Multi-Modal Human Intent into Safe Maneuvers for UAVs

Resumo Técnico: Um Modelo para Mediar a Intenção Humana Multimodal em Manobras Seguras para UAVs

Declaração do Problema
A interação direta entre operadores humanos e Veículos Aéreos Não Tripulados (UAVs) autônomos por meio de entradas multimodais (fala, gestos, interfaces gráficas) introduz riscos significativos de segurança em ambientes dinâmicos. Embora a pesquisa existente se concentre na detecção precisa da intenção humana usando Visão Computacional (CV) e Processamento de Linguagem Natural (NLP), ela frequentemente opera sob a premissa de que os comandos reconhecidos podem ser executados diretamente. Essa abordagem falha em considerar cenários onde as solicitações do operador conflitam com restrições de terreno, requisitos de separação entre UAVs, limitações do envelope de voo ou incertezas ambientais. O trabalho atual orientado à segurança aborda primariamente distâncias de separação física e o conforto do operador, mas carece de mecanismos para restringir e mediar comandos emitidos pelo operador antes da execução. Consequentemente, há uma necessidade crítica de um framework de tempo de execução que trate as entradas humanas não como comandos de atuação incondicionais, mas como solicitações de manobra limitadas sujeitas a uma avaliação de segurança contínua.

Metodologia
Os autores propõem o modelo Multi-Modal Maneuver Request (M3R), um framework governado por requisitos que media a intenção humana em manobras seguras de UAV. A metodologia central envolve tratar as entradas do operador como solicitações de "primitivas de movimento limitadas" em vez de sinais de controle direto.

1. Modos Operacionais: O UAV opera em estados distintos, incluindo NormalAutonomy (Autonomia Normal), ManeuverResponseArmed (Resposta de Manobra Armada — pronta para receber comandos), ManeuverResponseActive (Resposta de Manobra Ativa — executando uma primitiva limitada), Blocked (Bloqueado — solicitação rejeitada), EmergencyHold (Retenção de Emergência) e ReturnToAnchor (Retorno ao Âncora).
2. Pipeline de Solicitação–Avaliação–Execução:
   • Interpretar: As entradas (gesto, fala, GUI) são processadas para inferir a intenção com um score de confiança associado.
   • Validar: A manobra solicitada é verificada contra quatro categorias de restrições:
     • Restrições de Terreno: Garantindo altitude mínima acima do nível do solo (AGL) e desimpedimento de trajetória.
     • Separação Inter-UAV: Mantendo a separação 3D de drones vizinhos.
     • Envelope de Voo: Limitando deslocamento, velocidade e taxas de rotação.
     • Contexto e Confiança: Exigindo confiança de entrada suficiente, precisão de localização e dados de estado recentes dos vizinhos.
   • Restringir: Se uma solicitação for insegura, o sistema ou a rejeita ou a restringe a uma versão segura e limitada (ex: encurtando o deslocamento).
   • Executar e Monitorar: A primitiva aprovada é executada enquanto um monitor de tempo de execução verifica continuamente violações de segurança, disparando um EmergencyHold se necessário.
3. Espaço de Trabalho Baseado em Âncora: Ao realizar o pareamento, o UAV estabelece um "estado de âncora" (posição e direção em relação ao operador). Todas as manobras subsequentes são restritas dentro de um espaço de trabalho local limitado ($R_{max}$) ao redor desta âncora, que é atualizada dinamicamente.
4. Especificação Formal: O modelo é operacionalizado através de:
   • Especificação de Requisitos: Propriedades comportamentais e de segurança definidas via pré-condições, invariantes, condições de guarda e pós-condições.
   • Máquina de Estados: Uma representação formal das transições do sistema (ex: de ManeuverRequestValidated para Blocked se as guardas de segurança falharem).
   • Contratos: Contratos específicos de manobra (ex: para "GoForward") definindo obrigações relativas a desimpedimento de terreno, separação e limites de velocidade.

Contribuições Principais

• Modelo Operacional Multimodal Restrito: Uma mudança do paradigma de execução de comando direto para o de "solicitação de manobra limitada", onde as entradas humanas são filtradas por restrições de segurança antes da atuação.
• Framework Governado por Requisitos: Um modelo de especificação formal que vincula requisitos de segurança de alto nível ao comportamento do controlador executável, suportando verificação em tempo de execução e síntese reativa futura.
• Função de Decisão de Segurança: Uma lógica computacional que avalia manobras candidatas contra restrições de terreno, separação, envelope e confiança para determinar a admissibilidade.
• Implementação de Protótipo: Um protótipo de laboratório integrando três modalidades (gesto, voz, GUI) com um supervisor de segurança que aplica o modelo M3R.

Resultos
O artigo apresenta uma validação inicial do modelo M3R usando um protótipo de laboratório.

• Integração de Modalidades: O sistema reconheceu com sucesso gestos (usando um VLLM visual no protótipo), comandos de voz (usando VOSK/Kaldi) e entradas de GUI.
• Mediação de Segurança: O protótipo demonstrou a capacidade de interpretar entradas de voz e GUI como solicitações de manobra restritas. Crucialmente, o sistema conseguiu bloquear ou restringir manobras que violariam restrições de segurança (ex: proximidade do terreno ou limites do espaço de trabalho) e transitou para o estado de EmergencyHold quando violações foram detectadas durante a execução.
• Limitações: A validação foi conduzida em um ambiente controlado com obstáculos simulados. O componente de reconhecimento de gestos dependeu de um VLLM de propósito geral em vez de um modelo de CV especializado treinado para condições de campo, e o estudo ainda não abordou plenamente incertezas do mundo real como vento, deriva de GPS ou latência de comunicação.

Significância e Alegações
Os autores alegam que este trabalho estabelece um passo fundamental em direção à interação humano–UAV com garantia de tempo de execução e formalmente analisável. O artigo argumenta que a interação multimodal segura não pode depender apenas do reconhecimento preciso da intenção; requer mediação de segurança explícita em tempo de execução. Ao formalizar manobras através de requisitos, contratos de segurança e comportamento de máquina de estados, o framework fornece um caminho rastreável da requisitos de segurança até a execução do controlador. Os autores posicionam isso não como uma solução operacional completa para todas as condições do mundo real, mas como uma abstração e um pipeline necessários para raciocinar sistematicamente sobre a intenção humana multimodal antes da execução, permitindo a integração futura com raciocínio consciente do terreno, consciência de espaço aéreo dinâmico e síntese de controlador reativo.