Resumo Técnico: Uma Interface de Realidade Mista Multi-Operador para Controle e Coordenação de Multi-Robôs

Declaração do Problema

Escalar sistemas multi-robóticos de supervisão por um único operador para colaboração em nível de equipe apresenta desafios significativos. As Estações de Controle de Solo (GCS) 2D convencionais exigem que os operadores integrem mentalmente fluxos de dados díspares (mapas, feeds de câmera, estados dos robôs), um fardo cognitivo que degrada a consciência situacional e aumenta a carga de trabalho conforme a complexidade da missão cresce. Embora as interfaces de Realidade Mista (MR) tenham mostrado promessa na redução desse fardo para operadores individuais ao fornecer visões espacialmente incorporadas, estender esses sistemas para suportar a colaboração multi-operador introduz novas complexidades. Especificamente, a colaboração eficaz requer mecanismos para consciência mútua, divisão de trabalho e, crucialmente, a prevenção de comandos conflitantes quando múltiplos humanos tentam controlar a mesma equipe de robôs. Além disso, permanece incerto se o co-localizar fisicamente os operadores em um espaço de trabalho de MR compartilhado oferece benefícios tangíveis sobre um modo de espaço de trabalho privado, onde os operadores compartilham os dados da missão, mas interagem através de interfaces locais posicionadas de forma independente.

Metodologia

Os autores estenderam sua interface HORUS (Holistic Operational Reality for Unified Systems) anterior para suportar o controle multi-operador. A arquitetura do sistema e o design experimental são detalhados abaixo:

Arquitetura do Sistema

O sistema proposto utiliza uma arquitetura de três camadas:

1. Camada SDK: Publica metadados dos robôs, mapas e capacidades de tarefas.
2. Ponte ROS 2: Lida com a comunicação de comando, estado e mapa entre a simulação/robôs e a interface.
3. Runtime MR Unity: Instancia o espaço de trabalho, visualizações e lógica de coordenação.

Principais recursos técnicos incluem:

• Construção Baseada em Registro: A cena é construída dinamicamente a partir de payloads do SDK em vez de assumir um conjunto fixo de robôs.
• Modos de Colaboração Duplos:
  • Espaço de Trabalho Compartilhado Co-localizado: Operadores compartilham uma mesma localização física e um único espaço de trabalho virtual espacialmente ancorado.
  • Espaço de Trabalho Privado: Operadores compartilham o mesmo estado da missão, mas interagem via espaços de trabalho locais posicionados de forma independente.
• Prevenção de Conflitos (Leases por Robô): Para evitar intervenções conflitantes, o sistema emprega um mecanismo de arbitragem baseado em leases (concessões). Um robô é "concedido" a um operador quando este abre seu painel de controle, elabora uma tarefa ou inicia a teleoperação. O estado do lease (livre, retido localmente, retido remotamente) é codificado visualmente (branco, verde, vermelho) e aplicado funcionalmente, bloqueando ações conflitantes no mesmo robô.
• Sincronização: O estado colaborativo de baixa taxa (snapshots do espaço de trabalho, limites de registro) é sincronizado via Unity Netcode for GameObjects (NGO), enquanto os dados pesados de robótica permanecem na camada de transporte ROS.

Design Experimental

Um estudo com seres humanos foi conduzido com 36 participantes (18 pares) controlando uma equipe de três robôs móveis Nova Carter simulados em dois ambientes (um escritório e um hospital).

• Condições: Cada par realizou testes em ambos os modos (Co-localizado e Privado) usando um design de crossover balanceado.
• Tarefa: Os participantes tiveram 10 minutos por tentativa para localizar 10 AprilTags ocultas (pontos de interesse) usando uma combinação de planejamento supervisório (atribuição de waypoints) e teleoperação.
• Restrições: No modo privado, os participantes estavam em salas separadas sem comunicação verbal; no modo co-localizado, estavam na mesma sala com comunicação face a face natural permitida.
• Métricas: Desempenho objetivo (tags encontradas), Escala de Usabilidade de Sistema (SUS), NASA-TLX (carga de trabalho) e um questionário customizado de 8 itens sobre Colaboração e Espaço de Trabalho Compartilhado.

Principais Contribuições

1. Arquitetura MR Multi-Operador: Um sistema que suporta colaboração em espaço de trabalho privado e co-localizado via sincronização de estado compartilhado e leases de controle por robô.
2. Design de Interação Centrado no Espaço de Trabalho: Uma interface que apresenta mecanismos explícitos para tarefas compartilhadas, pistas de consciência (estados de lease) e prevenção de conflitos.
3. Arbitragem de Controle Dinâmica: Uma abordagem baseada em lease que permite o trabalho paralelo em diferentes robôs enquanto evita o controle simultâneo do mesmo robô.
4. Avaliação Empírica: Um estudo controlado isolando o efeito do co-localizar físico, comparando-o com uma alternativa de espaço de trabalho privado em um cenário multi-robótico realista.

Resultados

O estudo gerou os seguintes achados:

• Desempenho da Tarefa: Não houve diferença significativa no desempenho objetivo da tarefa entre os dois modos. Os pares encontraram uma média de 3,94 tags no modo co-localizado e 4,22 no modo privado ($p = .633$). Isso indica que o modo de espaço de trabalho privado é suficiente para uma execução de missão eficaz, mesmo sem comunicação verbal direta.
• Usabilidade e Carga de Trabalho: A usabilidade percebida (SUS) e a carga de trabalho geral (NASA-TLX) foram estatisticamente comparáveis em ambas as condições.
• Colaboração e Consciência: O espaço de trabalho compartilhado co-localizado superou significativamente o modo privado em métricas subjetivas de colaboração ($p < .001$). Os participantes relataram:
  • Maior consciência das ações dos colegas.
  • Melhor compreensão comum do estado da tarefa.
  • Maior facilidade em coordenar ações e executar transferências de controle (handoffs).
  • Uma sensação mais forte de compartilhar um espaço físico.
• Preferência: Uma maioria significativa de participantes (21/29) preferiu o modo co-localizado para operação conjunta, citando transferências de controle mais claras e melhor consciência da missão.
• Efeitos de Experiência: A experiência prévia em teleoperação foi um forte preditor de sucesso na tarefa, particularmente no modo co-localizado. No entanto, a interface é aprendível para novatos dentro de um curto tutorial (aprox. 15 minutos), e o tempo de treinamento correlacionou-se mais com a proficiência geral de controle do que com a exposição prévia à VR.

Significância e Alegações

O artigo alega que co-localizar o espaço de trabalho de MR melhora a forma como os operadores se coordenam, mesmo quando as ferramentas de controle subjacentes permanecem inalteradas. O valor primário do modo co-localizado não é um aumento no rendimento bruto da tarefa (que foi comparável em ambos os modos), mas sim um aprimoramento na fluência colaborativa, compreensão compartilhada e clareza nas transferências de controle.

Os autores concluem que, embora os modos de espaço de trabalho privado sejam viáveis para colaboração distribuída, referências espaciais compartilhadas são um princípio de design crítico para equipes locais altamente coordenadas. Os resultados sugerem que futuros sistemas de MR multi-operador devem suportar ambos os modos: espaços de trabalho compartilhados co-localizados para colaboração local de alta fidelidade e espaços de trabalho privados para participação distribuída. O estudo valida que mecanismos de arbitragem explícitos (leases) são necessários para permitir o paralelismo seguro, mas o alinhamento físico do espaço de trabalho reduz significamente a carga cognitiva necessária para manter a consciência mútua.