ARTOO-DARTU: Studying AR-HRC With AR Obstruction Mitigation During a Warehouse Task

Resumo Técnico: ARTOO-DARTU: Estudando AR-HRC com Mitigação de Obstrução de AR durante uma Tarefa de Armazém

Definição do Problema
A colaboração humano-robô (HRC) em ambientes de armazém depende cada vez mais da Realidade Aumentada (AR) para transmitir intenções do robô, estados internos e consciência espacial. No entanto, surge um desafio crítico quando a análise situada de AR — conteúdo virtual ancorado a robôs móveis — obstrui a visão do usuário de elementos do mundo real essenciais para a conclusão da tarefa, como etiquetas de inventário, objetos físicos e placas de segurança. Em configurações de armazém dinâmicas, onde tanto trabalhadores quanto robôs se movem de forma imprevisível, técnicas de gerenciamento de visualização de AR estáticas (ex: mover o conteúdo para o teto) são insuficientes porque quebram o acoplamento espacial entre as análises e o robô. Além disso, os métodos existentes de detecção de obstrução frequentemente dependem de modelos 3D predefinidos ou modelos de visão-linguagem baseados em nuvem, o que introduz latência, riscos de privacidade e falha ao generalizar para elementos do mundo real não vistos, como etiquetas de inventário específicas. Este artigo aborda a necessidade de um sistema de AR que forneça análises situadas ricas enquanto mitiga ativamente obstruções do mundo real sem interromper o alinhamento espacial do conteúdo ou a execução da tarefa do robô.

Metodologia
Para enfrentar esses desafios, os autores desenvolveram o ARTOO-DARTU (Augmented Reality Technique Of Obstruction Deterrence while Aiding Robotic Teaming for Users), um sistema de AR para o Microsoft HoloLens 2, e o avaliaram através de um estudo controlado com usuários usando uma tarefa gamificada chamada Pocket MonstARs.

• Arquitetura do Sistema: O sistema integra um headset HoloLens 2, um TurtleBot 4 e um servidor de borda (NVIDIA RTX 3060). O headset executa uma aplicação Unity que exibe análises situadas e permite o controle do usuário via um marcador de mapa virtual. O servidor de borda hospeda uma camada de comunicação baseada em FastAPI e realiza computações pesadas para o pipeline de Detecção e Mitigação de Obstrução (ODM).
• Análises Situadas: O sistema visualiza a posição do robô, estado interno (bateria, calor, Wi-Fi, manutenção), progresso do comando e trajetória pretendida. Os indicadores principais incluem um indicador de localização esférico, um "balão de pensamento" para mensagens de estado personificadas, uma tela de status de comando e setas de trajetória.
• Detecção e Mitigação de Obstrução (ODM): A principal inovação é o pipeline ODM, projetado para operar em tempo quase real sem dependência de nuvem.
  1. Projeção: O HoloLens captura uma imagem bruta do mundo real (sem conteúdo virtual) e computa projeções de caixas delimitadoras (bounding boxes) 2D para todos os itens virtuais ativos.
  2. Detecção: A imagem e as caixas projetadas são enviadas para o servidor de borda, que executa YOLOv5 para detecção de objetos e EasyOCR para detecção de texto.
  3. Mitigação: O sistema calcula a sobreposição entre as projeções dos itens virtuais e os objetos/textos detectados no mundo real. Se um item virtual sobrepor um elemento do mundo real em mais de 30%, esse item é sinalizado. O aplicativo HoloLens então renderiza o item sinalizado como totalmente transparente até que ele se afaste mais de 20 cm do ponto de obstrução, preservando o alinhamento espacial enquanto restaura a visibilidade.
• Tarefa Experimental (Pocket MonstARs): Uma área de tarefa de 2,4 × 2,4 m contendo 12 caixas rotuladas e 4 caixas com objetos reconhecíveis pelo YOLO. Os usuários atuam como trabalhadores de armazém, direcionando o robô para "capturar" 15 monstros. Dez monstros são alvos virtuais visíveis; cinco são "monstros-caixa" escondidos dentro de caixas reais, exigindo que os usuários identifiquem rótulos ou objetos específicos para localizar o alvo.
• Estudo com Usuários: Um estudo fatorial misto de 2 × 3 com 34 participantes. O fator entre sujeitos foi o Grupo (ODM Ativo vs. ODM Inativo). O fator dentro de sujeitos foi a Tentativa (Sem Análises, Análises Situadas, Análises Situadas com Setas). O desempenho foi medido por tempos de captura, e o feedback subjetivo foi coletado via questionários (GEQ, Facilidade de Uso, Confiança).

Principais Contribuições

1. Sistema ARTOO-DARTU: Um sistema de AR-HRC integrado que entrega análises situadas e controle de robô especificamente projetado para robôs de armazém móveis, com 83% dos participantes preferindo-o em relação a um baseline sem análises.
2. Pipeline ODM: O primeiro pipeline de detecção e mitigação de obstrução especificamente projetado para análises acopladas ao robô. Ao contrário de trabalhos anteriores, ele opera em elementos do mundo real não vistos anteriormente (etiquetas e objetos) em ambientes dinâmicos sem exigir infraestrutura de nuvem ou modelos 3D predefinidos.
3. Pocket MonstARs: Uma tarefa experimental gamificada e controlada que abstrai a coleta de inventário de armazém. Ela preserva as demandas críticas de identificação de alvos do mundo real (leitura de rótulos, reconhecimento de objetos) enquanto permite a avaliação sistemática de obstrução e análises de AR.

Resultos

• Eficiência: A presença de análises situadas aumentou a eficiência geral da tarefa em 46%, mas apenas quando o ODM estava ativo. Sem o ODM, as análises não melhoraram a eficiência e, às vezes, prejudicaram o desempenho devido às obstruções.
• Subtarecas do Mundo Real: Os participantes com o ODM ativo foram 61% mais rápidos em subtarefas que exigiam visibilidade do mundo real (capturar "monstros-caixa") em comparação com aqueles sem o ODM. Especificamente, na tentativa de Análises Situadas (SA), o grupo com ODM capturou os monstros-caixa em 32,7s contra 57,9s para o grupo sem o ODM ($p=0,002$).
• Desempenho Geral: Os participantes com o ODM ativo foram 39% mais rápidos no total na tentativa SA em comparação com o grupo sem o ODM.
• Feedback Subjetivo: Usuários no grupo com ODM relataram dificuldade percebida significativamente menor e maiores sentimentos de competência. 83% de todos os participantes classificaram uma tentativa com análises de AR como sua favorita. Usuários com o ODM inativo citaram frequentemente a frustração com visões obstruídas, um sentimento ausente no grupo com o ODM.
• Setas: A adição de setas de trajetória (SA+ARR) não melhorou significamente o desempenho em relação ao SA sozinho e, em alguns casos, levou a tempos de captura mais lentos devido a erros de navegação onde os usuários posicionavam o marcador do robô dentro de caixas baseando-se no posicionamento das setas.

Significância e Alegações
O artigo afirma que as análises situadas de AR podem aumentar significativamente a eficiência e a experiência do usuário em cenários de HRC de armazém, mas apenas quando acompanhadas por uma estratégia robusta de mitigação de obstrução que preserve a visibilidade do mundo real. Os autores enfatizam que o gerenciamento de obstrução deve ser tratado como uma "preocupação de primeira classe" e um pré-requisito para uma assistência de AR eficaz, em vez de um refinamento secundário. O estudo demonstra que o ODM obteve sucesso em equilibrar a necessidade de informações ricas sobre o estado do robô com o requisito de segurança e usabilidade de manter a visibilidade de elementos físicos relevantes para a tarefa. Os autores observam que, embora seu estudo tenha usado uma abstração gamificada, os achados destacam um trade-off fundamental no AR-HRC: as análises melhoram a interação apenas se o sistema impedir que o conteúdo virtual obscureça o mundo físico. Eles concluem modestamente que trabalhos futuros são necessários para validar esses achados em ambientes de armazém reais com trabalhadores reais e elementos críticos de segurança.