Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration

Resumo Técnico: Melhorando o Trabalho em Equipe Humano-Robô em Busca e Resgate Urbano através da Memória Episódica de Colaboração Prévia

Definição do Problema
O trabalho em equipe humano-robô eficaz em ambientes dinâmicos e perigosos, como a Busca e Resgate Urbano (USAR), exige que os robôs se adaptem a parceiros e situações de tarefas imediatamente, em vez de aprender apenas por tentativa e erro durante a interação. Embora trabalhos anteriores no ambiente MATRX USAR tenham demonstrado que os robôs podem se adaptar ao longo do tempo e que as equipes humano-robô podem externalizar padrões de colaboração (CPs) via interfaces de chat e reflexão, permanece uma lacuna no uso desses padrões históricos para inicializar interações futuras. O problema central abordado é como transferir a experiência de equipe explícita e prévia para um novo episódio de colaboração para melhorar o desempenho nas fases iniciais, em vez de depender que o robô comece com um estado de memória vazio.

Metodologia
Os autores propõem um framework onde os padrões de colaboração históricos são representados como memórias episódicas de grafos de conhecimento e utilizados para inicializar um robô antes do início de uma nova tarefa.

1. Ontologia e Representação:

   • Os padrões de colaboração (CPs) são modelados como grafos de propriedades usando JanusGraph. A ontologia inclui seis tipos de entidades: robot (robô), participant (participante), cp (padrão de colaboração), situation (situação), robot_action (ação do robô) e human_action (ação humana).
   • As relações são capturadas via famílias de arestas (has_cp, has_situation, has_robot_action, has_human_action). Para preservar a ordem das ações, as arestas de ação são distinguidas por índices de sequência (ex: has_robot_action_0, has_robot_action_1), resultando em nove rótulos de relação distintos.
   • As propriedades dos nós incluem métricas numéricas (ex: time_elapsed, success) e atributos de string (ex: descrições de ações). Atributos de string são codificados em vetores usando Sentence-BERT, enquanto características numéricas são normalizadas e projetadas para uma dimensionalidade comum.

2. Aprendizado de Representação de Grafo:

   • Uma Rede Convolucional de Grafo Relacional (RGCN) é empregada para aprender representações significativas dos grafos de CP. O modelo utiliza um objetivo de classificação de nós com um classificador linear único no topo da camada final da RGCN.
   • As dez classes de nós correspondem aos tipos de esquema (um cp, uma situation, três estágios de human_action e cinco estágios de robot_action). Essa supervisão permite que o codificador distinga entre passos iniciais e tardios em um padrão de colaboração.
   • Após o treinamento, embeddings de nível de grafo são gerados através de mean-pooling dos embeddings finais de cada nó do grafo de CP.

3. Seleção de Memória e Inicialização:

   • Os embeddings de grafo aprendidos são agrupados usando K-means (com $K=5$).
   • Os autores selecionam heuristicamente o Cluster 1 como a fonte para memória reutilizável porque ele exibe a maior taxa de sucesso (42%) e simplicidade estrutural (dominado por ações consecutivas do robô com intervenção humana mínima).
   • O CP mais próximo do centroide do Cluster 1 é selecionado como a memória representativa. Este CP envolve uma situação ("Topo de pilha de rochas", "Rocha grande") e uma sequência de duas etapas de ação do robô (pegar e soltar uma rocha grande) sem exigir entrada humana.
   • No setup experimental, o robô é inicializado com este único CP pré-carregado antes do início da interação humano-robô.

Principais Contribuições
O artigo delineia três contribuições primárias:

• Representação de Memória de Equipe Episódica: Representar CPs de interações anteriores como memórias episódicas de grafos de conhecimento que preservam o contexto situacional, a estrutura de ação e os resultados da tarefa em um formato reutilizável.
• Seleção de Experiência Prévia Reutilizável: Utilizar aprendizado de representação de grafos com supervisão de tipo de nó para organizar CPs históricos e identificar um padrão representativo para inicialização.
• Melhoria do Desempenho Inicial da Equipe: Demonstrar que inicializar um robô com uma memória prévia selecionada melhora significamente as métricas de desempenho, particularmente no início da colaboração.

Resultados Experimentais
O estudo envolveu 20 participantes e 160 observações de nível de rodada dentro da simulação MATRX USAR. O robô foi testado em duas condições: sem memória inicializada e com o único CP selecionado pré-carregado.

• Taxa de Sucesso: O sucesso no resgate aumentou de 25,7% (sem memória) para 41,3% (com memória), representando uma melhoria relativa de 60,7%.
• Tempo de Tarefa: O tempo médio de tarefa foi reduzido em 283 segundos.
• Dinâmica Temporal: Os ganhos mais significativos ocorreram na Rodada 1, sugerindo que a memória ajuda as equipes a se orientarem para a tarefa antes que a adaptação humana possa ocorrer.
• Compromissos (Trade-offs): Embora o sucesso e o tempo tenham melhorado, o dano à vítima foi ligeiramente maior em média na condição com memória inicializada, provavelmente devido a quedas acidentais de rochas quando o robô executou estratégias de remoção de detritos pesados. O desempenho também declinou nas rodadas mais difíceis (7 e 8), onde o CP reutilizado não contabilizou os riscos específicos do "brown rock" (rocha marrom) introduzido em cenários posteriores.

Significância e Alegações
Os autores posicionam este trabalho como um mecanismo concreto para inicializar um robô com experiência de equipe anterior inspecionável, em vez de uma nova teoria geral de transferência de memória.

• Transparência: Diferente de atualizações de política opacas, a experiência reutilizada permanece como uma estrutura de situação-ação explícita e legível por humanos que pode ser inspecionada, discutida e revisada por operadores.
• Suporte à Interação Inicial: Os resultados sugerem que a memória episódica reutilizável é mais eficaz no início da colaboração, fornecendo um ponto de partida coordenado quando rotinas compartilhadas ainda não se formaram.
• Limitações: O artigo reconhece modestamente limitações, incluindo o ambiente de simulação, o tamanho pequeno da amostra, a seleção heurística de um único CP mais próximo do centroide e a falta de baselines envolvendo memórias aleatórias ou selecionadas por especialistas. Os autores observam que a abordagem não elimina os riscos de segurança associados à remoção agressiva de detritos, mas oferece um modelo de implantação onde o conhecimento prévio apoia a coordenação sob supervisão humana.