See Something, Say Something: Context-Criticality-Aware Mobile Robot Communication for Hazard Mitigations

Resumo Técnico: Comunicação de Robôs Móveis Autônomos (AMRs) Sensível ao Contexto e à Crítica

1. O Problema

A crescente implantação de robôs móveis autônomos (AMRs) em espaços públicos, hospitais e indústrias exige que eles atuem como agentes de segurança proativos. O provérbio "se vir algo, diga algo" resume essa responsabilidade. No entanto, o artigo identifica uma falha crítica nos sistemas atuais: a maioria dos robôs utiliza alertas fixos e descontextualizados.

• O Dilema: Um objeto idêntico (ex: uma faca) exige respostas diferentes dependendo do contexto (uma faca na cozinha durante o preparo de alimentos vs. uma faca caída em um corredor público).
• Consequências: Alertas inadequados (muito alarmantes para riscos baixos ou muito sutis para riscos altos) causam fadiga de alarme, erodem a confiança do usuário, aumentam o tempo de reação e podem induzir pânico desnecessário.
• Objetivo: Desenvolver um framework que permita ao robô avaliar a criticidade da situação e adaptar a mensagem (tom, conteúdo e destinatário) para mitigar riscos de forma eficaz.

2. Metodologia

O trabalho propõe um framework de decisão sequencial em quatro etapas, fundamentado em modelos de linguagem e visão (VLM/LLM):

A. Formulação do Problema (4 Etapas):

1. Detecção de Perigo: Identificação de um risco a partir da observação multimodal (imagem RGB, mapa de atenção visual, contexto espacial).
2. Extração de Fatores Contextuais: O sistema não apenas detecta o objeto, mas extrai três fatores cruciais:
   • Nível de Criticidade ($d_t$): Gravidade inerente do perigo no ambiente (Baixo, Médio, Alto).
   • Sensibilidade Temporal ($\tau_t$): Urgência da resposta (Imediata, Em Breve, Futuro Próximo).
   • Viabilidade de Mitigação ($\phi_t$): Quem deve agir (o próprio robô, uma pessoa de contato próxima ou socorristas externos).
3. Avaliação de Risco: Combinação dos fatores acima com o contexto ambiental (densidade de multidão, presença de vulneráveis) para calcular um escore de criticidade global ($k_t$).
4. Comunicação Consciente da Criticidade: Geração de uma mensagem estruturada ($M_t$) contendo:
   • Texto ($m_t$): Instruções claras.
   • Tom ($\gamma_t$): Intensidade da comunicação (0-10).
   • Caráter ($\chi_t$): Tipo de alerta (Consulta, Alerta, Urgente).
   • Roteamento ($r_t$): Para quem a mensagem é enviada (vizinhos, remotos, coordenação).

B. Arquitetura do Sistema:

• Percepção: Utiliza uma câmera RGB-D (Intel RealSense) e LiDAR.
• Processamento de Visão: Gera mapas de calor (Grad-CAM) e legendas de cena usando o modelo BLIP (Bootstrapped Language-Image Pre-training).
• Raciocínio e Geração: Um LLM (ChatGPT-4.0) funde a legenda da cena e o mapa de calor para inferir o tipo de perigo, os fatores contextuais e o escore de risco.
• Hardware: Robô de patrulha personalizado com módulo NVIDIA Jetson Nano, operando com ROS 1 Melodic (com migração planejada para ROS 2).
• Lógica de Alarme: Sinais sonoros são ativados apenas para criticidades Médias e Altas, evitando alarmes desnecessários para situações de baixo risco.

3. Contribuições Chave

1. Framework de Avaliação Contextual: Formalização matemática da comunicação de robôs baseada em três fatores dinâmicos (criticidade, tempo, viabilidade), superando a detecção baseada apenas em identidade de objetos.
2. Adaptação Dinâmica de Mensagens: Demonstração de que o mesmo objeto gera respostas distintas (ex: "confirmação calma" na cozinha vs. "alerta coordenado urgente" no corredor).
3. Integração VLM/LLM: Uso de modelos fundacionais para disambiguação contextual (ex: distinguir uma arma de brinquedo de uma real, ou uma faca de uso culinário de uma arma), algo que abordagens clássicas de visão computacional não conseguem fazer com precisão.
4. Restrições de Segurança: Implementação de limites estritos para latência e ativação de alarmes para evitar a fadiga de alarme e garantir conformidade com protocolos de emergência.

4. Resultados Experimentais

O sistema foi validado em 60+ execuções em cenários de corredores e cozinhas, comparado a uma linha de base de prioridade fixa.

• Precisão de Detecção: O pipeline sensível ao contexto alcançou 80% de precisão, um ganho de 10% em relação à linha de base (70%), devido à melhor disambiguação contextual.
• Confiança do Usuário: A avaliação humana resultou em 82% de confiança no sistema proposto, comparado a sistemas de prioridade fixa.
• Compreensão e Preferência: 85% de compreensão dos comandos e 78% de preferência pelos usuários em relação ao sistema estático.
• Conformidade com Restrições: O sistema respeitou estritamente a restrição de alarme (ativando sons apenas para riscos $\ge$ Médio) em 100% das execuções.
• Latência: O tempo total de comunicação (captura + processamento + API) foi de ~12 segundos (com GPT-4.0), dentro do limite máximo de 20 segundos. O uso do modelo Gemini 2.0 Flash reduziu a latência para ~5 segundos, mas com menor capacidade de raciocínio visual em casos ambíguos.
• Métrica de Eficácia ($\epsilon$): O sistema alcançou um escore de eficácia de 0.81, equilibrando detecção, alinhamento de mensagem e coordenação.

5. Significado e Impacto

Este trabalho demonstra que a eficácia da mitigação de riscos por robôs autônomos depende menos de se o robô fala, e mais de como e o que ele diz.

• Segurança Operacional: Ao evitar a fadiga de alarme, o sistema garante que alertas reais sejam levados a sério, reduzindo o tempo de ação em emergências.
• Confiança Humano-Robô: A adaptação do tom e da urgência ao contexto real aumenta a aceitação e a confiança dos humanos nos sistemas autônomos.
• Futuro: O estudo abre caminho para políticas baseadas em POMDP (Processos de Decisão de Markov Parcialmente Observáveis) e validação formal de modelos de linguagem em cenários de segurança crítica.

Em suma, o artigo estabelece que a inteligência contextual é o componente faltante para que robôs móveis atuem como agentes de segurança eficazes e confiáveis em ambientes humanos complexos.