Resumo Técnico: Investigando o Aterramento de Colisão em Modelos de Visão-Linguagem para Colaboração Humano-Robô Segura

Declaração do Problema

A colaboração segura entre humanos e robôs (HRI) exige mais do que uma descrição visual semântica; um monitor de segurança deve determinar se o corpo de um robô está separadamente seguro, já colidindo com o cenário ou com uma pessoa, ou se aproxima de uma colisão. Os autores identificam uma "lacuna de aterramento de colisão": os atuais Modelos de Visão-Linguagem (VLMs) frequentemente falham em vincular a evidência visual à pegada física do robô, ao posicionamento da câmera, à profundidade, à oclusão e ao avanço temporal. Embora os padrões clássicos de segurança (ex: ISO 10218) forneçam salvaguardas reativas ao nível de controle, eles não abordam o raciocínio visual necessário para inferir estados de colisão a partir de clipes de múltiplas visões. Os benchmarks existentes dependem frequentemente de anotações humanas, RGB de visão única ou rótulos retrospectivos, falhando em isolar a colisão induzida pelo robô sob uma verdade fundamental física determinística.

Metodologia

O artigo introduz o TouchSafeBench, um benchmark fundamentado na física e construído sobre o Habitat 3.0 para avaliar o aterramento de colisão em VLMs.

Construção do Dataset

• Ambiente de Simulação: Utiliza cenas HSSD-HAB fotorealistas, humanoides SMPL-X e sinais de contato de corpo rígido.
• Episódios: Gerados 2.940 episódios de copresença através de duas tarefas: Navegação Social (o robô segue um humanoide) e Rearranjo Social (robô e humanoide manipulam objetos).
• Observações: Cada episódio inclui fluxos RGB-D multivisão sincronizados (visão ego de braço de robô, visão ego de cabeça humana, visão de terceiro de robô, visão de terceiro de humano), um mapa de trajetória top-down e metadados de câmera calibrados.
• Verdade Fundamental (Ground Truth): Os rótulos são derivados diretamente do estado do simulador (flags de contato para robô–cenário e robô–humano) em vez de anotação subjetiva, garantindo precisão física.

Tarefas

O benchmark avalia duas capacidades complementares:

1. Classificação de Evento de Segurança (Tarefa 1): Classifica o estado atual de um clipe curto como Seguro (A), Colisão Robô–Cenário (B) ou Colisão Robô–Humano (C).
2. Alerta Precoce de Colisão (Tarefa 2): Prediz o risco iminente antes que o contato ocorra. Os rótulos incluem Sem Risco (A), Colisão de Cenário Iminente (B) ou Colisão Humana Iminente (C). Crucialmente, cenários de "quase colisão" (próximos, mas sem contato) são rotulados como Seguros para testar falsos alarmes.

Protocolo Experimental

O estudo avalia três VLMs de fronteira: GPT-5.5, Gemini 3.1 Pro e Gemini Robotics-ER 1.6.

• Estágio I (Varredura de Modalidade): Fixa a configuração crítica de implantação (visão ego) e testa nove representações visuais (RGB, Profundidade, Profundidade Colorida, Profundidade Predita e suas combinações).
• Estágio II (Ablação de Ponto de Vista): Fixa a entrada em RGB e varia o contexto do ponto de vista (Apenas Ego, Todas as visões incluindo terceira pessoa, e Top-down BEV).
• Métricas: Acurácia, Macro-F1 e Taxas de Falso Alarme (FAR) medidas especificamente em conjuntos de quase colisão para avaliar a calibração.

Principais Resultados

Os experimentos revelam que os atuais VLMs são visualmente plausíveis, mas fisicamente sub-aterrados, com o melhor Macro-F1 médio permanecendo abaixo de 50%.

1. O Paradoxo da Profundidade: A informação de profundidade explícita não se traduz automaticamente em evidência de colisão. Entradas de apenas profundidade ou profundidade predita frequentemente apresentam desempenho inferior em comparação ao RGB ou RGB-D. Os modelos falham em transformar mapas de profundidade em evidências métricas de contato do corpo do robô, a menos que estejam explicitamente vinculados à morfologia do robô e às transformações câmera-corpo.
2. O Contato com o Cenário é o Ponto Cego: Colisões robô–cenário são consistentemente mais difíceis de detectar do que riscos de contato humano.
   • Acurácia de Contato de Cenário na Tarefa 1: ~21,5% (vs. 39% para contato humano).
   • Acurácia de Aviso de Cenário Iminente na Tarefa 2: ~34,1% (vs. 57% para humano).
   • Modelos frequentemente racionalizam a proximidade garra-câmera como não-contato ou exigem penetração/deformação visível que o RGB-D não pode fornecer.
3. Efeitos do Ponto de Vista:
   • Visões de terceira pessoa melhoram o reconhecimento do estado atual (Tarefa 1) para modelos gerais (GPT-5.5, Gemini 3.1 Pro) ao resolver oclusões locais, mas não melhoram necessariamente o alerta precoce.
   • Mapas de trajetória top-down reduzem significamente os falsos alarmes (melhorando a calibração) para a Tarefa 2, mas frequentemente degradam o reconhecimento do estado atual (Tarefa 1) porque pistas de layout sozinhas não revelam o contato no tempo presente.
4. Especialização vs. Calibração: Modelos especializados em robótica (Gemini Robotics-ER 1.6) exibem taxas de falso alarme mais baixas (melhor calibração), mas não alcançam pontuações de Macro-F1 mais altas. Eles permanecem cegos para muitos casos de contato com o cenário, sugerindo que a especialização sozinha não resolve o problema do aterramento.
5. Modos de Falha: A análise identifica erros de raciocínio específicos, como a "falácia de atribuição Garra-câmera" (descartar o contato com a parede porque a câmera está na garra) e a "falácia de Proximidade–colisão" (equiparar a proximidade visual ao contato físico).

Principais Contribuições

1. TouchSafeBench: Um benchmark repetível, derivado de simulador, para risco de colisão induzida por robô que separa o reconhecimento de perigo semântico do raciocínio de colisão fisicamente aterrado.
2. Definição de Tarefa: Um framework de dupla tarefa que separa o monitoramento do estado atual do aviso antecipatório, lidando explicitamente com negativos difíceis de quase colisão.
3. Análise Empírica: Um estudo controlado demonstrando que geometria, ponto de vista e pré-treinamento orientado à robótica só ajudam quando as representações vinculam explicitamente ponto de vista, morfologia do robô, geometria métrica e colisão futura.

Significância e Alegações

O artigo argumenta que a fluência visual não implica responsabilidade física. Os atuais VLMs podem narrar cenas internas, mas carecem de uma estimativa confiável de se o robô está fisicamente seguro. Os autores afirmam que monitores de segurança de robôs confiáveis requerem representações que vinculem explicitamente:

• Ponto de vista e posicionamento da câmera.
• Morfologia e pegada do robô.
• Geometria métrica e limiares de contato.
• Movimento temporal e risco de colisão futura.

O trabalho destaca que a "lacuna de aterramento de colisão" é um modo de falha específico e acionável onde os modelos falham em conectar a evidência visual ao corpo físico do robô e ao estado de contato de corpo rígido. Os autores concluem que simplesmente adicionar profundidade ou solicitar cautela é insuficiente; a próxima geração de monitores de segurança deve integrar o entendimento semântico com um substrato geométrico explícito sobre a morfologia do robô.