Resumo Técnico: HomeSafeBench e CueBack

Definição do Problema

Os riscos de segurança doméstica, como objetos inflamáveis próximos a fontes de calor ou ferramentas afiadas ao alcance de uma criança, são uma das principais causas de lesões domésticas evitáveis. Embora os modelos de Visão-Linguagem (VLMs) recentes tenham permitido que agentes incorporados realizem tarefas como navegação e exploração visual, automatizar a inspeção de segurança doméstica continua sendo um desafio significativo. Os benchmarks existentes para segurança doméstica ou abstraem as cenas em texto (descartando pistas visuais) ou restringem os agentes a pontos de vista fixos, falhando em capturar a natureza inerentemente ativa da inspeção no mundo real. Na realidade, um inspetor deve navegar em um ambiente 3D parcialmente observável, ajustar seus pontos de vista e identificar riscos desconhecidos baseando-se apenas em feedback visual egocêntrico.

Os atuais modelos de estado da arte (SOTA) de VLMs lutam com essa tarefa, exibindo uma deficiência sistemática no reconhecimento de perigos. As avaliações mostram que mesmo os melhores modelos alcançam apenas ~34,7% de F1 score comparado aos 98,0% dos inspetores humanos, com uma tendência específica de subnotificar perigos (baixo recall) enquanto mantêm alta precisão. Isso sugere que os modelos negligenciam riscos sutis, particularmente perigos de queda de objetos e de segurança infantil.

Metodologia

1. Benchmark HomeSafeBench

Os autores introduzem o HomeSafeBench, o primeiro benchmark para inspeção de segurança doméstica de exploração livre com feedback visual egocêntrico.

• Ambiente: Construído sobre o simulador VirtualHome, ele coloca um agente incorporado em casas 3D totalmente interativas.
• Tarefa: O agente deve navegar, ajustar seu ponto de vista e relatar perigos puramente a partir de visões de primeira pessoa renderizadas.
• Escopo: Abrange cinco categorias de perigo: Incêndio, Choque Elétrico, Queda de Objeto, Tropeço e Segurança Infantil.
• Escala: Compreende 1.000 tarefas de inspeção validadas por humanos contendo 3.000 instâncias de perigo (1–5 perigos por tarefa).
• Construção: Um pipeline de quatro estágios envolvendo a anotação humana de locais de perigo e atributos de objetos, geração de perigo único baseada em regras, filtragem por VLM para clareza visual e validade semântica, e composição de tarefas em nível de dados.
• Avaliação: Utiliza um juiz VLM para correspondência de nível de perigo (exigindo alinhamento de categoria e instância de objeto) para calcular Precisão, Recall e F1.

2. CueBack: Construção de Dados Offline

Para abordar a lacuna de desempenho sem o custo proibitivo de aprendizado por reforço online em um simulador pesado baseado em Unity, os autores propõem o CueBack, um método de construção de dados offline leve e livre de simulador.

• Insight Central: A inspeção segue uma estrutura de "pista precede a confirmação". Um perigo é frequentemente sugerido à distância (uma pista visual) antes de ser confirmado de perto.
• Processo:
  1. Geração de Trajetória: Os autores geram trajetórias de ação privilegiadas (onde o agente conhece os locais dos perigos) e sintetizam caminhos de navegação executáveis usando um grafo de observação por nível de sala.
  2. Identificação de Ponto de Divisão: Para cada perigo, o método retrocede ao longo da trajetória para identificar o frame mais precoce ($k_h$) onde a pista do perigo torna-se visível para o agente.
  3. Reescrita de Raciocínio: O sinal de supervisão é reescrito para respeitar esta estrutura temporal:
     • Antes de $k_h$ (Exploração): O raciocínio justifica a navegação como uma cobertura ampla ou busca por regiões de alto risco, sem nomear o perigo específico não visto.
     • Após $k_h$ (Confirmação): O raciocínio reconhece a pista visível, hipotetiza o risco e justifica a aproximação para confirmação.
     • Relato: Justificado apenas quando a evidência visual é suficiente.
• Objetivo: Isso evita o "vazamento de informação privilegiada", garantindo que o modelo aprenda a reconhecer perigos a partir de observações em vez de memorizar trajetórias.

Principais Contribuições

1. HomeSafeBench: O primeiro benchmark para inspeção de segurança doméstica de exploração livre, apresentando 1.000 tarefas em cinco categorias de perigo com validação humana.
2. Avaliação Abrangente: Uma análise sistemática de VLMs comerciais e de código aberto de última geração, revelando uma grande lacuna de desempenho em relação aos humanos e uma tendência sistemática de subnotificar perigos (baixo recall).
3. Método CueBack: Uma técnica inovadora de construção de dados offline que explora a estrutura de raciocínio "pista precede a confirmação". Ela permite que um pequeno modelo de código aberto de 4 bilhões de parâmetros supere os principais modelos de código fechado em tarefas fora de distribuição.
4. Lançamento Aberto: O benchmark, o conjunto de dados de treinamento e o código estão disponíveis publicamente.

Resultados Experimentais

Os autores avaliaram uma ampla gama de modelos no HomeSafeBench:

• Desempenho de Baseline: O melhor modelo de código fechado (Doubao-Seed-2.0-Pro) alcançou um F1 de 34,7%, enquanto o melhor modelo de código aberto (Qwen3-VL-4B) marcou 18,7%. O desempenho humano foi de 98,0%.
• Falha Sistemática: Em todos os modelos, a Precisão excedeu significativamente o Recall (ex: 58,9 vs. 17,8 para GLM-5V-Turbo), indicando que os modelos sinalizam apenas casos óbvios (como perigos de tropeço), mas perdem os sutis (queda de objetos, segurança infantil).
• Desempenho do CueBack: O ajuste fino de um modelo Qwen3-VL-4B nos dados construídos pelo CueBack elevou o F1 médio de 18,7% para 45,3% em um conjunto de teste fora de distribuição.
  • Este resultado supera o modelo de código fechado mais forte (34,7%) por uma margem significativa (+10,6%).
  • Também supera outros baselines como SFT-Action (37,8%) e SFT-Both (39,3%), demonstrando a eficácia da estrutura de raciocínio "pista precede a confirmação".
  • O método mostrou ganhos substanciais nas categorias mais difíceis, como Segurança Infantil (F1 de 16,6% para 31,4%) e Choque Elétrico (27,6% para 39,7%).

Significância

O artigo afirma que o HomeSafeBench revela um gargalo crítico na IA incorporada atual: uma falta de reconhecimento de risco especializado, em vez de uma falta de capacidade de navegação. A significância do trabalho reside em demonstrar que a construção de dados offline, livre de simulador, pode efetivamente fechar a lacuna entre pequenos modelos de código aberto e grandes sistemas comerciais para tarefas críticas de segurança. Ao alavancar a estrutura temporal natural da inspeção (pista antes da confirmação), o CueBack permite que agentes aprendam a consciência de perigos sem o custo computacional do aprendizado por reforço online, tornando a inspeção de segurança doméstica de alto desempenho mais acessível e implantável.