Resumo Técnico: SafeSceneReason

Definição do Problema

A compreensão da segurança industrial estende-se além da detecção visual de trabalhadores, equipamentos e equipamentos de proteção individual (EPI). Uma gestão de segurança eficaz exige que os modelos avaliem a conformidade, identifiquem interações perigosas, expliquem mecanismos de acidentes e recomendem ações preventivas. Os atuais modelos de linguagem de grande escala multimodais (MLLMs) e os conjuntos de dados de segurança existentes focam-se principalmente na percepção visual isolada ou no reconhecimento de violações de pista única (por exemplo, detectar a ausência de um capacete). Estas abordagens falham em apoiar o raciocínio baseado em evidências que conecta observações de cenas completas com regras de segurança, conhecimento de acidentes e análise causal. Consequentemente, uma forte compreensão visual geral não garante um raciocínio de segurança industrial fiável, particularmente para tarefas que exigem síntese de múltiplas evidências, análise comparativa e tomada de decisão orientada para intervenção.

Metodologia

Os autores apresentam o SafeSceneReason, um benchmark multimodal e um corpus de treinamento complementar concebido para colmatar a lacuna entre a observação de cenas de trabalho e o conhecimento de investigação de acidentes. O framework integra dois pipelines complementares de construção de dados:

1. Pipeline Centrado na Cena (Inspeção Proativa)

• Fonte: Imagens de locais de trabalho anotadas de SH17 e dos conjuntos de dados DsLMF+.
• Processo:
  • As anotações (trabalhadores, EPI, maquinaria, ferramentas) são normalizadas em grafos de cena de segurança executáveis. Os nós representam entidades; as arestas codificam relações espaciais e funcionais (ex: "usando", "operando", "dentro da zona de perigo").
  • As associações Pessoa-EPI são estabelecidas via contenção de caixas delimitadoras (bounding-box) e distância espacial para avaliar a segurança ao nível individual.
  • Geração de Respostas Determinísticas: Regras de segurança declarativas e programas executáveis geram respostas de referência. Um Modelo de Linguagem-Visão (VLM) pode suplementar atributos restritos, mas a resposta final é derivada estritamente da execução do programa sobre o grafo da cena, garantindo a reprodutibilidade.
  • Saída: 110.581 pares de pergunta-resposta (QA) verificados, cobrindo percepção, raciocínio espacial, avaliação de conformidade e raciocínio causal/contrafactual.

2. Pipeline Centrado no Relatório (Aprendizagem Retrospectiva)

• Fonte: Mais de 80.000 relatórios de acidentes publicamente disponíveis da OSHA, NIOSH FACE e do U.S. Chemical Safety Board (CSB).
• Processo:
  • Os relatórios são filtrados por figuras informativas e evidência contextual.
  • Extração de Evidência: Figuras, legendas e texto são analisados. Os itens de evidência são explicitamente rotulados como diretamente observáveis a partir da imagem, visualmente suportados mas requerendo esclarecimento textual, ou disponíveis apenas a partir do texto do relatório. Isto evita que factos narrativos sejam identificados erroneamente como observações visuais.
  • Composição do Caminho de Raciocínio: Grafos de evidência validados são transformados em caminhos de raciocínio de múltiplos passos (comparação, interpretação quantitativa, análise causal).
  • Saída: 13.114 pares de QA refinados com caminhos de raciocínio explícitos, proveniência e registos de verificação.

Protocolo de Avaliação

O benchmark avalia oito modelos de visão-linguagem representativos (incluindo variantes do GPT-5, Gemini, Claude, Kimi e Qwen) através de oito categorias de raciocínio: quantitativo, espacial/estrutural, causal, comparativo, síntese de evidência, identificação de perigo, avaliação de conformidade e mitigação/tomada de decisão. O estudo inclui:

• Avaliação zero-shot de modelos base e proprietários.
• Ajuste fino (fine-tuning) de domínio de segurança do Qwen3.5-9B usando LoRA com supervisão de Apenas-Resposta (Answer-Only) e de Cadeia de Pensamento (Chain-of-Thought - CoT).
• Parsing rigoroso: As respostas são pontuadas apenas se a opção extraída corresponder exatamente à referência.

Principais Contribuições

1. Benchmark SafeSceneReason: Um conjunto de dados multimodal que conecta cenas de trabalho do mundo real com materiais oficiais de investigação de acidentes, cobrindo a progressão da percepção para a tomada de decisão preventiva.
2. Síntese de Dados de Dupla Fonte: Dois pipelines auditáveis que separam a inferência factual da geração de linguagem. O pipeline centrado na cena utiliza grafos executáveis para respostas determinísticas, enquanto o pipeline centrado no relatório constrói perguntas de múltiplos passos baseadas em evidências a partir de figuras e textos de acidentes.
3. Proveniência e Verificação: Todas as amostras retêm referências de evidência, representações de raciocínio intermédio e resultados de verificação, permitindo uma avaliação e treino de modelos rastreáveis.
4. Avaliação Abrangente: A avaliação sistemática de modelos proprietários e de código aberto revela lacunas significativas no raciocínio composicional, causal e orientado para intervenção.

Resultados Experimentais

• Hierarquia de Desempenho: Existe um hiato pronunciado entre a compreensão visual geral e o raciocínio de segurança.
  • Melhores Desempenhos: O CoT-SFT Qwen3.5-9B alcançou a maior micro-acurácia (89,0%), superando ligeiramente o GPT-5.6-Sol (88,7%). O GPT-5.5 alcançou a melhor macro-acurácia (89,5%).
  • Limitações dos Modelos Base: Modelos de código aberto não ajustados (Qwen3.5-9B e Qwen3.6-27B) pontuaram significativamente abaixo (37,4% e 40,9% de micro-acurácia, respetivamente), demonstrando que a capacidade multimodal geral por si só é insuficiente.
• Impacto da Supervisão: O ajuste fino de domínio de segurança com supervisão CoT gerou ganhos massivos (+51,6 pontos de micro-acurácia) sobre o modelo base, particularmente em tarefas comparativas, quantitativas e de conformidade. No entanto, mesmo os modelos ajustados ficaram atrás dos principais modelos proprietários em síntese de evidência e identificação de perigos.
• Variabilidade de Domínio: O desempenho variou significativamente por domínio. Os modelos tiveram bom desempenho em agricultura e construção, mas tiveram dificuldades com toxicologia química, perigos biológicos e segurança relacionada com o cancro, indicando que a terminologia específica do domínio e o conhecimento causal são gargalos críticos.
• Modos de Falha:
  • Local vs. Global: Os modelos frequentemente têm sucesso no reconhecimento de objetos locais, mas falham ao compor múltiplas observações numa conclusão de segurança coerente.
  • Calibração: Os modelos base exibiram atalhos de formato de resposta (ex: viés para posições de resposta específicas), que o treino CoT mitigou, mas não eliminou totalmente.

Significância e Alegações

O artigo alega que o SafeSceneReason fornece um subconjunto focado e representativo das tarefas de segurança industrial, em vez de uma solução de ciclo de vida completa. A sua principal significância reside em demonstrar que a forte compreensão visual geral ainda não garante um raciocínio de segurança industrial fiável.

Os autores argumentam que os modelos atuais carecem da capacidade de:

1. Fundamentar observações em regras de segurança específicas e mecanismos de acidentes.
2. Sintetizar evidências através de múltiplas figuras ou elementos de cena para formar explicações causais.
3. Selecionar intervenções preventivas apropriadas com base em cenários complexos de múltiplas evidências.

Ao fornecer um benchmark com evidência rastreável e caminhos de raciocínio executáveis, o SafeSceneReason visa apoiar o desenvolvimento de sistemas multimodais cujos julgamentos de segurança sejam não apenas precisos, mas também fundamentados, auditáveis e apropriadamente cautelosos. Os autores enfatizam que uma alta acurácia agregada é insuficiente para aplicações críticas de segurança, destacando a necessidade de conhecimento especializado do domínio e integração robusta de evidências.