Resumo Técnico: Monitoramento Passivo de Segurança em Canteiros de Obras via Verificação VLM de Cadeia de Pensamento Adversarial com Scaffold de Persona

Declaração do Problema

A indústria da construção civil permanece o setor mais mortal nos Estados Unidos, com 1.055 ferimentos fatais em trabalhadores registrados em 2023. A maioria desses incidentes é evitável, contudo, as soluções atuais de monitoramento enfrentam lacunas operacionais significativas: frequentemente são proibitivamente caras, exigem operadores humanos dedicados em tempo real ou abordam apenas subconjuntos restritos de violações de segurança (por exemplo, apenas detecção de capacetes). Há uma falta de sistemas de monitoramento contínuo, passivos e acessíveis capazes de rastrear múltiplos trabalhadores, resolver suas identidades ao longo do tempo e gerar relatórios de conformidade acionáveis sem revisão humana em tempo real.

Metodologia

Os autores propõem um pipeline de processamento passivo, ao final do turno, que analisa vídeo de duas modalidades de câmera independentes: câmeras corporais POV (ponto de vista) e câmeras fixas montadas em paredes. O sistema utiliza uma arquitetura unificada de três estágios:

Estágio 1: Detecção Primária

• Componente: Um detector de objetos YOLO11 ajustado finamente.
• Treinamento: Treinado em um conjunto de dados composto de cinco fontes específicas de EPIs para construção (corpora Ultralytics, Roboflow, SH17 e Kaggle).
• Função: Detecta 12 classes semânticas, incluindo trabalhadores, EPIs (capacetes, coletes, luvas) e equipamentos próximos (escavadeiras, guindastes).
• Estratégia: A confiança da detecção é intencionalmente definida baixa ($\tau_{conf} = 0.15$) para maximizar o recall. O sistema prioriza a captura de todas as violações potenciais, adiando a supressão de falsos positivos para o estágio de verificação a jusante.
• Rastreamento: Para câmeras montadas em paredes, o BoT-SORT é utilizado para rastreamento de múltiplos objetos, mantendo IDs de rastreamento persistentes. Para câmeras POV, um modelo de estimativa de pose extrai 17 pontos-chave esqueléticos no formato COCO.

Estágio 2: Refinamento Espacial e Deduplicação de Trabalhadores

• Componente: SAM 3 (Segment Anything Model 3).
• Função:
  1. Refinamento: Gera máscaras de segmentação precisas em nível de pixel para apertar as caixas delimitadoras do YOLO, corrigindo expansões excessivas em cenas lotadas.
  2. Isolamento: Produz recortes isolados de trabalhadores com anotações sobrepostas para reduzir a ambiguidade contextual para o Modelo de Visão-Linguagem (VLM).
  3. Associação: Resolve o mapeamento EPI-trabalhador via contenção do ponto central (determinando qual caixa delimitadora do trabalhador contém o centróide da máscara do EPI).
• Lógica Temporal: A conformidade com EPIs é avaliada em uma janela temporal deslizante, em vez de quadros únicos, para mitigar oclusões transitórias.

Estágio 3: Verificação de Conformidade via VLM Adversarial

• Componente: Qwen3-VL-8B-Instruct (com adaptador LoRA opcional).
• Inovação Central: Um novo protocolo de cadeia de pensamento adversarial de três passagens projetado para mitigar alucinações do VLM.
  • Passagem 1 (Geração): Uma persona de "inspetor de segurança de campo" revisa o vídeo bruto sem dados de detecção de máquina, produzindo notas observacionais independentes.
  • Passagem 2 (Discriminação): Uma persona de "oficial sênior de segurança" revisa o vídeo com anotações do YOLO/SAM (caixas delimitadoras, máscaras, pontuações de confiança), mas sem as notas da Passagem 1. Esta passagem valida ou rejeita as detecções da máquina.
  • Passagem 3 (Reconciliação): A persona sênior reconcilia evidências da Passagem 1, Passagem 2 e dados brutos de máquina em um VLMAssessment estruturado.
• Mecanismos Adversariais:
  • Independência Estrutural: As passagens são estruturalmente isoladas; a Passagem 2 não vê a saída da Passagem 1, prevenindo contaminação de contexto.
  • Regras de Reconciliação Assimétricas: O sistema codifica priores explícitos sobre a confiabilidade da modalidade. Violações comportamentais (por exemplo, uso de telefone) são tratadas como "observador-forte/máquina-fraca", enquanto violações espaciais/de EPI são "máquina-forte/observador-fraca".
  • Calibração de Confiança: As pontuações de confiança do YOLO são mapeadas para pesos epistêmicos (por exemplo, $\ge 0.70$ é um "prior forte" que requer evidência de refutação para ser superado).
• Saída: Um relatório estruturado mapeando violações para normas específicas da OSHA, realizando pontuação de risco ergonômico inspirada no REBA (baseada em ângulos articulares) e gerando relatórios de segurança por trabalhador com evidências em nível de quadro com carimbo de data/hora.

Principais Contribuições

1. Pipeline Unificado: Uma arquitetura de três estágios (YOLO $\to$ SAM 3 $\to$ VLM) que integra detecção de EPI, análise de postura/ergonomia e persistência de identidade de trabalhador através de duas modalidades de câmera.
2. Protocolo VLM Adversarial: Um protocolo de três passagens, orientado por prompt e com scaffold de persona, seguindo a estruturação "ator-método". Este design impõe independência estrutural entre as passagens e utiliza regras de reconciliação assimétricas para reduzir alucinações.
3. Pontuação Ergonômica: Integração de pontuação de risco inspirada no REBA, derivada de pontos-chave de pose do YOLO com portas de confiança ajustadas.
4. Backend ao Final do Turno: Um sistema que mapeia eventos para normas da OSHA e produz relatórios por trabalhador, desacoplando a qualidade do monitoramento das restrições de computação em tempo real.

Resultados

O sistema foi avaliado qualitativamente em um corpus de desenvolvimento Ironsite de 12 vídeos (aproximadamente 30 minutos por vídeo), cobrindo cenários de alvenaria, preparação e trânsito.

• Melhoria na Precisão: Uma revisão informal pelos três autores (atuando como árbitros) indicou que o protocolo adversarial de três passagens alcançou uma melhoria de 12% na precisão em comparação com uma linha de base de VLM de passagem única usando o mesmo orçamento de tokens.
• Redução de Alucinações: Os ganhos mais significativos foram observados em categorias propensas a alucinações (por exemplo, detecção de luvas e proteção ocular), onde a estrutura adversarial reduziu a emissão de violações plausíveis, mas visualmente não suportadas.
• Capacidades de Detecção: O sistema identificou com sucesso a conformidade com EPIs (coletes, capacetes) e riscos ergonômicos (alcance excessivo, postura inadequada) em ambas as filmagens montadas em paredes e POV.
• Limitações: Os autores observam que a melhoria de 12% baseia-se em arbitragem pelos autores, e não em um estudo cego e controlado. O desempenho degrada-se sob condições de baixa iluminação, e a reidentificação de trabalhadores em cenas densamente povoadas não foi testada sob estresse em escala.

Significado e Alegações

O artigo afirma que o monitoramento passivo ao final do turno é uma alternativa viável à vigilância em tempo real para segurança na construção, oferecendo um caminho prático de implantação usando hardware comercial e grandes modelos (incluindo VLMs de 8 bilhões de parâmetros) que seriam inviáveis sob restrições de latência em tempo real.

A contribuição metodológica central é o design de prompt para o VLM. Os autores argumentam que a construção específica de histórias de fundo de personas profissionais, combinada com isolamento estrutural de mensagens e regras de reconciliação assimétricas, impulsiona uma melhoria mensurável na precisão. Esta abordagem aborda a questão crítica da alucinação de VLMs em contextos críticos para a segurança, forçando o modelo a cruzar seu raciocínio com sinais observacionais independentes e derivados de máquina antes de emitir um veredito final de conformidade.

Os autores enfatizam que, embora observações qualitativas apoiem a viabilidade da abordagem, a avaliação quantitativa contra um conjunto de teste retido com anotadores independentes é a prioridade máxima para trabalhos futuros. A ferramenta de avaliação necessária para isso é lançada junto com o código-fonte.