💻 computer science

SafeBuild-Bench: A Temporal-Robust Construction Safety Benchmark with Graph-Enhanced Data Mining

Este artigo apresenta o SafeBuild-Bench, um benchmark de segurança na construção temporalmente robusto, minerado de mais de 100.000 registros industriais por meio do novo pipeline de seleção GEMS baseado em grafos, o qual revela que os atuais modelos de linguagem grandes multimodais ainda têm dificuldade em alcançar uma compreensão de segurança confiável em condições de canteiro de obras realistas e variáveis.

Autores originais: Yi Cui, Zilin Wang, Yijie Xu, Qianyi Cai, Huizai Yao, Shuai Jiang, Bingzhuo Zhong, Hui Xiong

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yi Cui, Zilin Wang, Yijie Xu, Qianyi Cai, Huizai Yao, Shuai Jiang, Bingzhuo Zhong, Hui Xiong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô superinteligente a detectar perigo em um canteiro de obras movimentado. Você poderia pensar que a melhor maneira é mostrar a ele milhões de fotos de andaimes, guindastes e trabalhadores. Mas aqui está o detalhe: a maioria dessas fotos é entediante, repetitiva e segura. Elas mostram uma parede perfeitamente construída ou um trabalhador usando um capacete sob a luz do dia. Se você treinar o robô apenas com essas imagens "fáceis", ele pode se tornar um mestre em reconhecer cenas seguras, mas um fracasso total quando vir algo estranho, como uma escada bamba na chuva ou um guarda-corpo ausente em uma manhã com neblina. Este é o problema dos perigos de "cauda longa" — as situações raras, complicadas e perigosas que realmente causam acidentes, mas que estão escondidas em um mar de dados entediantes.

Para resolver isso, cientistas estão construindo testes especiais chamados "benchmarks". Pense em um benchmark como um exame final para a IA. Em vez de apenas perguntar "Isto é uma cadeira?", um benchmark de segurança pergunta: "Esta configuração específica de andaime é perigosa agora e por quê?". O desafio é que os canteiros de obras mudam todos os dias. O clima muda, o edifício cresce e a iluminação varia. Se uma IA aprender apenas com um conjunto estático de fotos, ela pode ficar confusa quando o mundo real não parecer exatamente com o seu livro didático. Este artigo aborda a questão de como construir um exame melhor e mais realista para a IA que possa lidar com essas mudanças e encontrar os momentos raros e perigosos escondidos em pilhas massivas de dados.

O Problema da "Agulha no Palheiro"

Os pesquisadores por trás deste artigo, SafeBuild-Bench, perceberam que os arquivos de segurança de construção são como uma biblioteca gigante e bagunçada, onde 99% dos livros são cópias idênticas de "Dia Seguro 1", e apenas algumas páginas contêm as instruções reais de como sobreviver ao "Dia Perigoso 42". Se você tentar ler cada página para encontrar o perigo, perderá anos. Se apenas escolher páginas aleatórias, provavelmente perderá o perigo por completo.

Para corrigir isso, eles criaram um novo teste superpotente chamado SafeBuild-Bench. Não é apenas uma lista de fotos; é uma coleção curada de 3.314 "cenários de missão" específicos extraídos de mais de 100.000 registros de inspeção brutos. Esses registros vêm de canteiros de obras reais na China, coletados ao longo de cinco meses, cobrindo desde andaimes até guindastes de torre. A magia não está apenas nas fotos, mas nos metadados: cada imagem mantém sua etiqueta original de data e localização. Isso permite que os pesquisadores vejam se uma IA é realmente inteligente ou se está apenas memorizando que "julho se parece com julho" e "o Canteiro A se parece com o Canteiro A".

O "Filtro Inteligente" (GEMS)

Como você encontra as agulhas perigosas nesse palheiro sem ler cada pedaço de feno? Os autores inventaram uma ferramenta chamada GEMS (Seleção Multimodal Aprimorada por Grafos). Imagine que você é um bibliotecário tentando escolher os livros mais interessantes para um clube de leitura. Você não pega livros aleatórios. Em vez disso, você tem um assistente robô que faz duas coisas:

O Detector de "Confusão": Ele pergunta a uma IA inteligente: "Ei, o que tem nesta foto?". Se a IA gaguejar, hesitar ou ficar confusa, o robô sinaliza. A confusão geralmente significa que a foto é difícil ou rara — exatamente o que você quer estudar.
O Mapa de "Similaridade": Ele desenha um mapa conectando fotos que se parecem. Se ele escolher uma foto de uma "escada bamba", não escolherá outras dez fotos de "escadas bambas" que parecem exatamente iguais. Ele usa um grafo (uma teia de conexões) para garantir que escolha um conjunto diversificado de diferentes tipos de problemas.

Essa combinação cria um subconjunto "Goldilocks": nem muito fácil, nem muito repetitivo, mas com a quantidade certa de dificuldade e raridade.

O Grande Teste: Os Robôs Estão Prontos?

Os autores pegaram este novo benchmark e o testaram contra vários dos modelos de IA mais avançados do mundo (tanto os famosos e caros quanto os de código aberto). Os resultados foram um choque de realidade.

Mesmo os melhores modelos de IA pontuaram em torno de 60 de 100 no geral. Isso é uma nota de aprovação no ensino médio, mas para um robô responsável pela segurança humana? É uma reprovação.

A Boa Notícia: Alguns modelos foram surpreendentemente bons em descrever o que viam. Por exemplo, um modelo conseguia detectar um perigo e dizer: "Há um guarda-corpo faltando", com alta precisão.
A Má Notícia: Eles eram terríveis em identificar o tipo específico de perigo quando recebiam opções de múltipla escolha. Frequentemente confundiam uma cena "segura" com uma "perigosa", ou perdiam perigos sutis como uma caixa elétrica solta.
O Tamanho Importa: Modelos maiores geralmente se saíram melhor, mas até os gigantes tiveram dificuldades com os perigos complicados de "cauda longa".

A Surpresa da "Viagem no Tempo"

Uma das descobertas mais interessantes foi como os modelos performaram ao longo do tempo. Como o benchmark rastreava as datas, os pesquisadores puderam ver como a IA se comportou em julho versus novembro. As pontuações não eram estáveis; elas oscilavam. Um modelo pode ir muito bem em julho, mas tropeçar em outubro. Isso prova que a IA não está realmente "aprendendo" regras de segurança; ela está frequentemente apenas adivinhando com base no cenário ou na época do ano. Se você a testasse apenas com dados de julho, pensaria que ela é um gênio da segurança. Teste-a em novembro, e ela é um desastre.

O Que Isso Significa para o Futuro

O artigo não afirma ter resolvido a segurança na construção. Em vez disso, fornece uma régua muito melhor para medir o quão longe temos que ir. Sugere que, para tornar a IA segura para o uso no mundo real, não podemos apenas jogar mais dados nela. Precisamos ser mais inteligentes sobre quais dados usamos. Ao usar ferramentas como o GEMS, podemos remover o conteúdo entediante e repetitivo e focar nos momentos raros e perigosos que realmente importam.

Os autores também liberaram todo o seu código, o conjunto de dados e os scripts de teste gratuitamente. Isso significa que outros cientistas agora podem usar este mesmo "exame" para testar seus próprios robôs, garantindo que todos estejam medindo a segurança da mesma forma realista. É um passo em direção a um futuro onde a IA não apenas reconhece um trabalhador, mas compreende verdadeiramente quando esse trabalhador está em perigo.

Resumo Técnico: SafeBuild-Bench

Declaração do Problema

O monitoramento de segurança na construção civil depende de Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para interpretar arquivos de inspeção. No entanto, os modelos atuais enfrentam desafios significativos de confiabilidade em implantações no mundo real devido a três fatores principais:

Redundância de Dados e Distribuição de Cauda Longa: Os arquivos de inspeção industrial são vastos, mas "pobres em informação", dominados por imagens repetitivas de baixo risco, enquanto perigos raros e de alto impacto formam uma cauda longa esparsa.
Mudança de Distribuição Temporal e de Canteiro: Os canteiros de obras evoluem devido ao clima, progresso, iluminação e manutenção de câmeras, criando mudanças de distribuição temporal que protocolos de avaliação estáticos frequentemente ignoram.
Limitações de Avaliação: Os benchmarks existentes tipicamente dependem de pontuações agregadas sob suposições i.i.d., falhando em testar o estresse de modelos quanto à robustez específica de tempo ou de canteiro, o que leva a uma superestimação do desempenho de implantação.

O artigo aborda a questão prática de como construir um benchmark de segurança na construção que permita uma avaliação estratificada por tempo e canteiro, foque em perigos de cauda longa em vez de dados redundantes e permaneça viável de ser construído a partir de fluxos de dados redundantes de larga escala.

Metodologia

1. Aquisição e Pré-processamento de Dados

Os autores curaram um conjunto de dados bruto de mais de 100.000 pares imagem-texto coletados de mais de 50 locais de construção ao longo de cinco meses (julho–novembro de 2025). Os dados cobrem diversas cenas (andaimes, valas de fundação, guindastes de torre) e condições ambientais (noite, chuva, névoa). Um pipeline de privacidade rigoroso foi implementado para anonimizar rostos e placas de veículos usando detecção automatizada e verificação manual.

2. GEMS: Seleção Multimodal Baseada em Grafos

Para destilar um "núcleo informacional" de um fluxo bruto redundante sem exigir a verificação imediata de um especialista para cada amostra, os autores desenvolveram o GEMS (Graph-Enhanced Multimodal Selection). Este pipeline automatizado consiste em três estágios:

Aprendizado de Representação Multimodal: Pares imagem-texto são mapeados em um espaço vetorial denso unificado usando o codificador Qwen3-VL-Embedding para obter representações conjuntas ( $z_i$ ).
Quantificação de Incerteza Epistêmica: Um modelo substituto (Qwen2.5-VL-3B-Instruct) gera respostas a prompts de análise de perigo. A pontuação de incerteza ( $u_i$ ) é calculada como a negativa da log-verossimilhança (NLL) da resposta gerada, normalizada pelo comprimento. Um NLL alto indica amostras candidatas onde o modelo está incerto, sinalizando potencialmente casos informativos ou difíceis.
Seleção Submodular Baseada em Teoria de Grafos: Um grafo $k$ -vizinho mais próximo ( $k$ -NN) esparso é construído com base na similaridade de cosseno dos embeddings. O objetivo de seleção maximiza a influência total de um subconjunto $S$ , definida como a soma da influência mínima (limitada por um limiar de saturação $\tau$ ) recebida por todos os nós. Isso equilibra informatividade (alta incerteza) com diversidade (redução de duplicatas próximas).
Otimização: O algoritmo Cost-Effective Lazy Forward (CELF) é empregado para resolver eficientemente o problema de maximização submodular, reduzindo a complexidade computacional em comparação com a seleção gulosa padrão.

3. Construção do SafeBuild-Bench

Usando o GEMS, os autores selecionaram mais de 3.000 imagens para formar o benchmark final, resultando em 3.314 instâncias de tarefas.

Metadados: Cada instância retém os carimbos de tempo originais de coleta e identificadores de canteiro, permitindo análise estratificada por mês e localização.
Verificação por Especialistas: As amostras selecionadas foram revisadas por especialistas em segurança de construção para atribuir categorias primárias de perigo e descrições de referência baseadas em padrões estabelecidos. Casos ambíguos foram resolvidos através de consenso de especialistas.
Design de Tarefas:
- Identificação de Perigo (MCQ): 2.200 instâncias onde os modelos selecionam o perigo correto entre três distratores amostrados de "grupos de confusão" definidos por especialistas (perigos visualmente ou proceduralmente semelhantes).
- Descrição de Perigo (Texto Livre): 1.114 instâncias que exigem descrições precisas de perigos ou confirmação de segurança. A avaliação utiliza um esquema padronizado de LLM-como-juiz (GPT-4o) com uma rubrica fixa, validada contra auditorias humanas.

Principais Contribuições

SafeBuild-Bench: Um benchmark verificado por especialistas minerado de mais de 100k registros brutos, contendo 3.314 instâncias de tarefas com perigos de cauda longa, metadados temporais/de canteiro e anotações tanto para identificação quanto para descrição de perigos.
Design de Avaliação Baseado em Metadados: Um protocolo que permite análise de robustez estratificada por tempo e nível de canteiro, acompanhado de scripts de avaliação executáveis e um esquema escalável de LLM-como-juiz.
Pipeline GEMS: Um framework de seleção automatizado que combina incerteza epistêmica com diversidade baseada em grafos para identificar candidatos informativos para verificação especializada. Os autores validam o GEMS em conjuntos de dados públicos de ajuste fino de instrução, mostrando que ele pode preservar o desempenho orientado à robustez com orçamentos de dados significativamente reduzidos.

Resultados Experimentais

Validação do GEMS (Estudo de Proximidade)

Os autores validaram o GEMS em conjuntos de dados públicos de ajuste fino de instrução (LLaVA-Instruct-150K e LLaVA-Mixed-665K) usando o LLaVA-v1.5-7B como modelo base.

Eficiência de Dados: O ajuste fino em apenas 1% dos dados selecionados pelo GEMS (aprox. 1.5k–6.6k amostras) igualou ou superou o desempenho do treinamento com dados totais (158k–665k amostras) em benchmarks orientados à robustez (VizWiz, MMMU, POPE).
Redução de Redundância: Subconjuntos selecionados pelo GEMS demonstraram menor redundância intra-subconjunto e melhor equilíbrio de categorias em comparação com a amostragem aleatória, confirmando sua capacidade de filtrar ruído enquanto retém casos difíceis.

Avaliação do SafeBuild-Bench

O benchmark foi avaliado em um conjunto diversificado de MLLMs proprietários e de código aberto (ex: Gemini-3, Qwen3-VL, Kimi-K2.5, GPT-4o) em um cenário zero-shot.

Desempenho Geral: Os atuais MLLMs permanecem longe de serem confiáveis, com a melhor pontuação geral (Kimi-K2.5) atingindo apenas 60.7.
Disparidade de Tarefas: Os modelos geralmente performaram melhor em Detecção de Perigo (identificar presença/ausência) do que em Qualidade de Descrição. Por exemplo, o Qwen3-VL-Plus alcançou uma taxa de detecção de 79.9%, mas ficou atrás na precisão de identificação.
Variância Temporal: O desempenho variou significamente entre os cortes mensais (julho–novemos). Por exemplo, a precisão do Claude-Sonnet-4.5 variou de 46.4% a 54.6% entre os meses, demonstrando que pontuações agregadas mascaram a instabilidade temporal.
Análise de Erros:
- Identificação: Os modelos tiveram dificuldade com categorias que exigem discriminação refinada (ex: tipos específicos de andaimes) ou normas de segurança implícitas. Observou-se um viés para a superprevisão de perigos em casos de "Sem Perigo".
- Descrição: As falhas principais foram impulsionadas primordialmente pela detecção de perigo perdida (HDR=0), e não por deficiências linguísticas. Modelos menores exibiram taxas de falha mais altas (44.4% para Qwen3-VL-4B) em comparação com modelos maiores (27.3% para Kimi-K2.5).

Significância e Alegações

O artigo afirma que o SafeBuild-Bench proporciona uma mudança necessária da avaliação estática e agregada para uma análise estratificada e temporalmente robusta que reflete melhor os riscos de implantação no mundo real na segurança da construção.

Viabilidade de Mineração Centrada em Dados: O estudo demonstra que a mineração de dados baseada em grafos (GEMS) pode efetivamente destilar subconjuntos de alto valor e não redundantes de fluxos industriais massivos, tornando viável a construção de benchmarks verificados por especialistas.
Baselines Realistas: Os resultados indicam que mesmo os MLLMs de última geração ainda não são confiáveis para a compreensão da segurança na construção, destacando uma lacuna entre capacidades visuais gerais e raciocínio de segurança específico do domínio.
Relevância Operacional: Ao manter metadados temporais e de canteiro, o benchmark permite que as partes interessadas diagnostiquem riscos de implantação específicos (ex: quedas de desempenho em meses ou canteiros específicos) em vez de depender de uma única pontuação de leaderboard.

Os autores mantêm-se modestos quanto às limitações, observando que o benchmark é fundamentado nas regulamentações de construção chinesas, requer esforço contínuo de especialistas para escala e depende de modelos substitutos para a seleção inicial. Eles posicionam este trabalho como um passo fundamental para uma avaliação multimodal mais robusta e crítica para a segurança.