💻 computer science

Pixel-Level Pavement Distress Assessment Using Instance Segmentation

Este artigo apresenta um sistema de segmentação de instâncias baseado em Mask R-CNN para avaliação precisa de danos no pavimento em nível de pixel, que supera a detecção YOLO em precisão de localização e estimativa agregada de área de fissuras em um conjunto de dados personalizado coletado em campo, ao mesmo tempo em que destaca desafios-chave na consistência de anotação e no desequilíbrio de classes.

Autores originais: Logan Dewick (University of Wisconsin - Green Bay), Bibesh Pyakurel (University of Wisconsin - Green Bay), Kong Pheng Yang (University of Wisconsin - Green Bay), Nazim Choudhury (University of Wiscons

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Logan Dewick (University of Wisconsin - Green Bay), Bibesh Pyakurel (University of Wisconsin - Green Bay), Kong Pheng Yang (University of Wisconsin - Green Bay), Nazim Choudhury (University of Wisconsin - Green Bay), M. G. Sarwar Murshed (University of Wisconsin - Green Bay)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um inspetor de estradas. Sua função é identificar trincas, buracos e danos no pavimento para que a cidade possa repará-los antes que se transformem em grandes crateras. No passado, você precisava caminhar pelas ruas, estreitando os olhos sobre o asfalto, o que era lento, cansativo e perigoso próximo ao tráfego.

Este artigo trata da criação de um inspetor digital que utiliza uma câmera e um cérebro computacional inteligente para realizar essa tarefa automaticamente. Aqui está a história de como eles o construíram e o que descobriram.

O Problema: Por Que "Caixas" Não São Suficientes

Os pesquisadores explicam que programas de computador anteriores tentavam identificar danos em estradas de duas maneiras:

A Verificação "Sim/Não": Analisar um pequeno quadrado de estrada e afirmar: "Há uma trinca aqui?" (Bom para saber se há um problema, mas ruim para saber onde exatamente).
O Método da "Caixa": Desenhar uma caixa quadrada ao redor de uma trinca. Isso é como tentar embrulhar uma cobra longa e sinuosa em uma caixa de presente quadrada. A caixa cobre a cobra, mas também cobre muito espaço vazio, e não informa a forma exata da cobra nem seu comprimento real.

Para a manutenção de estradas, é necessário conhecer a forma exata e a área total do dano para calcular os custos de reparo. Uma caixa quadrada é muito desajeitada para trincas finas e ramificadas. É preciso algo que possa traçar a trinca como uma caneta marca-texto, pixel por pixel.

A Solução: O "Marca-Texto Digital" (Segmentação de Instâncias)

A equipe desenvolveu um sistema chamado Mask R-CNN. Pense nisso como um marca-texto digital superinteligente. Em vez de apenas desenhar uma caixa, ele pode:

Encontrar a trinca.
Desenhar um contorno perfeito ao seu redor, seguindo cada curva e reviravolta.
Contar exatamente quantos pixels da estrada estão danificados.
Distinguir entre uma trinca real e coisas que parecem trincas, como manchas de óleo, sombras ou linhas pintadas na estrada.

Eles testaram isso em um novo conjunto de dados que criaram, chamado UWGB-STREETCRACK. Dirigiram um carro com um iPhone 15 Pro Max montado na frente, gravando vídeos de estradas locais. Em seguida, desenharam manualmente contornos poligonais precisos ao redor de quatro tipos de dano:

Trincas longitudinais: Correndo paralelas à estrada.
Trincas transversais: Correndo através da estrada.
Trincas em casca de jacaré: Uma rede de trincas interconectadas (como a pele de um lagarto).
Buracos: Cavidades profundas na estrada.

O Experimento: Quem Venceu a Corrida?

Os pesquisadores colocaram seu "Marca-Texto Digital" (Mask R-CNN) contra dois outros tipos de modelos de visão computacional:

O "Desenhador de Caixas" (YOLO): Um detector rápido que apenas desenha quadrados.
O "Cortador de Recortes" (DeepSegmentor): Um modelo que só funciona se você recortar manualmente a trinca da imagem primeiro.

Os Resultados:

O Vencedor: O Mask R-CNN (especificamente a versão com um cérebro "ResNet-101") foi o campeão claro.
- Foi incrivelmente preciso ao encontrar trincas (90% de recall) e muito bom em não cometer erros (84% de precisão).
- O Teste da "Área": Esta é a parte mais impressionante. A área danificada real nas fotos de teste era de 2,170%. O Mask R-CNN estimou 2,164%. Isso é uma diferença de menos de um centésimo de por cento! Foi quase perfeito.
O Perdedor: O "Desenhador de Caixas" (YOLO) lutou muito, com pontuações muito baixas. Não conseguiu lidar bem com as condições caóticas e reais das estradas.
O "Cortador de Recortes": Embora pudesse estimar a área de uma trinca se você lhe fornecesse uma imagem limpa e recortada, falhou ao analisar uma cena completa de estrada porque se confundiu com sombras e marcações viárias.

Os Desafios: Onde Ainda Tropeça

Embora o sistema seja excelente, os autores admitem que ainda não é perfeito. Eles encontraram alguns "bugs" no mundo real:

Visuais Confusos: Às vezes, o computador confunde uma longa mancha de óleo ou uma linha pintada com uma trinca.
O "Mistério" da Bueiro: Áreas ao redor de tampas de bueiro são complicadas. O computador às vezes não consegue dizer se uma linha perto da tampa é uma trinca ou apenas parte da tampa de metal.
O "Quebra-Cabeça" da Casca de Jacaré: Quando há uma enorme rede de trincas, humanos podem discutir: "Isso é uma única trinca gigante ou cinco pequenas?" O computador às vezes adivinha de forma diferente do anotador humano. Isso mostra que as regras para desenhar as linhas precisam ser muito estritas.

A Conclusão

Este artigo prova que a Segmentação de Instâncias (o "Marca-Texto Digital") é a melhor ferramenta que temos atualmente para medir automaticamente danos em estradas. Não apenas encontra as trincas; mede-as com um nível de precisão que corresponde quase perfeitamente aos especialistas humanos.

Os autores concluem que, embora o sistema esteja pronto para ser uma ferramenta prática para estimar quanto da estrada precisa de reparo, ainda precisamos trabalhar para tornar as "regras" para rotular os dados mais claras, para que o computador não se confunda com sombras ou manchas.

Resumo Técnico: Avaliação de Danos em Pavimento em Nível de Pixel Usando Segmentação de Instâncias

Declaração do Problema
A avaliação automatizada de danos em pavimento exige precisão geométrica que supera as capacidades da classificação em nível de imagem ou da detecção grosseira por caixas delimitadoras. Embora as caixas delimitadoras sejam eficientes para implantação, elas falham em representar com precisão fissuras finas, ramificadas, irregulares ou desconectadas, que são críticas para quantificação relevante à manutenção, como estimativa de área de fissura e análise morfológica. Além disso, imagens de rodovias coletadas em campo apresentam desafios significativos, incluindo fatores de confusão visual (sombras, manchas, marcações viárias, bordas de bueiros) e a necessidade de distinguir entre múltiplas instâncias de danos simultâneas. A literatura existente frequentemente depende de regiões recortadas ou cenas de fissura única, deixando uma lacuna na avaliação do desempenho de segmentação em dados de rodovias reais de cena completa com múltiplas categorias de danos.

Metodologia
Os autores propõem um sistema baseado em visão utilizando segmentação de instâncias Mask R-CNN implementado via framework Detectron2. O sistema é avaliado no UWGB-STREETCRACK, um conjunto de dados personalizado adquirido usando um iPhone 15 Pro Max montado em veículo. O conjunto de dados compreende 1.874 imagens (1.643 para treinamento/validação, 231 para teste) anotadas com máscaras poligonais para quatro classes: fissuras longitudinais, fissuras transversais, fissuras em casca de jacaré e buracos.

O pipeline técnico envolve:

Preparação de Dados: Anotações poligonais do Label Studio são rasterizadas em máscaras de instância binárias. As imagens são redimensionadas (lado curto 800px, lado longo máximo 1333px) com preservação da proporção.
Arquitetura do Modelo: Cinco variantes de backbone Mask R-CNN foram consideradas, incluindo ResNet-50, ResNet-101 (com recursos FPN e C4) e ResNeXt-101. Os modelos foram inicializados com pesos pré-treinados no COCO e ajustados finamente usando descida de gradiente estocástica (momento 0,9, decaimento de peso 0,0001) ao longo de 40 épocas.
Inferência e Avaliação: O sistema realiza localização, classificação e segmentação em nível de pixel conjuntas em imagens completas de rodovias. A avaliação utiliza um protocolo específico do projeto onde instâncias previstas são correspondidas à verdade fundamental via Interseção sobre União (IoU) de caixa delimitadora ( $\ge$ 0,1). As métricas incluem Precisão, Revocação, Pontuação F1 e fração agregada de área de fissura.
Baselines Comparativos: Para contextualizar os resultados, os autores adaptaram um detector YOLO baseado em CSPDarknet53 (treinado do zero no conjunto de dados) e um modelo DeepSegmentor (adaptado como referência em nível de recorte) para servir como benchmarks de detecção e segmentação, respectivamente.

Contribuições Principais
O artigo faz as seguintes contribuições específicas:

Documentação do Conjunto de Dados: O lançamento e documentação do UWGB-STREETCRACK, um conjunto de dados baseado em smartphone com anotações em nível de polígono para quatro classes distintas de danos em pavimento.
Implementação do Pipeline: Uma descrição de um pipeline completo de segmentação de instâncias Mask R-CNN adaptado para danos em pavimento, capaz de lidar com imagens de cena completa e estimar a área agregada de fissuras.
Resultados Empíricos: O relatório de resultados de teste correspondentes para experimentos Mask R-CNN arquivados, preservando os valores originais de precisão, revocação, F1 e fração de área sem alteração.
Adaptação de Baseline: A adaptação de um detector YOLO baseado em CSPDarknet53 de Mandal e um modelo DeepSegmentor no mesmo conjunto de dados para fornecer referências de detecção de objetos e segmentação em nível de recorte.
Análise de Erros: Uma identificação de lacunas metodológicas, incluindo ambiguidade de anotação (por exemplo, distinguir fissuras em casca de jacaré de múltiplas fissuras lineares), esparsidade de classes minoritárias e a falta de relatórios padrão de AP em nível de máscara nos registros atuais do projeto.

Resultados
O Mask R-CNN com um backbone FPN ResNet-101 alcançou o melhor desempenho entre as variantes avaliadas:

Precisão: 84,23%
Revocação: 90,04%
Pontuação F1: 87,04%
Estimativa de Área: O modelo previu uma fração de área de fissura de 2,164%, correspondendo estreitamente à fração de verdade fundamental de 2,170% (uma diferença absoluta de 0,006 pontos percentuais).

Em comparação, o detector YOLO (CSPDarknet53) adaptado alcançou métricas significativamente menores (27,5% de precisão, 20,7% de revocação, 23,62% de F1) sob o protocolo de validação. O modelo DeepSegmentor, embora produzisse uma estimativa de área semelhante (2,130%), foi limitado a uma avaliação em nível de recorte e não pôde realizar localização de cena completa ou distinguir fissuras de fatores de confusão visual como sombras e marcações viárias.

Significado e Alegações
O artigo posiciona a segmentação de instâncias como uma direção prática para imagens de pavimento em campo e estimativa de área agregada de fissuras. Os autores afirmam que o framework proposto aborda com sucesso as limitações geométricas dos detectores de caixa delimitadora ao fornecer máscaras em nível de pixel que permitem cálculo preciso de área.

No entanto, o artigo mantém um tom modesto em relação às suas alegações:

Afirma explicitamente ser um estudo empírico aplicado em vez de uma proposta de uma nova arquitetura de rede.
Reconhece que os resultados são baseados em protocolos de correspondência específicos do projeto e não devem ser interpretados como benchmarks padrão de AP de máscara estilo COCO.
Destaca que a consistência de anotação permanece um desafio, observando que a ambiguidade no rótulo (por exemplo, se uma rede conectada é uma fissura em casca de jacaré ou múltiplas fissuras lineares) afeta tanto os alvos de treinamento quanto as contagens de avaliação.
Os autores concluem que, embora o sistema seja eficaz para as tarefas relatadas, desafios abertos relacionados à rejeição de fatores de confusão e à padronização de benchmarks em nível de máscara devem ser abordados antes que o sistema possa servir como um benchmark padronizado.

O Problema: Por Que "Caixas" Não São Suficientes

A Solução: O "Marca-Texto Digital" (Segmentação de Instâncias)

O Experimento: Quem Venceu a Corrida?

Os Desafios: Onde Ainda Tropeça

A Conclusão

Mais como este