Field imaging framework for morphological characterization of aggregates with computer vision: Algorithms and applications

Esta dissertação apresenta um quadro de imagem de campo para a caracterização morfológica de agregados de construção, desenvolvendo algoritmos de segmentação e estimativa de volume para partículas individuais, bem como abordagens automatizadas de análise 2D e uma metodologia integrada de reconstrução-segmentação-completamento 3D para analisar e prever as faces ocultas de pilhas de agregados em cenários reais.

O essencial

Imagine que você é um chef de cozinha tentando fazer um bolo perfeito. Para isso, você precisa de ingredientes de qualidade: farinha, ovos e açúcar. No mundo da construção civil, esses "ingredientes" são as pedras e o cascalho (chamados de agregados) que formam a base de estradas, pontes e edifícios.

O problema é que, até agora, medir essas pedras era como tentar adivinhar o tamanho de um elefante no escuro apenas dando um toque nele. Os engenheiros tinham que olhar para pilhas de pedras gigantes, usar fitas métricas manuais ou pesá-las uma por uma com máquinas pesadas. Era lento, cansativo e muito impreciso.

A tese de doutorado de Haohang Huang é como se ele tivesse criado um "Super Olho Digital" que consegue ver, medir e entender cada pedra, mesmo quando elas estão empilhadas e escondidas umas atrás das outras.

Aqui está como esse "Super Olho" funciona, dividido em três níveis de inteligência, usando analogias simples:

1. O Nível Básico: A "Fotografia 3D" da Pedra Solta

Imagine que você tem uma pedra grande no quintal. Antigamente, você teria que pegá-la, colocá-la em uma balança e medir com uma régua.

• A Solução do Autor: Ele criou um sistema portátil (usando apenas smartphones) que tira fotos da pedra de três ângulos diferentes (frente, lado e topo).
• A Mágica: Um algoritmo inteligente olha para essas fotos, ignora as sombras do sol e "recorta" a pedra do fundo. Depois, ele usa a geometria para reconstruir a pedra em 3D no computador e calcular seu volume exato.
• Resultado: É como ter uma régua mágica que mede a pedra sem você precisar tocá-la. É muito mais rápido e preciso do que a régua manual.

2. O Nível Intermediário: O "Detetive de Pilhas" (2D)

Agora, imagine uma montanha de pedras no canteiro de obras. Elas estão todas misturadas, umas em cima das outras. É impossível ver onde uma termina e a outra começa.

• O Problema: Um computador comum vê apenas uma mancha cinza de pedras.
• A Solução do Autor: Ele ensinou uma Inteligência Artificial (uma rede neural) a olhar para a foto da pilha e "pintar" cada pedra individualmente com uma cor diferente, como se fosse um jogo de "colorir por números".
• A Analogia: É como se você tivesse um óculos de visão de raio-x que consegue separar cada pedra da pilha e dizer: "Essa aqui tem 10 cm, aquela ali é achatada, e aquela é redonda". Isso permite analisar milhares de pedras em segundos, algo que um humano levaria dias para fazer.

3. O Nível Avançado: O "Mentalista 3D" (O Grande Truque)

Este é o nível mais impressionante. Quando você olha para uma pedra em uma pilha, você só vê a parte de cima. A parte de baixo e os lados escondidos são um mistério. Como saber o tamanho total se você não vê tudo?

• O Desafio: Como adivinhar a forma completa de algo que está parcialmente escondido?
• A Solução do Autor:
  1. A Biblioteca de Pedras: Primeiro, ele criou uma "biblioteca digital" com modelos 3D perfeitos de várias pedras reais.
  2. O Treinamento: Ele usou computadores para simular milhões de pilhas de pedras virtuais e ensinou a IA a reconhecer padrões.
  3. O "Preenchimento" (Shape Completion): Quando a IA vê uma pedra parcialmente escondida na pilha real, ela usa o que aprendeu na biblioteca para "adivinhar" (com muita precisão) como é a parte que está escondida. É como um artista que vê apenas a ponta de um iceberg e desenha o resto do iceberg com base no que ele sabe sobre a forma do gelo.
• O Resultado: O sistema reconstrói a pedra inteira, calcula seu peso e volume, mesmo que 70% dela esteja enterrada na pilha.

Por que isso é importante? (A "Receita do Bolo")

• Economia de Dinheiro e Tempo: Em vez de parar a obra para pesar pedras manualmente, os engenheiros podem tirar uma foto e ter os dados em minutos.
• Segurança: Estradas e pontes são mais seguras quando os materiais usados têm o tamanho e a forma corretos. Se as pedras forem muito achatadas, a estrada pode rachar. Se forem muito redondas, a ponte pode escorregar.
• Precisão: O sistema reduz o erro humano. O que antes era uma "estimativa chutada" agora é uma medição matemática precisa.

Resumo Final

Haohang Huang desenvolveu um sistema de câmera e inteligência artificial que transforma pedras gigantes e empilhadas em dados digitais precisos. Ele ensinou o computador a:

1. Ver pedras soltas e medir seu volume.
2. Separar pedras em pilhas gigantes usando 2D.
3. "Preencher" mentalmente as partes escondidas das pedras em pilhas usando 3D.

É como dar aos engenheiros de construção um superpoder: a capacidade de ver o invisível e medir o impossível, garantindo que nossas estradas e pontes sejam construídas com os melhores ingredientes possíveis.

Resumo técnico

Título:

Framework de Imagem de Campo para Caracterização Morfológica de Agregados com Visão Computacional: Algoritmos e Aplicações

1. Problema e Contexto

Os agregados de construção (areia, cascalho, pedra britada e riprap) são fundamentais para a infraestrutura civil, economia e sociedade. No entanto, a caracterização morfológica (tamanho, forma, volume/peso) desses materiais, especialmente dos agregados de grande porte (ripap e pedras de proteção), enfrenta desafios significativos:

• Limitações dos Métodos Atuais: As práticas atuais baseiam-se em inspeção visual subjetiva e medições manuais demoradas e intensivas em mão de obra. Métodos de laboratório baseados em imagem (como AIMS ou E-UIAIA) são precisos, mas restritos a agregados pequenos/médios e a condições controladas de laboratório, não sendo escaláveis para campo ou para agregados grandes.
• Desafios de Campo: A inspeção em pilhas de agregados (stockpiles) envolve condições de iluminação variáveis, oclusão densa e sobreposição de partículas, o que torna a segmentação de imagem extremamente difícil.
• Falta de Dados 3D: A maioria das análises é 2D, perdendo informações espaciais cruciais. Abordagens 3D são ideais, mas a obtenção de modelos 3D completos de agregados irregulares em campo é complexa e cara.

O objetivo principal desta pesquisa foi desenvolver um framework de imagem de campo robusto, eficiente e automatizado para caracterizar agregados em diferentes cenários, focando especialmente em agregados de grande porte e em pilhas densas.

2. Metodologia

A tese propõe uma solução multi-etapa que evolui da análise de partículas individuais para a análise de pilhas completas em 3D, utilizando visão computacional e aprendizado profundo (Deep Learning). O trabalho é dividido em três abordagens principais:

A. Reconstrução Volumétrica para Agregados Individuais (Não Sobrepostos)

• Sistema de Imagem: Desenvolvimento de um sistema portátil de campo usando smartphones e um fundo azul para capturar três vistas ortogonais (topo, frente, lado) de cada pedra.
• Segmentação: Algoritmo baseado em cor (espaço CIE Lab*) para extrair robustamente a partícula do fundo, ignorando sombras e reflexos.
• Reconstrução 3D: Uso de interseção ortogonal de silhuetas para estimar o volume. O algoritmo inclui calibração de escala (usando uma bola de referência) e correções sistemáticas para superestimação de volume devido à resolução da imagem e à natureza da projeção.

B. Segmentação 2D Automatizada para Pilhas de Agregados

• Abordagem: Uso de Deep Learning para segmentação de instâncias em imagens 2D de pilhas densas.
• Arquitetura: Implementação e treinamento do Mask R-CNN em um conjunto de dados personalizado contendo 164 imagens de pilhas com 11.795 partículas rotuladas manualmente.
• Análise Morfológica: Após a segmentação, calculam-se métricas como diâmetro equivalente e Razão de Achata e Alongamento (FER) para gerar distribuições de tamanho e forma.

C. Análise 3D Integrada (Reconstrução-Segmentação-Completamento)

Esta é a contribuição mais avançada, composta por três módulos interconectados:

1. Biblioteca de Partículas 3D e Reconstrução:
   • Desenvolvimento de um método de fotogrametria baseado em marcadores para reconstruir modelos 3D completos (malhas) de agregados individuais com alta fidelidade.
   • Criação de uma biblioteca de 82 partículas (RR3 e RR4) para servir como base de dados.
   • Análise comparativa mostrando que métricas 2D (de uma única vista) não representam fielmente as propriedades 3D reais.
2. Geração de Dados Sintéticos:
   • Como rotular dados 3D densos manualmente é inviável, criou-se um pipeline de geração de dados sintéticos usando o motor gráfico Unity.
   • Simulação de física (gravidade) para formar pilhas realistas a partir da biblioteca 3D.
   • Uso de técnicas de Raycasting (simulando sensores LiDAR) para extrair nuvens de pontos 3D com rótulos de instância "ground-truth" perfeitos. Foram gerados 300 cenários de pilhas com mais de 105.000 agregados.
3. Segmentação e Completamento de Forma 3D:
   • Segmentação: Treinamento da rede PointGroup (baseada em agrupamento de coordenadas deslocadas) na nuvem de pontos sintética para segmentar instâncias individuais em pilhas densas.
   • Completamento de Forma (Shape Completion): Treinamento da rede SnowflakeNet para prever as partes ocultas de cada partícula segmentada, aprendendo pares de formas "parcial-completa" gerados por varredura de visibilidade variável.

3. Contribuições Principais

1. Framework Multi-Cenário: A primeira solução abrangente que cobre agregados individuais, pilhas 2D e pilhas 3D em condições de campo.
2. Sistema de Campo Portátil: Um método de baixo custo e alta precisão para medição volumétrica de pedras individuais, superando métodos manuais.
3. Pipeline de Dados Sintéticos para Agregados: Uma metodologia inovadora para gerar dados de treinamento 3D com rótulos perfeitos para agregados densamente empilhados, contornando a dificuldade de rotulagem manual.
4. Abordagem de Completamento de Forma: A aplicação de redes de completamento de forma (como SnowflakeNet) para inferir a geometria oculta de agregados em pilhas, permitindo uma análise morfológica mais completa do que apenas a superfície visível.
5. Método de Limiar de Porcentagem de Forma (SP): Desenvolvimento de um indicador quantitativo (Shape Percentage) para filtrar resultados de baixa confiança (partículas muito ocluídas), melhorando significativamente a precisão das estimativas de volume e peso.

4. Resultados e Validação

Os resultados foram validados contra medições de "ground-truth" (peso real, volume por deslocamento de água e medições manuais) em pedreiras e laboratórios:

• Agregados Individuais:
  • O método de reconstrução volumétrica alcançou um erro médio percentual absoluto (MAPE) de 3,6% para volume e 7,9% para peso.
  • Comparado ao método manual (MAPE de 68,3%), a abordagem de imagem reduziu drasticamente o erro para 8,2%.
• Segmentação 2D (Pilhas):
  • O modelo Mask R-CNN alcançou 88% de completude (capacidade de detectar partículas) e 86,7% de precisão (IoU) em imagens de pilhas densas.
• Segmentação e Completamento 3D:
  • A rede de segmentação 3D alcançou 78,4% de completude e 82,2% de precisão IoU em dados de teste sintéticos.
  • A rede de completamento de forma demonstrou alta precisão em métricas macroscópicas (MAPE < 2,5% para formas conhecidas e < 5% para formas nunca vistas).
• Validação de Campo (Framework Integrado):
  • Aplicado em pilhas reais (reengenharia e campo), o framework mostrou boa generalização.
  • Observou-se uma subestimação sistemática de volume (cerca de 30-40% sem correção) devido à oclusão e à natureza probabilística do completamento.
  • A aplicação do Limiar de Porcentagem de Forma (SP = 75%) reduziu o erro sistemático de volume/peso para 15-20%, permitindo uma correção uniforme independente da configuração da pilha.

5. Significado e Impacto

• Avanço Tecnológico: Preenche a lacuna entre sistemas de laboratório e condições de campo, estendendo a análise de imagem para agregados de grande porte (ripap), que antes dependiam quase exclusivamente de inspeção visual.
• Eficiência Operacional: Substitui processos demorados e perigosos de medição manual por soluções automatizadas, rápidas e seguras para controle de qualidade (QA/QC) em pedreiras e obras civis.
• Precisão e Confiabilidade: Fornece dados quantitativos objetivos sobre a morfologia dos agregados, permitindo melhorias no design de misturas asfálticas, concreto e estruturas de proteção contra erosão.
• Escalabilidade: A metodologia baseada em aprendizado profundo e dados sintéticos pode ser adaptada para outras escalas de agregados (como lastro ferroviário) e integrada com tecnologias emergentes como drones (UAV) e sensores LiDAR.

Em resumo, esta tese estabelece um novo padrão para a caracterização de agregados, transformando a inspeção de campo de uma tarefa subjetiva e manual em um processo quantitativo, automatizado e baseado em dados 3D robustos.