Field imaging framework for morphological characterization of aggregates with computer vision: Algorithms and applications

Esta tesis doctoral presenta un marco de imagen de campo integral que combina sistemas de captura, algoritmos de segmentación y redes neuronales de reconstrucción 3D para superar las limitaciones de los métodos actuales y permitir la caracterización morfológica automatizada y precisa de agregados de construcción en diversos escenarios, desde partículas individuales hasta pilas de stock.

Lo esencial

Imagina que la construcción de carreteras, puentes y edificios es como cocinar un pastel gigante. Los agregados (piedras, grava, riprap) son los ingredientes principales: la harina y el azúcar. Si los ingredientes no tienen el tamaño o la forma correcta, el pastel se derrumba.

El problema es que, en el mundo real, los ingenieros a menudo tienen que medir estas piedras gigantes (algunas pesan más de 500 kg) a mano. Es como intentar adivinar el peso de una roca solo mirándola o usando una cinta métrica mientras un camión la mueve. Es lento, cansado y, a veces, muy inexacto.

Esta tesis doctoral, escrita por Haohang Huang, es como un "superpoder" de visión por computadora para resolver este problema. El autor creó un sistema inteligente que usa cámaras y algoritmos para "ver" y medir estas piedras automáticamente, incluso cuando están amontonadas en grandes montones.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Sistema de "Ojos Mágicos" (El Marco de Trabajo)

El autor desarrolló un sistema que funciona en tres niveles de complejidad, dependiendo de qué tan difícil sea la tarea:

• Nivel 1: La Piedra Solitaria (Reconstrucción Volumétrica)

  • La analogía: Imagina que tienes una piedra rara en tu mano. En lugar de pesarla en una báscula gigante, le tomas tres fotos desde arriba, frente y lado (como si la estuvieras girando).
  • El truco: El software usa estas fotos para "construir" una copia digital 3D de la piedra en la computadora. Luego, calcula su volumen y peso con una precisión increíble (casi tan buena como una báscula real), incluso si hay sombras o sol fuerte. Es como si la computadora pudiera "sentir" el peso de la piedra solo viéndola.

• Nivel 2: El Montón Desordenado (Segmentación 2D)

  • La analogía: Ahora imagina un montón de piedras apiladas en un patio, como una montaña de canicas. Es difícil decir dónde termina una piedra y empieza otra.
  • El truco: El sistema usa una tecnología llamada Inteligencia Artificial (Deep Learning). Piensa en esto como un niño muy inteligente que ha visto miles de fotos de montones de piedras. Le enseñas a la computadora qué es una piedra y qué no. Luego, la computadora mira la foto del montón y "pinta" cada piedra con un color diferente, separándolas automáticamente. Es como si la computadora pudiera ver a través del caos y decirte: "Aquí hay 500 piedras, y esta es la forma de cada una".

• Nivel 3: El Montón en 3D (Reconstrucción, Segmentación y Completado)

  • La analogía: Este es el nivel más avanzado. Imagina que miras un montón de piedras y solo ves la parte de arriba. La parte de abajo está oculta. Es como ver a una persona en una multitud; solo ves su cabeza, no sus pies.
  • El truco: El sistema hace tres cosas:
    1. Reconstruye: Crea un mapa 3D del montón usando muchas fotos tomadas desde diferentes ángulos (como un dron volando alrededor).
    2. Segmenta: Separa las piedras individuales en ese mapa 3D.
    3. Completado: ¡Aquí viene la magia! Como no puedes ver la parte oculta de la piedra, el sistema adivina cómo se ve la parte de atrás basándose en lo que sí ve. Es como si tuvieras una foto de un coche de lado y el sistema pudiera dibujar el otro lado del coche con tanta precisión que parecería real.

2. ¿Por qué es tan importante?

Antes de este trabajo, medir estas piedras gigantes era como tratar de adivinar el contenido de una caja cerrada solo golpeándola.

• Antes: Los ingenieros usaban reglas y ojos cansados. Era lento, peligroso (tienen que mover piedras pesadas) y subjetivo (dependía de quién mirara).
• Ahora: Con este sistema, pueden tomar fotos con un teléfono o una cámara, y en minutos tener un reporte detallado de cuántas piedras hay, qué tan grandes son, qué forma tienen y cuánto pesan.

3. El "Secreto" de los Datos Falsos (Datos Sintéticos)

Una parte genial de la investigación es cómo entrenó a la computadora. Para enseñarle a la IA a reconocer piedras en un montón, necesitaría miles de fotos reales donde alguien haya marcado cada piedra a mano (lo cual tomaría años).

• La solución: El autor creó un mundo virtual. Usó modelos 3D de piedras reales y las dejó caer en una simulación de computadora para formar montones. La computadora "sabe" exactamente dónde está cada piedra en este mundo falso.
• El resultado: Entrenó a la IA con este mundo falso y luego la probó en el mundo real. ¡Funcionó perfectamente! Es como entrenar a un piloto de avión en un simulador antes de que vuele de verdad.

En resumen

Esta tesis es como darles a los ingenieros de construcción unas gafas de realidad aumentada que pueden ver el tamaño, la forma y el peso de las piedras en un instante.

• Para las piedras solitarias: Las mide con precisión quirúrgica.
• Para los montones: Separa las piedras como si fuera un mago separando cartas.
• Para lo que no se ve: Imagina la parte oculta de las piedras con una inteligencia sorprendente.

Esto permite construir carreteras y puentes más seguros, más baratos y más rápido, porque ahora sabemos exactamente qué materiales estamos usando, sin tener que mover montañas de piedra a mano.

Resumen técnico

Aquí tienes un resumen técnico detallado de la disertación en español, basado en el documento proporcionado:

Título: Marco de Imagen de Campo para la Caracterización Morfológica de Agregados con Visión por Computadora: Algoritmos y Aplicaciones

Autor: Haohang Huang
Institución: Universidad de Illinois en Urbana-Champaign (2021)

---

1. Planteamiento del Problema

Los agregados de construcción (arena, grava, piedra triturada y riprap) son fundamentales para la infraestructura civil. Sin embargo, la caracterización de sus propiedades morfológicas (tamaño, forma, volumen/peso) presenta desafíos significativos, especialmente para agregados de gran tamaño (riprap) utilizados en ingeniería hidráulica y protección de taludes.

• Limitaciones de los métodos actuales:
  • Práctica actual (State-of-the-Practice): Se basa en inspección visual subjetiva y mediciones manuales (uso de calibres, pesaje individual o métodos de conteo como Wolman). Estos métodos son intensivos en mano de obra, lentos, subjetivos y no capturan la morfología completa (especialmente en 3D).
  • Tecnología de vanguardia (State-of-the-Art): Los sistemas de imagen existentes funcionan bien en laboratorio para agregados pequeños y separados, pero fallan en condiciones de campo debido a la iluminación variable, el fondo desordenado y la incapacidad de manejar agregados densamente apilados o superpuestos.
• Necesidad crítica: Existe una falta urgente de métodos flexibles, objetivos y eficientes para caracterizar agregados grandes en su estado natural (en pilas de almacenamiento o capas construidas), tanto en 2D como en 3D.

2. Metodología Propuesta

La tesis propone un Marco de Imagen de Campo integral que aborda la caracterización en tres niveles de complejidad creciente:

A. Reconstrucción Volumétrica para Agregados Individuales (No Superpuestos)

• Sistema de Adquisición: Diseño de un sistema portátil de campo utilizando tres smartphones para capturar vistas ortogonales (superior, frontal, lateral) de rocas individuales.
• Algoritmos:
  • Segmentación basada en color: Uso del espacio de color CIE Lab* para separar robustamente la roca del fondo bajo condiciones de iluminación variables (sombras, luz solar directa), eliminando el ruido mediante umbralización adaptativa y operaciones morfológicas.
  • Reconstrucción Volumétrica: Algoritmo que utiliza la intersección ortogonal de siluetas 2D para estimar el volumen 3D. Incluye correcciones sistemáticas y basadas en resolución para mitigar la sobreestimación inherente a este método.
• Validación: Comparación contra mediciones de "verdad terrenal" (peso y volumen por desplazamiento de agua) y métodos manuales.

B. Segmentación 2D Automatizada para Pilas de Agregados

• Enfoque: Aplicación de Deep Learning para la segmentación de instancias en imágenes 2D de pilas densamente apiladas.
• Dataset: Creación de un conjunto de datos etiquetado manualmente con 164 imágenes de pilas y 11,795 agregados individuales.
• Arquitectura: Implementación de Mask R-CNN para la detección de objetos y segmentación semántica. El modelo aprende a distinguir partículas individuales incluso cuando están en contacto o superpuestas.
• Análisis Morfológico: Cálculo de diámetros equivalentes y relaciones de aplanamiento y alargamiento (FER) a partir de las máscaras segmentadas, con estimación de volumen basada en suposiciones elipsoidales.

C. Marco Integrado de Reconstrucción-Segmentación-Completado 3D (RSC-3D)

Este es el componente más avanzado, diseñado para analizar pilas de agregados en 3D.

1. Reconstrucción 3D: Desarrollo de un enfoque basado en fotogrametría con marcadores (esfera de calibración y marcadores de fondo) para obtener nubes de puntos de alta fidelidad de pilas completas. Se creó una Biblioteca de Partículas 3D con modelos reales de rocas.
2. Generación de Datos Sintéticos: Dado que etiquetar nubes de puntos 3D densas es inviable manualmente, se desarrolló una tubería (pipeline) en Unity para simular pilas de agregados. Se utilizaron técnicas de raycasting (LIDAR virtual) para extraer nubes de puntos con etiquetas de instancia perfectas (Ground Truth).
3. Segmentación 3D: Entrenamiento de una red neuronal (PointGroup) en los datos sintéticos para segmentar instancias individuales en nubes de puntos reales de campo.
4. Completado de Forma 3D: Implementación de SnowflakeNet para predecir las partes ocultas de los agregados. Se generaron pares de formas "parcial-completa" mediante esquemas de visibilidad variable y raycasting desde múltiples ángulos.
5. Validación de Campo: Aplicación del marco RSC-3D en pilas reingenierizadas (con muestras conocidas) y pilas reales en canteras.

3. Contribuciones Clave

1. Sistema de Imagen Portátil de Campo: Primera solución práctica para la reconstrucción volumétrica de rocas individuales grandes en condiciones de campo no controladas.
2. Segmentación 2D Basada en Deep Learning: Primer enfoque automatizado y robusto para la segmentación de instancias en pilas de agregados densamente apilados, superando las limitaciones de los métodos tradicionales (como Watershed).
3. Pipeline de Datos Sintéticos 3D: Desarrollo de un generador de datos sintéticos realista para entrenamiento de redes 3D, resolviendo el problema de la falta de datos etiquetados en 3D para agregados.
4. Marco RSC-3D Integrado: La primera metodología que combina reconstrucción, segmentación y completado de forma para caracterizar agregados en pilas en condiciones reales.
5. Análisis de Porcentaje de Forma (SP): Introducción de un indicador cuantitativo (Shape Percentage) para evaluar la visibilidad de una partícula y filtrar resultados poco fiables, mejorando significativamente la precisión de las estimaciones de volumen.

4. Resultados Principales

• Agregados Individuales:
  • El método de imagen logró un MAPE (Error Porcentual Absoluto Medio) de 3.6% en volumen y 7.9% en peso, superando drásticamente al método manual (MAPE de 68.3%).
  • Más del 50% de los resultados se encuentran dentro de un margen de error de ±10%.
• Segmentación 2D:
  • El modelo Mask R-CNN alcanzó una completitud del 88% y una precisión (IoU) del 86.7% en imágenes de pilas, demostrando alta robustez frente a sombras y superposiciones.
• Segmentación y Completado 3D:
  • La red de segmentación 3D logró una completitud del 78.4% y una precisión IoU del 82.2% en datos de prueba.
  • La red de completado de forma (SnowflakeNet) predijo formas no vistas con una distancia de Chamfer muy baja (0.00559 mm en el conjunto de prueba).
• Validación de Campo (RSC-3D):
  • Las dimensiones lineales (largo, ancho, alto) mostraron un error MAPE entre 8% y 18%.
  • Se observó una subestimación sistemática del volumen (aprox. 30-40%) debido a la naturaleza probabilística del completado y la occlusión.
  • Solución: Al aplicar un umbral de Porcentaje de Forma (SP) del 75%, el error de volumen se redujo a un rango de 15-20%, permitiendo una corrección uniforme independientemente de la configuración de la pila.

5. Significado e Impacto

• Avance Tecnológico: Cierra la brecha entre los sistemas de laboratorio y las condiciones reales de campo, extendiendo la capacidad de caracterización de agregados desde tamaños pequeños hasta rocas de riprap de cientos de kilogramos.
• Eficiencia Operativa: Reduce drásticamente el tiempo y la mano de obra necesarios para el Control de Calidad (QA/QC) en canteras y obras de construcción, eliminando la necesidad de pesaje manual de rocas individuales.
• Mejora de Especificaciones: Proporciona datos cuantitativos precisos sobre la forma y el tamaño en 3D, lo que podría permitir la actualización de las especificaciones de ingeniería (actualmente basadas solo en peso) para incluir requisitos dimensionales.
• Escalabilidad: El marco es adaptable a diferentes tipos de agregados (incluyendo balasto ferroviario) y puede integrarse con tecnologías emergentes como drones (UAV) y sensores LIDAR para una inspección automatizada completa.

En resumen, esta tesis establece un nuevo estándar para la caracterización de agregados, transformando un proceso manual y subjetivo en uno automatizado, objetivo y basado en datos, con aplicaciones directas en la mejora de la infraestructura civil y la eficiencia de la industria de la construcción.