Knowledge-Driven Dimension Estimation from a Single Image -3D Asset Generation Technology for Digital Twin Construction

Resumen Técnico: Estimación de Dimensiones Basada en el Conocimiento a partir de una Única Imagen

Declaración del Problema
La verificación de las cámaras instaladas en vehículos para la conducción autónoma depende cada vez más de las simulaciones de gemelos digitales. Sin embargo, existe una brecha crítica entre los entornos virtuales y los reales: aunque los objetos virtuales pueden parecer visualmente similares, sus dimensiones métricas a menudo no coinciden con la realidad. Esta discrepancia reduce la precisión de la verificación, ya que la distancia de detección de una señal en una simulación depende fuertemente de su escala física.

Los métodos actuales para la construcción de gemelos digitales, como LiDAR o cámaras estéreo, tienen dificultades para capturar la infraestructura vial elevada (por ejemplo, señales de guía aéreas) con la fidelidad suficiente debido a las limitaciones de los sensores montados en el vehículo. Además, la adquisición de nuevas nubes de puntos de gran altura es costosa, y la medición manual de numerosos activos elevados es poco práctica. Por consiguiente, existe la necesidad de un método para estimar la escala absoluta de tales objetos a partir de una única imagen monocular cuando los datos de la nube de puntos son incompletos o no están disponibles, sin depender únicamente del realismo visual, que a menudo carece de precisión métrica.

Metodología
Los autores proponen un marco basado en el conocimiento que descompone una señal de tráfico objetivo en elementos estructurales para estimar su escala y generar un activo 3D. El flujo de trabajo consta de tres etapas principales:

1. Extracción y Detección de Partes:
   El sistema primero detecta la señal de tráfico objetivo en una imagen monocular. Luego emplea un modelo de detección de objetos entrenado a medida (basado en YOLO) para identificar componentes estructurales específicos, incluyendo la placa de la señal, el poste de soporte, el poste de conexión, las flechas y los indicadores de número de ruta. Para entrenar este modelo, se creó un conjunto de datos mediante la anotación manual de regiones de componentes, incluyendo transformaciones de perspectiva para elementos planos como flechas y números de ruta.

2. Estimación de Tamaño Basada en el Conocimiento:
   Una vez detectadas las partes, sus dimensiones en píxeles se convierten a escala del mundo real utilizando dos estrategias complementarias:

   • Catálogo de Datos de Partes: El sistema hace referencia a una base de datos de dimensiones estandarizadas para componentes específicos (por ejemplo, el ancho de la flecha, la altura del carácter, el tamaño de la señal del número de ruta) derivadas de las directrices de diseño nacionales y locales. Al comparar el tamaño de píxeles detectado de un componente conocido con su dimensión estándar registrada, el sistema estima la escala para esa parte específica.
   • Catálogo de Datos de Diseño (Mecanismo de Seguridad/Fail-Safe): Para mitigar los errores de detección causados por la oclusión, el ruido o la iluminación, el sistema coteja los componentes detectados con un catálogo de dibujos de diseño. Este catálogo almacena parámetros estructurales y relaciones proporcionales (por ejemplo, la relación entre el diámetro de la columna y la longitud, o la distancia entre postes respecto al ancho de la señal). Si una estimación directa de tamaño se desvía significativamente de los estándares, el sistema valida las proporciones de detección contra estas especificaciones de diseño. Si las proporciones coinciden con un registro de diseño conocido, el sistema infiere las dimensiones de toda la estructura basándose en dicho registro, garantizando la robustez incluso con una detección incompleta.

3. Generación de Objetos 3D:
   A diferencia de los enfoques generativos que producen una malla única y monolítica, este método reconstruye el objeto a nivel de componente. Utilizando las dimensiones estimadas y la información de diseño, se generan paramétricamente primitivas geométricas básicas (cilindros, planos) para cada parte. Estos objetos 3D independientes se ensamblan de acuerdo con las relaciones estructurales definidas en los datos de diseño, resultando en un activo 3D modular.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Marco Basado en el Conocimiento: Un enfoque novedoso para estimar la escala real de las señales de tráfico a partir de imágenes monoculares, abordando específicamente escenarios donde la adquisición de nubes de puntos de gran altura es difícil.
2. Estimación de Tamaño Robusta: Un método que descompone los objetos en partes y utiliza tanto "Catálogos de Datos de Partes" (dimensiones de componentes estandarizados) como "Catálogos de Datos de Diseño" (razones estructurales) para lograr una estimación dimensional con seguridad ante fallos.
3. Reconstrucción 3D Modular: Una técnica para generar activos 3D a nivel de parte en lugar de como una sola malla. Esto mejora la capacidad de edición y reutilización dentro de los espacios de gemelos digitales, asegurando la consistencia de escala para la verificación de cámaras en vehículos.

Resultados y Significado
El método propuesto construye con éxito activos 3D con dimensiones que se aproximan al entorno real mediante el aprovechamiento del conocimiento externo sobre las reglas de diseño y las relaciones geométricas. El sistema logró una precisión de detección superior al 80% para los componentes objetivo en el conjunto de datos construido.

El significado de este trabajo reside en su capacidad para impartir consistencia dimensional, no solo similitud visual, a los gemelos digitales. Al vincular la detección a nivel de componente con los datos de diseño, el método proporciona una base clara para la estimación de dimensiones y permite el análisis de errores, una característica que carecen los métodos de generación 3D basados actualmente en la apariencia visual. Los activos 3D resultantes son adecuados para mejorar la precisión de la verificación de los sistemas de conducción autónoma en entornos virtuales, particularmente para escenarios que involucran infraestructura elevada donde la detección tradicional falla.

Limitaciones y Trabajo Futuro
Los autores señalan que el marco actual asume objetos con diseños estandarizados y estima principalmente la escala para componentes en el mismo plano o profundidad. Los componentes en diferentes profundidades requieren una estimación de profundidad (por ejemplo, mediante cámaras estéreo) para corregir la proyección de perspectiva, lo cual se identifica como una tarea futura. El trabajo futuro también incluye la evaluación cuantitativa utilizando datos diversos del mundo real, la formalización de medidas de incertidumbre para la selección de referencias y la expansión de la base de conocimientos de diseño para dar cabida a una gama más amplia de objetos objetivo.