Resumen Técnico: Renderizado Inverso Robusto a la Iluminación Ambiental mediante Imagen RGB-NIR Activa

Enunciado del Problema

El renderizado inverso busca reconstruir la geometría y la reflectancia de objetos a partir de imágenes. Sin embargo, los métodos existentes luchan significativamente bajo iluminación ambiental no controlada. Los enfoques pasivos que dependen exclusivamente de imágenes RGB enfrentan ambigüedades inherentes entre la reflectancia de la superficie y la iluminación ambiental, lo que conduce a reconstrucciones inconsistentes e inexactas. Aunque las técnicas de iluminación activa pueden resolver estas ambigüedades, los sistemas tradicionales de flash de luz visible son poco prácticos para escenarios "en la naturaleza" porque la luz visible fuerte perturba a los observadores humanos y al entorno, requiriendo típicamente condiciones de cámara oscura.

Metodología

Los autores proponen un marco de renderizado inverso robusto a la iluminación ambiental que aprovecha la imagen RGB-NIR activa. La idea central es que la luz del Infrarrojo Cercano (NIR) es imperceptible para los humanos, lo que permite el uso de una iluminación de flash NIR fuerte y controlada sin perturbar la escena. Esto proporciona una sombreado de luz puntual estable que permanece invariante ante las condiciones de iluminación ambiental, mientras se capturan simultáneamente imágenes RGB iluminadas naturalmente para la reflectancia del espectro visible.

El sistema y el algoritmo operan a través de los siguientes componentes:

1. Sistema de Imagen Activa

Los autores desarrollaron una plataforma robótica móvil compuesta por:

• Una base móvil de cuatro ruedas (AgileX Ranger Mini V2).
• Un brazo robótico (AgileX Piper) montado con una cámara RGB-NIR alineada en píxeles (JAI FS-1600) y un flash NIR sincronizado (Advanced Illumination AL295).
• Operación: El sistema escanea objetos de forma autónoma moviendo la base en una trayectoria circular y variando la elevación del brazo. Captura imágenes de Alto Rango Dinámico (HDR) con y sin el flash NIR.
• Procesamiento de Datos: La imagen solo con flash NIR ($I_{NIR}$) se aísla restando la imagen NIR solo con ambiente ($I_{NIR-off}$) de la imagen con flash activado ($I_{NIR-on}$). Las máscaras de objetos se generan utilizando SAM3, y las poses de la cámara se estiman mediante COLMAP.

2. Pipeline de Renderizado Inverso de Tres Etapas

El proceso de reconstrucción se divide en tres etapas secuenciales para garantizar la robustez:

• Etapa 1: Inicialización de Geometría

  • Utiliza imágenes RGB ambientales multivista para inicializar la geometría de la escena.
  • Emplea Gaussian Splatting 2D para representar la escena, optimizando los parámetros geométricos (centro, escala, rotación, opacidad) y la radiancia dependiente de la vista.
  • Los parámetros de radiancia se descartan después de esta etapa; solo se retiene la estructura geométrica.

• Etapa 2: Renderizado Inverso con Flash NIR (La Innovación Central)

  • Utiliza imágenes de flash NIR multivista para refinar la geometría y estimar la reflectancia NIR.
  • Dado que el flash NIR domina la escena, la sombreado es estable y robusto ante variaciones ambientales.
  • Modelado: La reflectancia NIR se modela utilizando una formulación de BRDF basada en bases (suma ponderada de BRDFs Disney). El sistema optimiza el albedo difuso NIR, la rugosidad y los parámetros metálicos para cada Gaussiana.
  • Transferencia Espectral Cruzada: Se asume que los parámetros estimados de rugosidad y metalicidad son independientes de la longitud de onda (propiedades de microgeometría y tipo de material). Estos se comparten con la etapa RGB subsiguiente para restringir el espacio de soluciones.

• Etapa 3: Renderizado Inverso del Entorno RGB

  • Recupera el albedo difuso RGB y el mapa de entorno RGB utilizando las imágenes RGB ambientales multivista.
  • La geometría, la rugosidad y los parámetros metálicos se fijan desde la Etapa 2.
  • Renderizado: Utiliza una integración Monte Carlo basada en física con Muestreo de Importancia Múltiple (MIS) para resolver la ecuación de renderizado, separando la iluminación ambiental directa de la iluminación indirecta.
  • Regularización: Una función de pérdida específica sensible a los bordes utiliza el albedo NIR libre de sombras para guiar la estimación del albedo RGB, evitando que las sombras se "horneen" en la textura difusa.

Contribuciones Clave

1. Marco Robusto a la Iluminación Ambiental: Un método de renderizado inverso RGB-NIR de tres etapas que utiliza un flash NIR activo para desacoplar la estimación de geometría y reflectancia de la iluminación ambiental no controlada.
2. Sistema de Imagen Activa Automatizado: Una plataforma robótica móvil capaz de captura multivista densa y centrada en objetos de datos RGB-NIR sincronizados sin perturbar el entorno ni a los observadores.
3. Dataset de Renderizado Inverso RGB-NIR: El primer dataset de su tipo, que contiene imágenes RGB-NIR multivista (con y sin flash) capturadas bajo múltiples condiciones de iluminación ambiental tanto para escenas del mundo real como sintéticas.

Resultados y Evaluación

El método fue evaluado tanto en conjuntos de datos sintéticos (Mitsuba 3) como del mundo real en diversos entornos de iluminación.

• Rendimiento Cuantitativo: El método propuesto supera significativamente a los métodos pasivos RGB de última generación (por ejemplo, NeILF, TensoIR, GS-IR, R3DG, IRGS) y a los métodos activos RGB (por ejemplo, WildLight) en términos de PSNR, SSIM, LPIPS y error geométrico (RMSE, MAE).
• Robustez Ambiental: El sistema produce estimaciones consistentes de reflectancia y mapa de entorno a través de cuatro condiciones de iluminación interiores y exteriores diferentes, mientras que los métodos pasivos no logran desentrañar la iluminación de las propiedades del material.
• Reiluminación: Los activos PBR reconstruidos permiten una reiluminación realista bajo configuraciones de iluminación novedosas, demostrando destellos especulares y sombreado naturales.
• Estudios de Ablación:
  • Eliminar la etapa de flash NIR (Etapa 2) provoca una caída sustancial en la precisión, confirmando la necesidad de un sombreado de luz puntual NIR controlado.
  • El método permanece robusto a través de diferentes tipos de materiales (difusos, especulares, metálicos) y complejidades de escena (múltiples objetos).

Significado y Afirmaciones

El artículo afirma abordar la limitación crítica de la sensibilidad ambiental en el renderizado inverso. Al aprovechar la imperceptibilidad de la luz NIR, los autores demuestran que es posible lograr una reconstrucción de escenas precisa, automática y robusta en entornos cotidianos sin necesidad de cámaras oscuras ni iluminación visible intrusiva. El trabajo establece un nuevo referente para el renderizado inverso bajo iluminación no controlada y proporciona la infraestructura de hardware y datos necesaria para avanzar en el campo. Los autores posicionan esto como un paso hacia la reconstrucción de escenas práctica, automática y robusta para aplicaciones del mundo real.