HS-3D-NeRF: 3D Surface and Hyperspectral Reconstruction From Stationary Hyperspectral Images Using Multi-Channel NeRFs

Este artículo presenta HSI-SC-NeRF, un marco de redes neuronales de campos radiantes (NeRF) de múltiples canales diseñado para la reconstrucción 3D y espectral de productos agrícolas mediante una cámara estacionaria y un objeto rotatorio, superando las limitaciones de hardware de los sistemas tradicionales para su integración en flujos de trabajo automatizados de inspección postcosecha.

Lo esencial

¡Claro que sí! Imagina que quieres crear un "gemelo digital" perfecto de una manzana, una mazorca de maíz o una pera. Pero no solo quieres ver cómo se ve por fuera; quieres poder "tocarla" con los ojos, ver si está madura, si tiene un golpe interno o si le falta agua, todo en 3D y en alta definición.

Aquí te explico cómo lo lograron los investigadores de la Universidad Estatal de Iowa con su nueva tecnología, HSI-3D-NeRF, usando una analogía sencilla.

🍎 El Problema: La Cámara que se Mueve es un "Trabajo de Circo"

Antes, para hacer un modelo 3D de un objeto con una cámara especial (que ve más que el ojo humano, como un "super-ojo" que detecta químicos), tenías que mover la cámara alrededor del objeto, como un bailarín dando vueltas.

• El problema: Esto es lento, difícil de sincronizar y requiere maquinaria compleja. Imagina intentar tomarle fotos a una manzana mientras tú mismo te mueves en círculos a su alrededor; es fácil que te marees o que la iluminación cambie. Además, en una fábrica de alimentos, no puedes detener la cinta transportadora para que un robot baile alrededor de cada fruta.

🔄 La Solución: ¡Que gire la fruta, no la cámara!

Los autores tuvieron una idea brillante: "Si no puedo mover la cámara, haré que la fruta gire".

Imagina un escenario de teatro:

1. El Escenario (La Cámara): Hay una cámara súper potente y fija, como una estatua en el centro de la habitación. No se mueve ni un milímetro.
2. El Actor (La Fruta): La fruta se coloca en una mesa giratoria (un plato giratorio) dentro de una caja especial hecha de Teflón (un material blanco y suave, como el de las sartenes antiadherentes).
3. La Iluminación: Las paredes de Teflón actúan como un "espejo difuso". Cuando las luces se encienden, rebotan en las paredes y bañan a la fruta en una luz suave y uniforme, sin sombras duras. Es como estar dentro de una nube blanca brillante.

Mientras la fruta gira lentamente (como un trofeo en una vitrina), la cámara fija toma cientos de fotos desde diferentes ángulos sin moverse.

🧠 El Cerebro Digital: El "NeRF" (El Chef de la Realidad)

Aquí entra la magia de la Inteligencia Artificial, llamada NeRF (Campos de Radiación Neuronal).

• La Analogía del Chef: Imagina que tienes 60 fotos de una manzana desde diferentes ángulos, pero son fotos "espectrales" (ven colores que el ojo humano no ve, como el infrarrojo).
• El NeRF es como un chef genial que, viendo esas fotos, no solo dibuja la forma de la manzana, sino que imagina cómo es por dentro y por fuera en cada punto.
• Aprende a "cocinar" un modelo 3D donde cada píxel no solo tiene un color (rojo, verde), sino una huella digital química. Puede decirte: "Este punto de la cáscara tiene mucha clorofila (está verde)", "Aquí hay un golpe (está moreno)" o "Esta parte tiene mucha agua".

🛠️ ¿Cómo lo hacen funcionar sin mover la cámara?

Como la cámara está quieta, la computadora necesita saber exactamente dónde estaba la fruta en cada foto.

• Los Marcadores (ArUco): Ponen pegatinas especiales (como códigos QR) en la mesa giratoria. La computadora los ve y dice: "¡Ah! En esta foto la manzana giró 5 grados a la izquierda".
• El Entrenamiento en Dos Etapas:
  1. Boceto (Geometría): Primero, la IA aprende la forma básica de la fruta (¿es redonda? ¿tiene puntas?).
  2. Refinamiento (Química): Luego, se enfoca en los detalles químicos, ajustando los colores y las señales espectrales para que sean perfectos.

🌽 ¿Para qué sirve esto en la vida real?

Imagina una fábrica de empaquetado de frutas. En lugar de solo pesar la fruta, esta tecnología podría:

1. Detectar golpes invisibles: Ver un moretón interno antes de que la manzana se ponga negra.
2. Medir la madurez: Saber exactamente cuándo una pera está lista para comerse, no solo por su color, sino por su contenido de azúcar y agua.
3. Ahorrar dinero: Separar las frutas malas de las buenas automáticamente, reduciendo el desperdicio.

En resumen

Este paper presenta una forma inteligente de crear gemelos digitales 3D de frutas que no solo se ven reales, sino que "saben" de química. En lugar de mover una cámara complicada alrededor de la fruta (lo cual es lento y caro), hacen girar la fruta en una caja de luz perfecta y usan una IA muy lista para reconstruir todo el objeto, píxel por píxel, incluyendo sus secretos químicos.

Es como si pudieras tomar una foto de una manzana y, al instante, tener un modelo 3D en tu computadora donde pudieras hacer zoom en un punto y decir: "Esta parte tiene un golpe", sin tener que tocar la fruta ni romperla. ¡Es el futuro de la agricultura de precisión!

Resumen técnico

Resumen Técnico: HS-3D-NeRF

1. Problema y Motivación

La caracterización de alto rendimiento de fenotipos vegetales y la calidad de productos agrícolas requiere la integración de información espacial (3D) y espectral (bioquímica).

• Limitaciones actuales: Los métodos tradicionales de imagen hiperespectral (HSI) generan datos 2D, lo que impide un análisis morfológico preciso debido a la oclusión y la curvatura de la superficie. Las técnicas existentes para integrar HSI con reconstrucción 3D (como SfM, MVS o LiDAR) suelen requerir configuraciones de hardware complejas, costosas y de bajo rendimiento, o el uso de cámaras móviles que son difíciles de sincronizar en entornos agrícolas automatizados.
• Desafío de los NeRFs: Aunque los Campos de Radiación Neurales (NeRF) ofrecen una reconstrucción 3D robusta, las implementaciones convencionales requieren mover la cámara alrededor del objeto, lo cual es logísticamente inviable para sistemas de inspección post-cosecha de alto volumen.

2. Metodología Propuesta: HS-3D-NeRF

Los autores proponen HSI-SC-NeRF, un marco de trabajo que permite la reconstrucción 3D hiperespectral utilizando una cámara fija y un objeto en rotación. El flujo de trabajo consta de tres etapas principales:

A. Adquisición de Datos y Configuración Experimental

• Entorno: Se utiliza una cámara hiperespectral fija (SPECIM IQ, 204 bandas, 400-1000 nm) montada en un trípode.
• Muestrario: El objeto (fruta, espiga de maíz, etc.) gira sobre una plataforma motorizada dentro de una cámara de imagen personalizada fabricada con Teflón (PTFE).
• Iluminación: Las paredes de Teflón y 12 lámparas halógenas crean una iluminación difusa y uniforme, esencial para mediciones de reflectancia consistentes.
• Marcadores: Se utilizan marcadores ArUco en el objeto y en la plataforma para la estimación de poses.

B. Preprocesamiento

• Calibración Espectral: Se aplica una calibración basada en una referencia blanca (White Reference - WR) para corregir sesgos de iluminación dependientes de la longitud de onda. Se utiliza un algoritmo para generar máscaras espaciales automáticas que excluyen bordes inestables, normalizando los cubos hiperespectrales.
• Estimación de Pose: Se emplea COLMAP (con SIFT y GPU) para extraer características y estimar las poses de la cámara. Dado que la cámara es fija, las poses se calculan transformando el sistema de coordenadas del objeto (basado en los marcadores ArUco) al marco de referencia de la cámara mediante transformaciones de pose simuladas.

C. Reconstrucción Basada en NeRF Multi-Canal

• Arquitectura: Se basa en la tubería nerfacto de NeRFStudio, modificada para predecir vectores de radiación de $n$ canales (espectro completo) en lugar de RGB.
• Formulación: El modelo predice un vector de radiación hiperespectral $\mathbf{c}_\lambda$ y una transmitancia escalar invariante a la longitud de onda $\bar{\sigma}$.
• Protocolo de Entrenamiento en Dos Etapas:
  1. Inicialización (Pre-entrenamiento): Entrenamiento en cuadros completos (full-frame) para establecer la geometría y una alineación espectral gruesa.
  2. Refinamiento (Fine-tuning): Entrenamiento utilizando máscaras de primer plano (ROI) para concentrar la optimización en los píxeles del objeto, desactivando la optimización de la cámara para evitar que los errores radiométricos se absorban en la pose.
• Función de Pérdida: Se utiliza una pérdida compuesta que incluye:
  • Pérdida de fidelidad espectral (MSE).
  • Pérdida angular espectral (SAM) para preservar la forma del espectro.
  • Pérdidas de regularización estándar de NeRF (distorsión, orientación, normales).

3. Contribuciones Clave

1. Pipeline de Cámara Fija: Un sistema que elimina la necesidad de rigs de cámaras móviles complejos, utilizando rotación de objetos y marcadores ArUco para la adquisición multi-vista.
2. Cámara de Iluminación Difusa: Un diseño de cámara de Teflón que garantiza una iluminación uniforme y repetible, crucial para la consistencia espectral.
3. Formulación NeRF Multi-Canal: Una extensión del NeRF que optimiza conjuntamente la geometría y la fidelidad espectral a través de todas las bandas hiperespectrales mediante una pérdida compuesta y un protocolo de entrenamiento de dos etapas.
4. Validación Cuantitativa: Demostración de alta precisión espacial y fidelidad espectral en tres tipos de productos agrícolas (manzana, pera, maíz).

4. Resultados y Evaluación

El método fue evaluado en tres muestras agrícolas (manzana, pera y espiga de maíz) con 204 bandas espectrales.

• Precisión Espacial: La reconstrucción de la espiga de maíz logró un F-score del 97.31% (con un umbral de distancia de 2 mm) comparado con un modelo de referencia obtenido mediante una cámara RGB móvil, demostrando una alta fidelidad geométrica.
• Fidelidad Espectral:
  • SAM (Spectral Angle Mapper): Valores muy bajos (< 0.07 rad), indicando una excelente coincidencia en la forma espectral.
  • RMSE Espectral: Bajo error absoluto por banda.
  • PSNR/SSIM: Valores competitivos con benchmarks de NeRF estándar, aunque se enfatiza que SAM y RMSE son las métricas primarias para HSI.
• Análisis de Ablación (Pesos de Pérdida): Se encontró que la combinación óptima de pesos de pérdida depende de la etapa:
  • En el pre-entrenamiento, una supervisión dominada por el ángulo (forma espectral) estabiliza la geometría.
  • En el refinamiento (fine-tuning), una supervisión dominada por la magnitud (intensidad) con máscaras de primer plano produce la mejor fidelidad espectral final. La configuración óptima encontrada fue $(\lambda_{ang}=0.25, \lambda_{hsi}=0.75)$.
• Visualización Aplicada: La reconstrucción permite seleccionar bandas específicas para resaltar defectos (ej. moretones en manzanas en 801 nm) o estados fisiológicos (contenido de agua en peras en 980 nm), mejorando la separabilidad espectral entre tejidos sanos y dañados.

5. Significado e Impacto

• Escalabilidad Agrícola: HS-3D-NeRF resuelve el cuello de botella logístico de la inspección post-cosecha al eliminar el movimiento de la cámara, permitiendo una integración más fácil en líneas de producción automatizadas.
• Diagnóstico No Destructivo: Facilita la detección temprana de enfermedades, estrés hídrico y daños físicos mediante el análisis combinado de la forma 3D y la firma bioquímica espectral.
• Avance Científico: Proporciona un método robusto para capturar datos espectrales físicamente significativos en 3D, de interés tanto para la comunidad agrícola como para la de gráficos por computadora.
• Limitaciones Futuras: El método asume objetos rígidos y es sensible a la iluminación no uniforme (sombras), lo que sugiere direcciones futuras para técnicas de descomposición de iluminación y manejo de objetos deformables.

En conclusión, este trabajo demuestra la viabilidad de integrar la imagen hiperespectral y la reconstrucción 3D en flujos de trabajo agrícolas automatizados, ofreciendo una herramienta poderosa para la mejora genética, la monitorización de la cadena de suministro y la reducción de desperdicios.