AgriChrono: A Multi-modal Dataset Capturing Crop Growth and Lighting Variability with a Field Robot

1. El Problema

La reconstrucción 3D precisa de estructuras de cultivos es fundamental para la automatización agrícola consciente de la geometría (como los "Gemelos Digitales Agrícolas"). Sin embargo, existen dos barreras principales que limitan el avance de la IA en este campo:

• Complejidad del Entorno: La mayoría de los métodos actuales de reconstrucción 3D funcionan bien en entornos controlados (interiores), pero fallan en escenarios agrícolas "salvajes" (in-the-wild) debido a la oclusión, la topología delgada de las plantas, los cambios morfológicos no rígidos (crecimiento) y las variaciones dinámicas de iluminación.
• Falta de Datos y Benchmarks: Existe una escasez crítica de conjuntos de datos dedicados y benchmarks estandarizados que capturen el ciclo completo de crecimiento de los cultivos bajo diversas condiciones de iluminación. Los conjuntos de datos existentes suelen ser espaciales (solo navegación), temporales (pocas tomas), o capturados en condiciones estáticas y controladas, lo que impide evaluar la robustez de los modelos en escenarios reales dinámicos.

2. Metodología

Los autores presentan AgriChrono, una solución integral que combina una plataforma robótica modular, un conjunto de datos multimodal masivo y un nuevo benchmark de evaluación.

A. Plataforma Robótica (Hardware y Software)

• Robot: Se utilizó un vehículo terrestre no tripulado (UGV) AgileX Scout 2.0 modificado para operaciones remotas a larga distancia (>1,500 millas) mediante una interfaz web personalizada (WebUI).
• Configuración de Sensores Multimodal:
  • LiDAR: Livox Mid-360 (colocado en la parte inferior para evitar oclusiones y capturar etapas tempranas de crecimiento).
  • Cámaras Estéreo: Dos cámaras ZED X con lentes de 4 mm, montadas en cabezales con aislamiento de vibración y ángulo de 130° entre ellas para una cobertura de 150°.
  • Cámara de Control: OBSBOT PTZ para teleoperación y monitoreo.
  • Unidad de Computación: NVIDIA Jetson AGX Orin.
  • Sincronización: Todos los sensores (RGB, Profundidad, LiDAR, IMU, Pose) están sincronizados temporalmente mediante un archivo de anclaje de tiempo compartido, garantizando alineación precisa.
• Protocolo de Recolección: Los datos se recolectaron durante un mes en tres sitios (colza, una variante genética de colza y lino). Para el sitio principal de colza, se realizaron tomas cuatro veces al día (amanecer, mediodía, tarde y atardecer) para capturar variaciones de iluminación, y diariamente durante la fase de crecimiento activo para registrar cambios morfológicos continuos.

B. El Conjunto de Datos (AgriChrono)

• Escala: Total de 18 TB de datos, compuestos por 175 sesiones de grabación.
• Modalidades: Incluye imágenes RGB (4 vistas), mapas de profundidad (2 vistas), nubes de puntos LiDAR (150° y 360°), datos IMU y poses de odometría visual-inercial (VIO) de 7 grados de libertad.
• Cobertura: Documenta el ciclo de crecimiento completo de la colza bajo cuatro condiciones de iluminación sistemáticas, abarcando cambios estructurales y de color.

C. Benchmark de Evaluación

Se introdujo un nuevo benchmark para evaluar la reconstrucción 3D en escenarios no rígidos, compuesto por 7 escenarios que aíslan factores de estrés específicos:

1. Variación de Iluminación (4 escenarios): Capturas del mismo día a las 06:00, 11:00, 16:00 y 21:00 horas.
2. Ciclo de Crecimiento (3 escenarios): Capturas a las 06:00 en diferentes etapas semanales (Día 6, 13 y 20).

• Métricas: Se evaluaron 16 métodos de última generación (12 basados en Gaussian Splatting y 4 basados en NeRF) utilizando PSNR, SSIM y LPIPS.

3. Contribuciones Clave

1. Plataforma Robótica Modular: Desarrollo de un sistema capaz de operar remotamente y de forma autónoma en entornos agrícolas difíciles, con sincronización temporal estricta de múltiples sensores.
2. Dataset AgriChrono (18 TB): El primer conjunto de datos a gran escala que captura simultáneamente el ciclo de crecimiento completo de un cultivo y las variaciones diarias de iluminación en un entorno real, superando las limitaciones de datasets anteriores (que suelen ser estáticos o espaciales).
3. Nuevo Benchmark de Reconstrucción 3D: Una evaluación rigurosa que demuestra las deficiencias actuales de los modelos SOTA (State-of-the-Art) al enfrentar entornos agrícolas dinámicos, no rígidos y con cambios de luz.

4. Resultados y Análisis

• Desempeño de los Modelos: La evaluación de los 16 métodos reveló un rendimiento general deficiente y una falta de consistencia.
  • Mejores Resultados: Zip-NeRF (basado en NeRF) obtuvo los puntajes más altos en general, seguido por Octree-GS (basado en Gaussian Splatting) dentro de su categoría.
  • Limitaciones Observadas: Todos los modelos mostraron degradación significativa en la reconstrucción de hojas delgadas y bordes suelo-copa. La calidad de reconstrucción cayó drásticamente bajo luz solar directa y dura (mediodía) en comparación con luz difusa (amanecer/atardecer).
  • Crecimiento: Los modelos lucharon particularmente en las etapas tempranas de crecimiento (Día 6) debido a la estructura fina y el suelo expuesto, aunque el rendimiento mejoró ligeramente a medida que la copa se densificaba.
• Recursos Computacionales: Se observó que un mayor consumo de recursos (tiempo de entrenamiento y memoria GPU) no siempre se traduce en mejor precisión en este tipo de datos "salvajes". Los modelos pesados a menudo fallan en generalizar, mientras que métodos más ligeros como Octree-GS ofrecen un mejor equilibrio entre rendimiento y eficiencia.
• Fiabilidad de la Pose: La odometría visual-inercial (VIO) multimodal demostró ser superior a los métodos de aprendizaje puro (como VGGT) o SfM tradicional, proporcionando trayectorias estables y de baja varianza esenciales para la evaluación objetiva.

5. Significado e Impacto

El trabajo de AgriChrono es fundamental para el avance de la agricultura de precisión y la visión por computadora:

• Puente hacia el Mundo Real: Proporciona el recurso necesario para cerrar la brecha entre la investigación en laboratorio y la aplicación en campos reales, permitiendo entrenar y evaluar modelos que deben funcionar en condiciones no controladas.
• Estándar de Evaluación: Establece un nuevo estándar para medir la robustez de los algoritmos de reconstrucción 3D frente a la no rigidez y la variabilidad ambiental.
• Aceleración de la Investigación: Al liberar el dataset y el benchmark, se espera catalizar el desarrollo de modelos más robustos capaces de crear "Gemelos Digitales" agrícolas a gran escala, esenciales para la fenotipado preciso, el monitoreo de cultivos y la automatización robótica futura.

En resumen, AgriChrono no solo ofrece datos masivos, sino que expone las limitaciones actuales de la IA en entornos agrícolas dinámicos, marcando un punto de inflexión para el desarrollo de algoritmos capaces de entender y reconstruir la complejidad de la naturaleza en movimiento.