📄 plant biology

OneGrow: Unified Temporal Plant Image and Mask Generation

OneGrow es un modelo de flujo de emparejamiento latente unificado que genera conjuntamente imágenes temporales de trigo y sus máscaras de segmentación a nivel de órgano, permitiendo la síntesis multitarea y el pronóstico consistente a largo plazo mediante el aprovechamiento de un autoencoder compartido y etiquetas pseudo de un conjunto de datos a gran escala.

Autores originales: Boss, M., Volpi, M., Roth, L.

Publicado 2026-09-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Boss, M., Volpi, M., Roth, L.

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Los agricultores y científicos han dependido durante mucho tiempo de las cámaras para observar el crecimiento de los cultivos, con la esperanza de que una simple fotografía pudiera revelar qué tan sana es una planta o cuánta granos producirá eventualmente. Esta práctica, conocida como fenotipado, convierte las imágenes en datos sobre los rasgos de las plantas. Sin embargo, las fotos en bruto solo cuentan parte de la historia. Para comprender verdaderamente el desarrollo de una planta, los investigadores necesitan saber exactamente qué partes son hojas, cuáles son tallos y cuáles son las espigas, y necesitan ver cómo estas partes cambian con el tiempo. Obtener este nivel de detalle es increíblemente difícil. Dibujar manualmente los contornos de cada hoja y tallo en miles de fotos es un trabajo lento y costoso. Además, rastrear las mismas plantas día tras día requiere equipos complejos para asegurar que las imágenes se alineen perfectamente, una tarea que pocas plataformas de investigación pueden gestionar de manera constante. Como resultado, existe una escasez de datos de alta calidad que vinculen fotos claras de cultivos con mapas precisos de sus estructuras internas a lo largo de todo un ciclo de cultivo.

Para resolver este problema, un equipo de investigadores ha desarrollado un nuevo sistema de inteligencia artificial llamado OneGrow. En lugar de intentar analizar las fotos existentes, este sistema aprende a crearlas. Es un modelo generativo, un tipo de programa informático que aprende los patrones de los datos reales y luego produce nuevos ejemplos realistas que siguen esas mismas reglas. OneGrow es único porque no solo crea imágenes; crea pares de imágenes y sus correspondientes mapas estructurales simultáneamente. Aprende de los cultivos de trigo, un alimento básico para gran parte del mundo, y comprende cómo cambia la planta de un día para otro. Al entrenarse con una mezcla de fotos de un solo día y secuencias de lapso de tiempo de varios años, el sistema aprende a imaginar cómo se ve un campo de trigo en cualquier etapa de crecimiento, incluyendo un desglose detallado de sus hojas, tallos y espigas.

El núcleo de este logro es un enfoque unificado que trata la foto y el mapa como dos caras de la misma moneda. En intentos anteriores, los modelos podían predecir cómo se vería una planta en el futuro sin conocer su estructura, o podían generar un mapa para un solo día sin comprender el paso del tiempo. OneGrow cierra esta brecha. Utiliza una representación digital compartida tanto para la imagen como para la máscara, lo que permite al sistema cambiar de roles sin esfuerzo. Si un investigador proporciona una foto, el sistema puede dibujar el mapa. Si proporcionan un mapa, el sistema puede pintar una foto realista. Si proporcionan unos pocos días de fotos, el sistema puede predecir cómo se verá la planta días después. Esta flexibilidad proviene de un mecanismo que los investigadores llaman "revelación" (reveal), que actúa como un conjunto de instrucciones que le dice a la computadora qué partes de la escena ya se conocen y qué partes necesita inventar.

El proceso de entrenamiento fue un cuidadoso acto de equilibrio. Los investigadores alimentaron al sistema con dos tipos diferentes de datos. El primero fue una colección masiva de fotos de trigo de un solo día, donde la computadora tenía que adivinar la estructura de la planta. Dado que los expertos humanos no habían etiquetado cada una de estas fotos, el equipo utilizó una herramienta de IA separada y altamente precisa para crear "pseudo-etiquetas", o mapas generados por computadora, para servir como la verdad de referencia. El segundo origen de datos fue un conjunto de datos multianual que contenía miles de imágenes de las mismas parcelas de trigo tomadas durante seis años. Esto permitió a OneGrow aprender el ritmo de las estaciones, comprendiendo cómo una pequeña plántula se transforma en un cultivo alto y denso. Al combinar estas dos fuentes, el modelo aprendió a manejar la amplia variedad de condiciones de iluminación y clima que se encuentran en los campos reales, al tiempo que comprendía la progresión lenta y constante del crecimiento de las plantas.

Al ser probado, el sistema demostró una capacidad notable para generar secuencias coherentes. En un experimento, los investigadores le dieron al modelo unos pocos días de fotos y le pidieron que pronosticara los siguientes días. El sistema produjo imágenes que mostraban el dosel volviéndose más denso y las plantas madurando, manteniendo al mismo tiempo los mapas estructurales consistentes con las nuevas imágenes. En otra prueba, el modelo tomó un mapa simple codificado por colores de las partes de una planta y generó una fotografía a todo color que coincidía perfectamente con el diseño, colocando las hojas y los tallos exactamente donde el mapa indicaba. El sistema incluso logró completar partes faltantes de una imagen, tomando un pequeño parche de una foto y expandiéndolo en una escena completa que permanecía fiel al contexto circundante. Estos resultados no fueron solo visualmente convincentes; fueron cuantitativamente sólidos. Cuando los investigadores compararon los mapas generados contra los mapas dibujados por humanos, el sistema alcanzó un alto nivel de precisión, particularmente para las hojas y las espigas, aunque encontró que los tallos delgados eran ligeramente más difíciles de definir.

Las implicaciones de este trabajo se extienden más allá de simplemente crear imágenes bonitas. Debido a que el sistema puede generar imágenes realistas emparejadas con mapas estructurales perfectos, ofrece una forma de crear datos de entrenamiento infinitos para otras herramientas de IA. Los investigadores pueden usar estos pares sintéticos para enseñar a otras computadoras a identificar enfermedades o contar semillas, cubriendo etapas de crecimiento y condiciones climáticas que son raras o faltan en los conjuntos de datos del mundo real. El modelo también abre la puerta para traducir simulaciones abstractas de crecimiento de plantas en visuales realistas, permitiendo a los científicos ver cómo podrían verse en el campo diferentes rasgos genéticos o cambios ambientales. Aunque el sistema está actualmente especializado para el trigo y depende de etiquetas generadas por computadora para su entrenamiento, representa un paso significativo hacia un futuro donde podemos simular y comprender el desarrollo de los cultivos con una profundidad y velocidad que antes eran imposibles. El trabajo sugiere que, al enseñar a las máquinas a ver la estructura dentro de la imagen, podemos desbloquear una comprensión más completa de cómo crece nuestra comida.

Resumen Técnico: OneGrow

Planteamiento del Problema

El fenotipado de cultivos basado en imágenes depende de datos emparejados que contienen tanto imágenes como máscaras de segmentación a nivel de órgano para estudiar el desarrollo de las plantas de manera efectiva. Sin embargo, tales datos son escasos debido a dos cuellos de botella principales:

Costo de Anotación: La segmentación a nivel de órgano requiere una gran inversión de mano de obra, lo que significa que los datos etiquetados cubren solo una pequeña fracción de las imágenes recolectadas.
Escasez Temporal: Capturar las mismas parcelas repetidamente a lo largo de una temporada para rastrear el desarrollo es operativamente difícil y rara vez se lleva a cabo.

Los modelos generativos existentes para plantas generalmente fallan al abordar ambas necesidades simultáneamente. Algunos sintetizan imágenes temporales sin etiquetas estructurales, mientras que otros generan pares de imagen-máscara etiquetados pero carecen de una dimensión temporal. Hasta donde sabemos, ningún modelo enfocado en plantas genera conjuntamente imágenes etiquetadas por órganos a lo largo del tiempo, particularmente para cultivos como el trigo donde las observaciones suelen ser dispersas en lugar de densamente muestreadas.

Metodología: OneGrow

OneGrow es un modelo de flujo de latencia (latent flow-matching) unificado diseñado para modelar conjuntamente imágenes de trigo y sus máscaras de segmentación de órganos a lo largo del tiempo. Aprovecha un mecanismo de "revelación" (reveal) para manejar diversas tareas de generación dentro de una sola arquitectura.

Arquitectura Central

Representación Latente Compartida: OneGrow utiliza un único Autoencoder Variacional (VAE) congelado para codificar tanto imágenes RGB como máscaras de segmentación codificadas por colores. Las máscaras se convierten en imágenes RGB utilizando una paleta fija antes de la codificación. Esto permite que el modelo trate las imágenes y las máscaras como diferentes "vistas" dentro del mismo espacio latente sin necesidad de codificadores específicos para cada modalidad.
Transformer de Flujo de Coincidencia (Flow-Matching Transformer): El modelo emplea un backbone de transformador (DiT) que procesa todos los parches latentes de una "ventana" simultáneamente. Predice un campo de velocidad conjunto para transportar el ruido hacia los datos limpios a lo largo de una trayectoria de interpolación lineal.
Recolección de Vistas: Una ventana de entrenamiento se define como una colección de vistas indexadas por modalidad (imagen o máscara) y fotograma (tiempo). Cada vista consiste en parches no superpuestos.
El Mecanismo de Revelación: Se aplica una máscara de revelación binaria ( $r$ $r$ ) por parche.
- $r=1$ : El parche se revela como contexto limpio ( $\tau=1$ ).
- $r=0$ : El parche es generado ( $\tau=\tilde{\tau}$ ).
  Este mecanismo permite al modelo manejar contextos espaciales parciales (por ejemplo, algunos parches observados, otros generados) y define la tarea específica (segmentación, síntesis, pronóstico) basándose en qué vistas son reveladas.

Estrategia de Entrenamiento

Fuentes de Datos: El modelo se entrena conjuntamente en dos fuentes:
1. GWFSS: Un gran conjunto de datos de un solo fotograma con una amplia variación de apariencia. Las máscaras anotadas por humanos se reservan para la evaluación; el resto es pseudo-etiquetado por un modelo de segmentación pre-entrenado.
2. FIP1: Un conjunto de datos temporal multianual que contiene ventanas de crecimiento alineadas de trigo de invierno.
Pseudo-Etiquetado: Dado que las anotaciones humanas son escasas para los datos temporales, el modelo entrena con pseudo-etiquetas generadas por un modelo de segmentación de vanguardia (ViT-Adapter/Mask2Former).
Función de Pérdida: El modelo minimiza el error cuadrático medio (MSE) ponderado por la revelación sobre el campo de velocidad, enfocándose solo en los parches generados.
Despliegue Temporal (Temporal Roll-out): Para secuencias más largas que la ventana de entrenamiento, se utiliza un despliegue de ventana deslizante. Cada nuevo fotograma se genera de forma autorregresiva, condicionado por los fotogramas precedentes y la máscara objetivo, asegurando la consistencia temporal.

Condicionamiento

El modelo acepta condicionadores de metadatos, incluyendo el dominio de adquisición y estadísticas fotométricas por fotograma (exposición y color), representados como tokens de registro. Se aplica guía de clase libre (classifier-free guidance - CFG) durante el muestreo.

Principales Contribuciones

Modelo Unificado: OneGrow es un modelo enfocado en plantas que genera conjuntamente secuencias de imágenes etiquetadas por órganos a lo largo del tiempo, unificando tareas como segmentación, síntesis y pronóstico.
Entrenamiento con Pseudo-Etiquetas: Demuestra un entrenamiento conjunto efectivo en una fuente diversa de un solo fotograma y una fuente temporal multianual utilizando pseudo-etiquetas, reduciendo la dependencia de las costosas anotaciones humanas.
Mecanismo de Revelación Flexible: El sistema de revelación por parche permite que un solo modelo realice diversas tareas (imagen-a-máscara, máscara-a-imagen, completado espacial, pronóstico) simplemente cambiando la configuración de contenido observado vs. generado.

Resultados

El modelo fue evaluado con datos anotados por humanos reservados (GWFSS) y datos temporales (FIP1).

Segmentación (Imagen-a-Máscara): OneGrow logró una Intersección sobre Unión media (mIoU) de 0.697 en el conjunto de prueba GWFSS, comparado con el 0.740 del ganador original del desafío. La brecha de rendimiento fue más notable en la clase "tallo" (stem), que es delgado y difícil de segmentar.
Adherencia a la Máscara (Consistencia de Ciclo): Al generar imágenes a partir de máscaras y volver a segmentarlas, OneGrow logró una mIoU de consistencia de ciclo de 0.749, igualando el rendimiento del ganador del desafío en imágenes reales (0.740). Esto indica que el modelo coloca los órganos con precisión de acuerdo con la máscara de condicionamiento.
Calidad de Generación de Imágenes:
- En GWFSS, OneGrow superó a la línea base de recuperación (Mask-NN) en LPIPS pareado (0.426 vs. 0.548), pero quedó rezagado en métricas de nivel de conjunto (FD-DINOv2, CMMD), probablemente porque la línea base recupera imágenes reales exactas del entrenamiento.
- En FIP1, OneGrow superó a la línea base en CMMD y LPIPS, con puntuaciones de FD-DINOv2 comparables.
Tareas Cualitativas: El modelo demostró con éxito el pronóstico temporal (continuación de trayectorias de crecimiento), el completado espacial guiado por máscara (outpainting) y la generación conjunta de pares de imagen-máscara.

Significancia y Limitaciones

Significancia:
OneGrow proporciona un método para generar secuencias de imágenes realistas y etiquetadas por órganos, lo que puede aumentar los datos de entrenamiento para tareas de segmentación y reconocimiento, particularmente para etapas de crecimiento o condiciones de imagen subrepresentadas. Cierra la brecha entre los modelos de procesos basados en procesos (que proporcionan máscaras estructurales) e imágenes realistas.

Limitaciones:

Sesgo de Pseudo-Etiquetado: OneGrow hereda sesgos del modelo de segmentación profesor, particularmente respecto a tallos delgados.
Especificidad de Dominio: El modelo está entrenado exclusivamente en trigo; su transferencia a otros cultivos no ha sido probada.
Costo de Inferencia: Como modelo generativo iterativo, es computacionalmente más costoso en la inferencia que las redes de segmentación dedicadas.
Alcance de la Evaluación: La generación condicionada por máscara temporal actualmente solo cuenta con resultados cualitativos; la validación cuantitativa para esta capacidad específica está pendiente.
Brecha de Rendimiento: OneGrow no supera al ganador del desafío de segmentación dedicado en la precisión pura de imagen-a-máscara, ya que este no era el objetivo de optimización principal (se enfatizó la síntesis y el pronóstico condicionados por máscara).