💻 computer science

Text-conditioned Segmentation for Tomato Phenotyping via Procedural Synthetic Data

Este artículo presenta un marco de sim-to-real que genera un conjunto de datos sintéticos procedimentales a gran escala de invernaderos de tomate para ajustar el Segment Anything Model 3 (SAM 3), mejorando significamente el rendimiento de la segmentación condicionada por texto para el fenotipado de tomate en entornos complejos del mundo real.

Autores originales: Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

Publicado 2026-07-22

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Samy Mounir, Mikolaj Cieslak, Najmeddine Dhieb, Hakim Ghazzai, Jonathan Klein, Katja Froehlich, Soeren Pirk, Wojciech Palubicki, Gianluca Setti, Ahmed M. Eltawil, Dominik L. Michels

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a entender un jardín. Quieres que detecte cada tomate, hoja y tallo para que pueda ayudar a los agricultores a cosechar cultivos sin cansarse. Este es el mundo de la visión artificial, donde las computadoras aprenden a "ver" el mundo a través de cámaras. Pero aquí está la parte difícil: enseñar a una computadora es como enseñarle a un niño a reconocer animales. Si solo le muestras al niño fotos de leones en un zoológico, podría confundirse cuando vea un león en la naturaleza. Del mismo modo, las computadoras tienen dificultades para reconocer plantas en invernaderos reales y desordenados porque no han visto suficientes ejemplos.

Para resolver esto, los científicos utilizan datos sintéticos. Piensa en esto como construir una versión de videojuego de un invernadero. En un juego, puedes crear millones de imágenes perfectas de tomates, etiquetar cada píxel instantáneamente y nunca preocuparte por si el sol es demasiado brillante o si una hoja bloquea la vista. Esto se llama generación procedimental, donde una computadora sigue un conjunto de reglas (como una receta) para cultivar plantas falsas únicas que parecen reales.

La gran pregunta es: si entrenas a un robot en un videojuego, ¿funcionará realmente en un invernadero real? Este artículo explora exactamente ese misterio. Pregunta si podemos tomar un cerebro de computadora superinteligente y preentrenado (llamado modelo fundacional) que sabe mucho sobre el mundo, enseñarle usando nuestros tomates falsos de videojuego, y ver si puede convertirse repentinamente en un experto en detectar tomates reales. El objetivo es ahorrar tiempo y dinero a los agricultores automatizando el trabajo duro de contar y revisar sus cultivos.

El invernadero del videojuego y el supercerebro

Los autores de este artículo decidieron construir un gemelo digital de un invernadero comercial de tomates cherry. En lugar de tomar miles de fotos de plantas reales (lo que lleva mucho tiempo y es costoso), utilizaron un potente motor de videojuegos llamado Unreal Engine 5 para crear un mundo virtual. Dentro de este mundo, programaron una "planta digital" utilizando un conjunto de reglas llamadas L-systems.

Piensa en los L-systems como un código genético para una planta de videojuego. En lugar de dibujar cada hoja a mano, la computadora sigue instrucciones: "Crece un tallo, añade una hoja aquí, ramifica por allá". Los autores añadieron reglas especiales para imitar cómo los agricultores reales gestionan los tomates, como el "apoyo y descenso" (donde la planta se inclina suavemente y se baja a medida que crece en altura) y la poda (cortar partes viejas). Incluso añadieron variaciones aleatorias para que no dos plantas digitales se vieran exactamente iguales, tal como ocurre en la naturaleza.

A partir de este invernadero virtual, generaron un conjunto masivo de datos de 68,000 imágenes sintéticas. Cada imagen venía con etiquetas perfectas: la computadora sabía exactamente qué píxeles eran fruto, cuáles eran hojas y cuáles eran tallos, hasta el nivel del fruto individual. Era como tener un maestro que nunca se equivoca.

El cerebro "Segment Anything"

A continuación, trajeron a un modelo de IA superestrella llamado SAM 3 (Segment Anything Model 3). Imagina a SAM 3 como un estudiante muy inteligente que ha leído todos los libros de la biblioteca sobre imágenes. Puede mirar la foto de un perro o un coche e identificar instantáneamente dónde está el objeto, incluso si nunca ha visto ese perro específico antes. Esto se llama aprendizaje de disparo cero (zero-shot learning).

Sin embargo, cuando los autores le pidieron a este estudiante superinteligente que mirara una planta de tomate densa y desordenada, se confundió. Las hojas se superponían, los frutos estaban ocultos y la iluminación era complicada. El rendimiento del estudiante cayó porque no estaba acostumbrado al "lenguaje" específico de las plantas de tomate.

El experimento: Enseñando al estudiante con datos falsos

El equipo decidió darle al estudiante un curso intensivo utilizando sus 68,000 imágenes de tomates falsos. Intentaron tres formas diferentes de enseñar al modelo:

Ajuste fino completo (Full Fine-Tuning): Hicieron que el estudiante reaprendiera todo desde cero utilizando los datos falsos.
LoRA (Adaptación de bajo rango): Hicieron que el estudiante aprendiera solo una parte diminuta y específica de su cerebro, manteniendo intacto la mayor parte de su conocimiento original.
⁠3. Interpolación de pesos (WiSE-FT): Este fue el truco más ingenioso. Tomaron el cerebro "entrenado con datos falsos" y lo mezclaron con el cerebro "superinteligente original". Es como mezclar una receta nueva con la original para obtener lo mejor de ambos mundos. Mezclaron de tal manera que el 75% del cerebro fue entrenado con los tomates falsos, pero el 25% permaneció como el conocimiento general original.

Los resultados: ¿Funciona el entrenamiento con datos falsos?

Aquí es donde las cosas se pusieron interesantes. Cuando probaron los modelos con las imágenes falsas, el modelo de "Ajuste Fino Completo" fue el mejor. Parecía haber memorizado el videojuego perfectamente.

Pero cuando sacaron los modelos del videojuego y los probaron en fotos reales de invernaderos de verdad, los resultados se invirtieron. El modelo que había memorizado los datos falsos de la mejor manera fue el que peor lo hizo. Estaba demasiado enfocado en las reglas del videojuego y no podía manejar la realidad desordenada.

El ganador fue el modelo de Interpolación de Pesos (WiSE-FT). Al mantener un poco del conocimiento "superinteligente" original, pudo adaptarse mucho mejor al mundo real.

El modelo original, no entrenado (Zero-shot), obtuvo una puntuación del 52.7% al encontrar frutos en imágenes reales.
El mejor modelo entrenado (Full FT) mejoró esto al 65.6%.
Esto significa que el modelo mejoró un 12.9% de puntos porcentuales en la detección de tomates solo con aprender de los datos falsos.

Los autores también probaron el modelo en un invernadero real para el cual no tenían etiquetas (porque no podían pedir a los agricultores que etiquetaran cada píxel individualmente). Utilizaron una prueba de "confianza": ¿qué tan seguro estaba el modelo de su respuesta? El modelo entrenado era mucho más confiante y estable, rara vez se confundía por las sombras o las hojas superpuestas, mientras que el modelo no entrenado a menudo perdía los frutos por completo o alucinaba flores que no estaban allí.

La conclusión

El artículo sugiere que no necesitas construir un robot desde cero para entender un invernadero. En su lugar, puedes tomar un "super-robot" general que ya sabe cómo ver, y darle un entrenamiento especializado utilizando un videojuego. La clave no es hacer que el robot olvide todo lo que sabía, sino guiarlo suavemente hacia la tarea específica de detectar tomates.

Los autores también se aseguraron de compartir su trabajo con el mundo. Publicaron el código para su invernadero de videojuego, las 68,000 imágenes falsas y el cerebro del robot entrenado. Esto significa que otros científicos pueden usar estas herramientas para construir mejores robots agrícolas sin tener que empezar desde cero.

En resumen, el artículo demuestra que un poco de práctica en un videojuego, mezclada con mucha inteligencia del mundo real, puede ayudar a las computadoras a finalmente aprender a ver la belleza compleja y desordenada de una planta de tomate. Es un paso hacia un futuro donde los robots podrían un día ayudar a cosechar nuestra comida, ahorrando a los agricultores el trabajo agotador.

Planteamiento del Problema

La automatización basada en visión tiene la promesa significativa de reducir la mano de obra manual en la producción de cultivos en invernaderos y el fenotipado. Sin embargo, el despliegue de estos sistemas se ve limitado por la escasez de datos de entrenamiento anotados a gran escala, particularmente para entornos agrícolas complejos. Si bien los modelos de visión fundacional (VFM) recientes como el Segment Anything Model 3 (SAM 3) demuestran una fuerte generalización zero-shot, su rendimiento decae en escenas agrícolas densas caracterizadas por follaje superpuesto, racimos de frutos ocluidos y taxonomías de cultivos específicas. Además, los conjuntos de datos sintéticos existentes suelen depender de activos 3D estáticos o entornos simplificados que no logran capturar la dinámica de crecimiento continuo y las prácticas de gestión intensiva (por ejemplo, la poda y el descenso de las vides) de los invernaderos comerciales. En consecuencia, existe una falta de entornos virtuales de alta fidelidad adecuados para entrenar sistemas de percepción robustos, y el ajuste fino de potentes modelos fundacionales en datos agrícolas de nicho sin sacrificar su capacidad de generalización sigue siendo un desafío abierto.

Metodología

Los autores proponen un marco de sim-to-real que combina datos sintéticos generados procedimentalmente con el ajuste fino de un modelo fundacional. La metodología consta de tres componentes primarios:

1. Generación de Datos Sintéticos Procedimentales:
Los autores desarrollaron un entorno de invernadero de alta fidelidad utilizando Unreal Engine 5. El núcleo de esto es un nuevo modelo procedimental de plantas de tomate cherry (Solanum lycopersicum var. cerasiform) construido mediante L-systems. A diferencia de los modelos estáticos, este sistema simula:

Crecimiento Biológico: Patrones de ramificación simpódica, desarrollo vegetativo y reproductivo, y estructuras de hojas compuestas basadas en reglas botánicas establecidas.
Gestión de Invernadero: El modelo incorpora tropismos biomecánicos y simulaciones algorítmicas de prácticas comerciales, específicamente la técnica de "inclinación y descenso" donde los tallos se desplazan horizontalmente a medida que crecen, y la poda de las partes basales agotadas.
Variación Estocástica: Los parámetros geométricos (escala de la hoja, orientación, ángulos de ramificación) son modulados por multiplicadores estocásticos para asegurar que no dos plantas simuladas sean morfológicamente idénticas.
Adquisición de Datos: Un pipeline configurable genera imágenes RGB sincronizadas, mapas de profundidad y anotaciones de verdad de campo (ground truth) de píxel perfecto (máscaras semánticas para hoja, tallo, flor, fruto, fondo; máscaras de instancia; y cajas delimitadoras) a través de diversos puntos de vista y condiciones de iluminación.

2. Ajuste Fino del Modelo Fundacional:
Los autores ajustaron SAM 3 utilizando el conjunto de datos sintético generado de 68,000 imágenes mediante tres estrategias distintas para especializar el modelo en órganos de tomate mientras preservan sus capacidades zero-shot:

Ajuste Fino de Parámetros Eficientes (LoRA): Aplicaron la Adaptación de Bajo Rango (Low-Rank Adaptation) a las capas de atención del codificador de visión de SAM 3, actualizando solo una pequeña fracción de los parámetros.
Ajuste Fino Completo (Full Fine-Tuning): Entrenaron todos los componentes semánticos de SAM 3, incluyendo la cabeza de segmentación semántica, sobre el corpus sintético.
Interpolación de Pesos (WiSE-FT): Para equilibrar la especialización de dominio con los sesgos visuales generales, los autores interpolaron los pesos entre el checkpoint preentrenado zero-shot y los checkpoints ajustados utilizando la fórmula $\theta_{wise}(\alpha) = (1 - \alpha) \cdot \theta_{base} + \alpha \cdot \theta_{ft}$ con $\alpha = 0.75$ . Esto se aplicó tanto a las variantes de ajuste fino completo como a las de LoRA.

3. Marco de Evaluación:
Los modelos fueron evaluados en tres conjuntos de datos de máscara del mundo real (TomatoMAP-Seg, LaboroTomato, Rob2Pheno) y un conjunto de datos real personalizado capturado en un invernadero comercial en Arabia Saudita (que carecía de verdad de campo y se utilizó para el análisis cualitativo y de confianza sin etiquetas). La evaluación se centró en el rendimiento de la segmentación semántica, midiendo específicamente la IoU macro de los frutos y las métricas de confianza sin etiquetas.

Principales Contribuciones

Conjunto de Datos Sintético a Gran Escala: La generación de un conjunto de datos sintético fotorealista y generado procedimentalmente para el fenotipado de tomates con anotaciones de verdad de campo de píxel perfecto (RGB, profundidad, máscaras semánticas y de instancia) que captura las prácticas de gestión de invernaderos comerciales.
Pipeline de Ajuste Fino: Un pipeline propuesto de ajuste fino de modelo fundacional condicionado por texto que aprovecha los datos sintéticos para especializar SAM 3 en órganos de cultivos de invernadero mediante LoRA, ajuste fino completo e interpolación de pesos.
Ganancias de Rendimiento: La demostración de que la combinación de datos sintéticos con el ajuste fino de SAM 3 mejora significativamente el rendimiento de la segmentación en datos del mundo real, logrando un aumento de 12.9 puntos porcentuales en la IoU macro de los frutos (del 52.7% al 65.6%) en comparación con la línea base zero-shot.
Liberación Abierta: La liberación pública del modelo procedimental, el conjunto de datos sintético generado y los pesos de SAM 3 ajustados en Hugging Face para facilitar la evaluación comparativa de la comunidad.

Resultados

Transferencia al Mundo Real: La variante Full FT SAM 3 logró el mejor rendimiento agregado en los conjuntos de datos externos del mundo real, alcanzando una IoU macro de frutos de 0.6562 y una IoU de frutos ponderada por imagen de 0.7372. La variante WiSE-FT LoRA SAM 3 logró el mayor rendimiento en el conjunto de datos LaboroTomato (0.7728 IoU).
Inversión Sintético-Real: Un hallazgo crítico fue la "inversión sintético-real". Las líneas base supervisadas (DeepLabV3+, SegFormer) y los modelos de ajuste fino completo (Full FT) clasificaron más alto en el conjunto de validación sintético pero no necesariamente transfirieron mejor a los datos reales. Por el contrario, las variantes LoRA, que puntuaron más bajo en la validación sintética, transfirieron sustancialmente mejor a las imágenes reales. Esto sugiere que optimizar únicamente para métricas sintéticas es insuficiente para la selección de modelos.
Confianza Sin Etiquetas: En el conjunto de datos de invernadero real sin etiquetas, la variante WiSE-FT demostró una robustez superior en comparación con la línea base zero-shot, mostrando una mayor confianza de todos los píxeles (0.6114 vs. 0.3685), mejor acuerdo de Aumento de Tiempo de Prueba (TTA) (0.9045 vs. 0.7345) y una cobertura de primer plano más realista. El modelo zero-shot exhibió fallos sistemáticos, incluyendo la falta de cobertura del primer plano y la "alucinación de flores".
Simplicidad de Prompts: Los modelos ajustados respondieron con éxito a prompts de texto concisos a nivel de órgano ("tallo", "hoja", "fruto"), produciendo máscaras semánticas precisas y no superpuestas sin necesidad de ingeniería de prompts compleja.

Significado y Reivindicaciones

El artículo afirma que su principal significancia radica en demostrar que los datos sintéticos generados procedimentalmente pueden cerrar eficazmente la brecha sim-to-real cuando se combinan con el ajuste fino de modelos fundacionales. Los autores enfatizan que los datos sintéticos no necesitan enseñar al modelo la comprensión visual general desde cero; más bien, dirigen a un modelo ya general (SAM 3) hacia las complejidades estructurales específicas de las copas de los tomates.

El trabajo destaca que la evaluación en el dominio real es esencial para una selección de modelos fiable, ya que las métricas del dominio sintético por sí solas son malos predictores de la generalización en el mundo real. Al proporcionar una herramienta lista para usar (pesos ajustados y datos), los autores pretenden acelerar el desarrollo de sistemas de visión agrícola escalables sin requerir que los investigadores entrenen modelos personalizados desde cero. El artículo concluye que, si bien los datos sintéticos son un habilitador poderoso, la estrategia de ajuste fino específica (por ejemplo, interpolación de pesos frente a ajuste fino completo) debe seleccionarse cuidadosamente basándose en el rendimiento del mundo real en lugar de los puntajes de validación sintética.