SG-DOR: Learning Scene Graphs with Direction-Conditioned Occlusion Reasoning for Pepper Plants

El artículo presenta SG-DOR, un marco de aprendizaje que utiliza grafos de escena con razonamiento de oclusión condicionado a la dirección para inferir relaciones físicas y de obstrucción en plantas de pimiento, mejorando así la planificación de la cosecha robótica en densos dosel.

Lo esencial

¡Hola! Imagina que eres un robot recolector de pimientos en un invernadero. Tu misión es simple: agarrar el pimiento más dulce. Pero hay un problema: las plantas son como un bosque tropical en miniatura. Las hojas están tan apretadas que el pimiento está escondido, y a veces ni siquiera puedes ver el tallo que lo sostiene.

Si el robot intenta agarrar el pimiento a ciegas, podría romper la planta o fallar el intento. Necesita un "mapa mental" que le diga: "Oye, para llegar a ese pimiento, primero tienes que empujar esa hoja específica hacia la izquierda, no la de arriba".

Aquí es donde entra en juego el SG-DOR, la "estrella" de este artículo. Vamos a explicarlo con una analogía sencilla.

🌿 El Problema: El Bosque de Pimientos

Imagina que las plantas de pimiento son como un grupo de amigos muy cercanos que se abrazan.

• El Pimiento: Es el tesoro que quieres encontrar.
• Las Hojas: Son los amigos que te bloquean la vista.
• El Robot: Es un explorador que necesita saber exactamente qué amigo está tapando el tesoro y desde qué dirección se acerca.

Los robots actuales son como personas con una linterna: ven que algo está ahí, pero no entienden la estructura. Saben que hay un pimiento y hojas, pero no saben cómo están conectadas ni cuál hoja está tapando a cuál.

🧠 La Solución: SG-DOR (El "Cerebro" del Robot)

Los autores crearon un sistema llamado SG-DOR. Piensa en él como un arquitecto de relaciones que construye un mapa mental 3D de la planta.

Este sistema hace tres cosas mágicas:

1. Conoce a los vecinos (El Mapa de Conexiones):
   Imagina que el robot le da un "apretón de manos" a cada parte de la planta. El sistema aprende quién es el tallo, quién es la hoja y quién es el pimiento. Pero lo más importante: aprende quién está conectado a quién. ¿Esta hoja nace de ese tallo? Sí. ¿Este pimiento cuelga de esa rama? Sí. Es como si el robot supiera la familia de la planta.

2. El Juego de "¿Quién me tapa?" (Razonamiento de Oclusión):
   Aquí está la parte genial. El sistema no solo ve que hay una hoja, sino que simula: "Si el robot se acerca desde arriba, ¿qué hoja tapa al pimiento? ¿Y si se acerca desde la izquierda?".
   Es como si el robot tuviera una linterna mágica que proyecta rayos desde diferentes ángulos. El sistema calcula exactamente qué porcentaje del pimiento está oculto por cada hoja.

3. La Lista de Prioridades (El Ranking):
   A veces, tres hojas tapando al pimiento. ¿Cuál empujas primero? SG-DOR crea una lista de clasificación. Le dice al robot: "Primero empuja la hoja amarilla (es la culpable principal), luego la morada, y la azul no hace falta tocarla". Esto es crucial para no dañar la planta moviendo cosas innecesarias.

🛠️ ¿Cómo lo aprendió? (El Entrenamiento)

Entrenar a un robot con plantas reales es difícil porque es muy lento y a veces se rompen las plantas. Así que los autores crearon un videojuego de simulación (un "mundo virtual" de pimientos).

• Generaron miles de plantas de pimiento falsas pero muy realistas.
• Le dijeron al robot: "Aquí tienes la planta, aquí está el pimiento, y aquí tienes la lista exacta de qué hojas lo tapaban".
• El robot practicó millones de veces en este videojuego hasta que aprendió a ver patrones que los humanos no notaríamos fácilmente.

🚀 ¿Por qué es importante?

Antes, los robots agrícolas tenían que "tocar y ver" (empujar hojas al azar hasta encontrar el pimiento), lo cual es lento y daña la planta.
Con SG-DOR, el robot se vuelve un cirujano de precisión.

• Ve el problema: "Ah, el pimiento está tapado".
• Diagnostica la causa: "Es la hoja número 3 la que lo tapa desde arriba".
• Actúa con precisión: Empuja solo esa hoja y recoge el pimiento.

En resumen

SG-DOR es como darle al robot un superpoder de visión de rayos X combinado con un sentido común de la estructura. Ya no solo "ve" objetos; entiende cómo se relacionan entre sí y cómo el ángulo desde el que miras cambia lo que ves.

Esto significa que en el futuro, los robots en los campos de cultivo podrán trabajar solos, más rápido y con menos desperdicio, sabiendo exactamente qué mover para llegar a la fruta sin romper la planta. ¡Es como pasar de buscar una aguja en un pajar a saber exactamente dónde está y cómo sacarla! 🤖🌶️

Resumen técnico

Resumen Técnico: SG-DOR para la Cosecha Robótica de Pimientos

1. El Problema

En la horticultura de precisión, la cosecha robótica en dosel de cultivos densos (como los pimientos dulces) enfrenta un desafío crítico: la oclusión severa. Las frutas a menudo están parcialmente ocultas por hojas y pedúnculos, lo que impide la detección visual y la planificación de trayectorias de agarre seguras.

• Limitaciones actuales: Los pipelines existentes de mapeo de frutas detectan instancias pero carecen de representaciones estructurales que identifiquen qué órganos específicos obstruyen una fruta desde una dirección de aproximación concreta.
• La brecha: Aunque existen métodos de percepción activa o completado amodal, ninguno realiza un razonamiento explícito sobre la oclusión dirigido por la dirección ni clasifica (ranks) los órganos oclusores para acciones de manipulación (como empujar hojas específicas). Se necesita un sistema que no solo vea la fruta, sino que entienda qué hojas bloquean el acceso desde un ángulo dado.

2. Metodología: SG-DOR

Los autores proponen SG-DOR (Scene Graphs with Direction-Conditioned Occlusion Reasoning), un marco de razonamiento relacional que infiere un grafo de escena a partir de nubes de puntos de órganos de plantas segmentados por instancia.

A. Representación y Entrada

• Entrada: Nubes de puntos de órganos (hojas, tallos, pedúnculos, frutas) segmentados por instancia.
• Marco de referencia: Se define un marco de coordenadas local centrado en la fruta para garantizar que el razonamiento de oclusión sea consistente independientemente de la vista global.
• Codificación: Cada órgano se codifica utilizando solo coordenadas espaciales (sin color ni normales) mediante un codificador PointNet++ para obtener embeddings geométricos intrínsecos.

B. Arquitectura de Aprendizaje
El modelo se formula como un problema de aprendizaje multi-tarea sobre un grafo dirigido $G = (V, E)$:

1. Construcción del Grafo Candidato: Se crea un conjunto de aristas sobrecumplido basado en proximidad (k-NN, radio) y reglas biológicas (conexiones tallo-hoja/pedúnculo).
2. Backbone Relacional: Se utiliza una red neuronal de grafos (GNN) residual basada en GINE (Graph Isomorphism Network) con atención a las aristas. Esto permite refinar los embeddings de los nodos considerando la identidad del órgano y la geometría relativa.
3. Módulo de Razonamiento de Oclusión (Núcleo de la innovación):
   • Utiliza un mecanismo de atención cruzada (Cross-Attention) dirigido por la dirección.
   • Query: La fruta objetivo combinada con un embedding de la dirección de aproximación ($k$).
   • Keys/Values: Un conjunto de hojas candidatas procesadas mediante una auto-atención (para capturar competencia y redundancia entre hojas cercanas) y enriquecidas con cues geométricos relativos.
   • Salidas: El módulo predice tres cosas simultáneamente:
     • Visibilidad de Unión: Cuánto se reduce la visibilidad total de la fruta desde esa dirección.
     • Potenciales de Pares: La probabilidad de que una hoja específica obstruya.
     • Ranking de Pares: Un ordenamiento de las hojas oclusoras por relevancia (qué hoja empujar primero).

C. Funciones de Pérdida (Objetivos de Entrenamiento)
El entrenamiento es multi-tarea y equilibrado:

• Pérdida de clasificación de nodos y existencia de aristas.
• Pérdida de Ranking Listwise: Optimiza la recuperación de los oclusores dominantes usando una distribución de probabilidad basada en la masa de oclusión (graduada).
• Pérdida de Consistencia: Un regularizador que asegura que la estimación global de visibilidad sea coherente con la suma de las oclusiones individuales de las hojas (modelo "Noisy-OR").

3. Contribuciones Clave

1. Formulación del Problema: Plantear el razonamiento de oclusión 3D condicionado a la dirección como un problema de aprendizaje relacional en un grafo de escena, introduciendo la tarea de clasificación (ranking) de oclusores.
2. Arquitectura SG-DOR: Un diseño de red neuronal de grafos que combina atención por conjunto de hojas (per-fruit leaf-set) y un evaluador de atención cruzada sensible a la dirección para inferir tanto la estructura de unión como el ranking de oclusión.
3. Dataset Sintético a Gran Escala: Desarrollo de una tubería de generación procedural biológicamente consistente en BlenderProc, creando un dataset de múltiples plantas de pimiento con etiquetas de oclusión direccional de ground-truth (basadas en z-buffer de múltiples capas) para la supervisión escalable.

4. Resultados Experimentales

Los experimentos se realizaron en un dataset sintético de pimientos y validados con un modelo físico real.

• Rendimiento en Ranking de Oclusión: SG-DOR logró un NDCG@3 de 0.85 y una Recall@1 de 0.46, superando significativamente a las ablataciones (modelos sin auto-atención o sin cues geométricos explícitos).
  • Hallazgo: Eliminar la atención competitiva entre hojas (SG-DOR-w/oSelfAttn) hizo caer el NDCG@3 a 0.567, demostrando que es crucial entender la competencia entre hojas para el ranking.
• Predicción de Estructura: Logró un F1 de 0.83 en la inferencia de aristas de unión (attachments), manteniendo la precisión estructural.
• Robustez:
  • El modelo es robusto al ruido geométrico (jitter de 4 mm) y a la distorsión de perspectiva, manteniendo su capacidad de razonamiento incluso cuando se entrena solo con datos de z-buffer y se evalúa con ray-casting.
  • La pérdida de consistencia (Leaf-to-Union) resultó crítica para evitar el colapso del ranking en condiciones de ruido.
• Validación en Mundo Real: En una prueba "zero-shot" con una planta física reconstruida, el modelo identificó y clasificó correctamente las tres hojas principales que obstruían la fruta, sin necesidad de ajuste fino (fine-tuning) en datos reales.

5. Significado e Impacto

SG-DOR cierra la brecha entre la percepción geométrica y la planificación de manipulación en agricultura robótica.

• Acción Orientada: Proporciona señales relacionales estructuradas que permiten a los robots tomar decisiones informadas sobre qué hoja empujar o podar para revelar una fruta específica desde una trayectoria de agarre segura.
• Generalización: Al operar en un marco local centrado en la fruta y ser robusto a la variación de puntos de vista, el sistema es aplicable a diferentes configuraciones de cultivo y condiciones de iluminación/ruido.
• Futuro: Este enfoque sienta las bases para sistemas de horticultura autónoma que no solo "ven" la fruta, sino que "entienden" la topología de obstrucción para realizar intervenciones físicas precisas.

En resumen, SG-DOR transforma la percepción de oclusión de un problema binario (oculto/no oculto) a un problema de jerarquía y dirección, permitiendo a los robots agrícolas manipular activamente el entorno para facilitar la cosecha.