Progressive Per-Branch Depth Optimization for DEFOM-Stereo and SAM3 Joint Analysis in UAV Forestry Applications

Each language version is independently generated for its own context, not a direct translation.

¡Imagina que eres un poda-robot volando sobre un bosque de pinos! Tu misión es cortar las ramas secas o dañadas para que el árbol crezca sano. Pero hay un problema: el bosque es un laberinto verde, las ramas se cruzan, hay hojas que tapan otras y el cielo azul se mezcla con todo. Si tu robot no sabe exactamente dónde termina una rama y empieza otra, ¡podría cortar la rama equivocada o chocar contra el cielo!

Este paper es como la historia de cómo aprendimos a darle "ojos de águila" y "cerebro de cirujano" a ese robot. Los investigadores crearon un sistema paso a paso (seis versiones) para limpiar la información y obtener una imagen 3D perfecta de cada rama individual.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La "Foto Borrosa" y la "Máscara Sucia"

Al principio, el robot usaba dos herramientas muy potentes:

DEFOM-Stereo: Una cámara inteligente que calcula la distancia (profundidad) de todo lo que ve. Pero, como en una foto antigua, a veces tiene "ruido" o puntos falsos.
SAM3: Un dibujante automático que traza contornos alrededor de las ramas.

El desastre inicial (Versión 1):
Cuando unieron las dos herramientas, pasó algo malo. El dibujante (SAM3) era un poco "gordito" y sus contornos se salían de la rama, atrapando pedazos de cielo azul. Como el cielo está muy lejos, el robot pensaba que esas partes de la rama estaban a kilómetros de distancia. Además, la cámara (DEFOM) tenía mucho "grano" o ruido, haciendo que la rama pareciera una nube de puntos dispersos en lugar de un objeto sólido.

2. La Solución: Un Proceso de "Limpieza en 6 Pasos"

Los investigadores no intentaron arreglarlo todo de golpe. En su lugar, hicieron un proceso de refinamiento progresivo, como si estuvieran puliendo una estatua de mármol.

Paso A: Limpiar los bordes (Versiones 2 y 3)

El problema: Los contornos de las ramas atrapaban cielo.
La solución (Versión 2): Imagina que tienes un dibujo de una rama y usas una goma de borrar para quitar los bordes que se salieron. Funcionó, ¡pero la goma era muy grande! Borrró las ramas finas por completo, dejándolas rotas.
La mejora (Versión 3): Crearon una "goma de borrar mágica". En lugar de borrar todo el borde, primero encontraron el "esqueleto" o la línea central de la rama (como el nervio de una hoja). Luego, borraron solo lo que sobraba alrededor, pero manteniendo el esqueleto intacto. Así, incluso las ramas muy finas seguían conectadas y no se rompían.

Paso B: Verificar la "Piel" de la rama (Versión 4)

El problema: A veces, dentro del dibujo de la rama, había hojas de otro color o ramas vecinas que se superponían. El robot no sabía cuál era cuál.
La solución: Usaron un detector de "color de familia". Imagina que tomas una muestra de la parte central de la rama (donde sabes que es pura madera) y creas una "tarjeta de identidad" de su color. Luego, revisan cada píxel del dibujo: si un píxel tiene un color muy diferente a la tarjeta de identidad (como una hoja verde pegada a una rama marrón), ¡lo expulsan! También resolvieron las peleas cuando dos ramas se tocaban, asignando cada píxel a la rama a la que realmente pertenece.

Paso C: Eliminar el "Ruido" de la profundidad (Versiones 5 y 6)

El problema: Incluso con el dibujo limpio, la información de distancia tenía "baches" y números locos (ruido).
La solución (Versión 5): Usaron estadísticas básicas para quitar los valores extremos, como un filtro de café que deja pasar solo lo suave. Pero a veces, este filtro era tan fuerte que borraba los bordes finos de las ramas, dejándolas redondeadas y poco precisas.
La solución final (Versión 6 - ¡La Gran Maestría!): Crearon un filtro de 5 capas mucho más inteligente:
1. Detectores de outliers: Usaron una regla matemática más fuerte (MAD) que no se asusta si la mitad de los datos están sucios.
2. Votación de vecinos: Preguntaron a los puntos vecinos: "¿Estás de acuerdo con tu vecino?". Si un punto está solo y loco, lo corrigen.
3. Filtro Guiado por Color: ¡Aquí está la magia! En lugar de suavizar todo ciegamente, el filtro mira la foto de color. Si ve un borde nítido en la foto (donde la rama termina y empieza el cielo), no lo suaviza. Guarda los bordes afilados.
4. Adaptabilidad: El filtro se ajusta solo. Si la rama es gruesa, suaviza más; si es fina, suaviza menos para no deformarla.

3. El Resultado: De la Nube de Polvo a la Estatua Perfecta

Al final del proceso (Versión 6), lo que antes era una nube de puntos desordenada y llena de errores, se convirtió en una nube de puntos 3D limpia, nítida y precisa.

Antes: El robot veía una rama como un fantasma borroso que podría estar a 1 metro o a 10 metros.
Ahora: El robot ve la rama con precisión milimétrica. Sabe exactamente dónde está cada centímetro.

¿Por qué es importante?

Esto permite que los drones puedan podar árboles de forma autónoma de manera segura. Ya no tienen que adivinar; pueden cortar con la precisión de un cirujano, evitando dañar el árbol o chocar.

En resumen:
Los investigadores tomaron herramientas de IA potentes pero "torpes" al principio, y las pulieron paso a paso (limpiando bordes, verificando colores y eliminando ruido inteligente) hasta crear un sistema capaz de ver el bosque no como un montón de hojas, sino como un conjunto de ramas individuales listas para ser cuidadas. ¡Es como pasar de mirar un borrón de pintura a ver una escultura detallada!

Each language version is independently generated for its own context, not a direct translation.

Aquí presento un resumen técnico detallado del artículo en español, estructurado según los componentes solicitados:

Título del Trabajo

Optimización Progresiva de Profundidad por Rama para el Análisis Conjunto de DEFOM-Stereo y SAM3 en Aplicaciones Forestales con UAV

1. Planteamiento del Problema

La poda autónoma de árboles mediante drones (UAV) requiere una reconstrucción 3D precisa a nivel de rama individual (con precisión centimétrica) a distancias de operación de 1-2 metros. Sin embargo, los mapas de disparidad densos generados por los esterematchers modernos, aunque avanzados, siguen siendo demasiado ruidosos para analizar ramas individuales en dosel forestales complejos.

El desafío principal radica en la fusión directa de dos tecnologías de vanguardia:

Estimación de profundidad: El modelo base DEFOM-Stereo (que combina un codificador ViT-L DINOv2 con decodificación iterativa) ofrece una generalización superior entre dominios, pero sus mapas de disparidad contienen ruido por píxel, outliers aislados y artefactos en los bordes.
Segmentación: El modelo SAM3 (Segment Anything Model 3) proporciona máscaras de instancias agnósticas a la clase, pero tiende a extenderse más allá de los contornos reales de las ramas.

Esta fusión directa genera tres familias de errores críticos que comprometen la fidelidad 3D:

Contaminación de límites de máscara: Los máscaras de SAM3 incluyen píxeles de fondo (cielo) con valores de profundidad drásticamente diferentes.
Inexactitud de segmentación: Píxeles con colores inconsistentes (hojas adheridas) y superposiciones entre máscaras de ramas vecinas.
Ruido de profundidad: Dispersión estadística y outliers en los datos de profundidad que corrompen los histogramas y reconstrucciones 3D.

2. Metodología: Un Pipeline Progresivo de 6 Versiones

Los autores proponen una estrategia de refinamiento progresivo, donde cada versión diagnostica y corrige un modo de fallo específico de la anterior, en lugar de buscar una solución monolítica.

Fase de Fundamentos (Compartida)

Adquisición: Imágenes estereoscópicas (1920×1080) capturadas con una cámara ZED Mini (baselines de 63 mm) sobre pinos radiata en Nueva Zelanda.
Procesamiento Inicial: DEFOM-Stereo genera el mapa de disparidad $\rightarrow$ Conversión a profundidad ( $Z = f \cdot B / D$ ) $\rightarrow$ Generación de nube de puntos 3D $\rightarrow$ Segmentación con SAM3 (máscaras con confianza > 0.7).

Evolución del Pipeline (Versiones 1 a 6)

Versión 1 (Línea Base): Cadena directa sin refinamiento. Resulta en nubes de puntos muy dispersas debido a los tres errores mencionados.
Versión 2 (Erosión Morfológica): Aplica erosión morfológica estándar para eliminar píxeles de fondo en los bordes.
- Limitación: Desconecta o elimina ramas finas (diámetro < 30 px).
Versión 3 (Erosión Preservadora de Esqueleto): Soluciona la pérdida de ramas finas mediante una estrategia topológica:
1. Erosión por distancia transformada.
2. Extracción del esqueleto topológico (centroide de 1 píxel).
3. Dilatación del esqueleto y unión con la región erosionada.
- Resultado: Mantiene la conectividad de ramas delgadas mientras limpia los bordes.
Versión 4 (Validación de Color y Resolución de Superposición): Aborda píxeles dentro de la máscara pero con color inconsistente (ej. hojas) y superposiciones.
1. Validación de Color: Construye un modelo gaussiano en espacio CIELAB a partir del núcleo erosionado de la rama. Rechaza píxeles con distancia de Mahalanobis alta ( $d_M > 3.5$ ).
2. Limpieza de Componentes Conectadas: Elimina fragmentos pequeños.
3. Arbitraje de Superposición: Asigna píxeles superpuestos a la rama con la menor distancia de Mahalanobis.
Versión 5 (Optimización Estadística de Profundidad - IQR/Z-score): Primera etapa de denoising profundo.
- Elimina outliers usando IQR (rango intercuartílico) iterativo y filtrado Z-score.
- Aplica detección de outliers espaciales locales y un filtro mediano.
- Limitación: Asume distribuciones simétricas (frecuentemente violado en vegetación) y el filtro mediano borra bordes finos.
Versión 6 (Optimización Robusta de 5 Etapas - La Solución Final): Reemplaza la V5 con un pipeline más robusto basado en MAD (Desviación Absoluta Mediana):
1. Detección Global Robusta (MAD): Usa MAD (punto de ruptura del 50%) en lugar de IQR para tolerar hasta el 50% de datos corruptos.
2. Consenso de Densidad Espacial: Votación vecina para detectar puntos aislados que parecen plausibles globalmente pero no localmente.
3. Detección Local MAD: Refinamiento local de ruido fino.
4. Filtro Guiado (Guided Filter): Suavizado que respeta los bordes de la imagen RGB (luminancia y crominancia) para preservar la geometría de la rama.
5. Filtrado Bilateral Adaptativo: Suavizado final donde el ancho de banda de profundidad ( $\sigma_d$ ) se ajusta automáticamente según la variabilidad de profundidad de cada rama (evita sobre-suavizar ramas delgadas).

3. Contribuciones Clave

Primer Pipeline End-to-End: Une un modelo base de estereoscopía (DEFOM) con segmentación de instancias (SAM3) para la reconstrucción 3D por rama en forestería.
Algoritmo de Erosión Preservadora de Esqueleto: Protege la topología de ramas delgadas durante el refinamiento de máscaras, superando la erosión morfológica tradicional.
Esquema de Validación de Color CIELAB-Mahalanobis: Permite la verificación de segmentación a nivel de píxel y la resolución de superposiciones entre ramas.
Pipeline de Optimización de Profundidad de 5 Etapas: Integra estadísticas MAD, consenso espacial, filtrado guiado y filtrado bilateral adaptativo para un denoising que preserva bordes.
Estudio de Ablación Sistemático: Cuantifica la contribución de cada etapa de refinamiento, demostrando que la combinación de todas es necesaria para la calidad final.

4. Resultados Experimentales

Evaluado en 1920×1080 imágenes de pinos radiata en Canterbury, Nueva Zelanda:

Reducción de Ruido: La desviación estándar promedio de la profundidad por rama ( $\sigma_Z$ ) se redujo en un 82% (de 440.3 mm en la V1 a 31.5 mm en la V6).
Preservación de Estructura: A diferencia de la V2 (que perdía el 85.6% de los píxeles de ramas finas), la V6 mantiene todas las ramas y su conectividad.
Calidad de la Nube de Puntos: La V6 produce nubes de puntos geométricamente coherentes, con agrupamiento de profundidad ajustado y ausencia casi total de outliers aislados, listas para la planificación de rutas de poda.
Comparativa V5 vs V6: La V6 (basada en MAD) superó consistentemente a la V5 (basada en IQR) en todas las ramas probadas, con reducciones de error adicionales del 60-93% respecto a la V4.

5. Significado e Impacto

Este trabajo es fundamental para la viabilidad de la poda forestal autónoma. Al resolver los problemas de ruido y segmentación que impedían el uso de modelos base en entornos forestales complejos, el pipeline permite:

Estimación precisa del diámetro de la rama: Crucial para seleccionar la herramienta de corte adecuada.
Planificación de trayectorias de poda: Nubes de puntos limpias permiten a los algoritmos de optimización calcular rutas de corte seguras y eficientes.
Medición de distancia en tiempo real: Distribuciones de profundidad estrechas permiten estimaciones precisas de la distancia UAV-rama durante el enfoque.

El código, los datos procesados y las visualizaciones 3D interactivas han sido liberados públicamente, estableciendo una nueva base para la investigación en forestería con UAV y visión por computadora.