SegmentAnyTreeV2: Scaling Transformer-Based Tree Instance Segmentation Across Sensors, Platforms, and Forests

Resumen Técnico: SegmentAnyTreeV2

Planteamiento del Problema
La segmentación de nubes de puntos 3D de bosques enfrenta desafíos persistentes debido a la complejidad estructural, la representación multiescala y la variabilidad transdominio. Aunque los métodos recientes de aprendizaje profundo han logrado un alto rendimiento en bosques de coníferas gestionados, presentan dificultades en entornos estructuralmente heterogéneos (por ejemplo, bosques de frondosas templadas y bosques tropicales) caracterizados por copas entrelazadas, regeneración densa del sotobosque y diversas modalidades de sensores. Los modelos actuales de vanguardia, como ForestFormer3D y ForAINet, a menudo dependen de backbones de convolución dispersa que no logran capturar el contexto de largo alcance dentro de las copas de árboles individuales o sufren de agotamiento de consultas (query exhaustion) en escenas congestionadas. Además, los benchmarks actuales están sesgados hacia los bosques boreales europeos, careciendo de la diversidad necesaria para evaluar la robustez a través de biomas y tipos de sensores globales (ULS, MLS, TLS).

Metodología
Los autores proponen SegmentAnyTreeV2 (SaTv2), un marco de trabajo agnóstico al sensor y a la plataforma para la segmentación conjunta semántica e de instancias de nubes de puntos forestales. La arquitectura está diseñada para abordar las limitaciones de los métodos previos basados en consultas mediante tres innovaciones principales:

1. Backbone Transformer Basado en Serialización:
   SaTv2 utiliza Point Transformer v3 (PTv3) como su backbone. A diferencia de las redes de convolución dispersa, PTv3 serializa los puntos 3D a lo largo de curvas de llenado de espacio (orden Z y Hilbert), lo que permite aplicar la autoatención dentro de ventanas deslizantes cortas a lo largo de una secuencia 1D. Este enfoque escala linealmente con el recuento de puntos, evita las búsquedas de vecinos de radio fijo y captura eficazmente el contexto geométrico de largo alcance dentro de las copas de los árboles individuales.

2. Decodificación Asimétrica Centrada en Instancias:
   El marco desacopla la segmentación semántica y de instancias en vías asimétricas:

   • Cabeza Semántica: Un MLP ligero por vóxel aplicado directamente a las características del backbone predice las clases semánticas (suelo, madera, hoja) a resolución completa.
   • Decodificador de Instancias: El decodificador transformer se dedica exclusivamente a la agrupación de instancias. Crucialmente, la entrada del decodificador se filtra para incluir únicamente vóxeles de clase árbol (madera y hoja) basados en las predicciones de la cabeza semántica. Esto reduce la longitud efectiva de la secuencia, disminuye el uso de memoria y concentra la capacidad del decodificador en la separación de árboles adyacentes.
   • Puntuación de Máscara (Mask Scoring): El decodificador emplea una estrategia de doble proyección donde la memoria de atención y la puntuación de la máscara utilizan vías de características separadas. La rama de puntuación de máscara es más profunda e incluye normalización de capa intermedia para producir predicciones de máscara más nítidas.

3. Muestreo Consciente de Instancias (ISA) y Estrategia de Entrenamiento:
   Para abordar el problema del agotamiento de consultas en escenas densas, SaTv2 reemplaza la inicialización de consultas aleatoria con Muestreo Consciente de Instancias (Instance-Aware Sampling). Una cabeza de incrustación auxiliar aprende un espacio de características discriminativo donde los vóxeles de una misma instancia se agrupan. Las semillas de consulta se inicializan entonces mediante Muestreo de Punto Más Lejano (Farthest Point Sampling - FPS) dentro de este espacio de incrustación, asegurando que las consultas se distribuyan naturalmente a través de distintos árboles.

   • Supervisión de Uno-a-Muchos: Las consultas se emparejan con las instancias de verdad de campo (ground-truth) utilizando una asignación basada en semillas de uno-a-muchos, lo que mejora la recuperación (recall) para árboles grandes que pueden requerir múltiples consultas.
   • Calentamiento de Currículo (Curriculum Warm-up): El módulo ISA se activa solo después de la época 30, permitiendo que la cabeza semántica y el espacio de incrustación maduren antes de sembrar el decodificador de instancias.

4. Pipeline de Inferencia Escalable:
   Para parcelas a escala de hectáreas, el modelo emplea una estrategia de teselado basada en cilindros (radio de 16 m, paso de 4 m). Las predicciones de los cilindros superpuestos se fusionan mediante una fusión global codiciosa (greedy) ordenada por confianza que resuelve instancias duplicadas basándose en el solapamiento asimétrico, seguido de un filtrado consciente de límites y del suelo.

Contribuciones Clave

• Dataset FOR-instance v3: Los autores introducen un benchmark expandido que comprende 427 escenas y 26,496 árboles anotados a través de nueve regiones geográficas y cuatro continentes. Este conjunto de datos aumenta significamente la complejidad estructural, incluyendo bosques de frondosas templadas no gestionados y bosques tropicales, y abarca diversas modalidades de sensores (TLS, MLS, ULS, HeliALS).
• Arquitectura SegmentAnyTreeV2: Un modelo unificado de extremo a extremo que combina PTv3 con un decodificador de atención cruzada enfocado en árboles, demostrando que los backbones basados en serialización y las estrategias de decodificación centradas en instancias superan a los enfoques de convolución dispersa en bosques complejos.
• Rendimiento de Vanguardia (SOTA): El modelo alcanza nuevos hitos tanto en precisión in-distribution como en generalización zero-shot.

Resultos
Evaluado en la división de prueba FOR-instance v2, SegmentAnyTreeV2 (entrenado con datos v3) logra:

• Segmentación de Instancias: 90.5% de Precisión, 80.2% de Recall, 85.0% de F1, y 90.7% de Cobertura (Coverage). Esto representa una mejora de +2.2 puntos porcentuales (pp) en F1 y una mejora de +9.5 pp en cobertura sobre el método anterior más avanzado (ForestFormer3D).
• Segmentación Semántica: 87.6% de media de Intersección sobre Unión (mIoU), con un rendimiento particularmente fuerte en la difícil clase "madera" (70.1%).
• Generalización Zero-Shot: Sin ajuste fino (fine-tuning), el modelo logra los mejores puntajes de F1 en tres de los cuatro sitios completamente no vistos (Wytham Woods, LAUTx, Litchfield y Robson Creek), demostrando una transferencia robusta entre sensores y biomas.
• Análisis por Región: El modelo muestra las ganancias más significativas en regiones estructuralmente complejas (por ejemplo, BlueCat y TUWIEN), donde las mejoras de cobertura superan los +30 pp respecto a los baselines, indicando una completitud de máscara superior en doseles densos y superpuestos.

Significancia y Reivindicaciones
El artículo afirma que SegmentAnyTreeV2 establece un nuevo estado del arte para la segmentación de instancias forestales, particularmente en entornos desafiantes y estructuralmente complejos donde los métodos anteriores fallan. Los autores argumentan que el progreso del campo se está desplazando de simplemente aumentar el volumen de anotación hacia mejorar la calidad y complejidad de los datos de entrenamiento y las arquitecturas de los modelos.

Las conclusiones clave incluyen:

• Superioridad Arquitectónica: Las ganancias en cobertura son impulsadas principalmente por el backbone PTv3 y el decodificador enfocado en instancias, más allá de solo el mayor volumen de datos, lo que sugiere que la atención basada en serialización es crítica para capturar el contexto a escala de copa.
• Viabilidad Operativa: El modelo acerca el inventario a nivel de árbol individual a la implementación operativa en bosques de coníferas, mientras muestra claras mejoras en bosques mixtos y tropicales complejos.
• Recurso para la Comunidad: El lanzamiento de FOR-instance v3 y los pesos del modelo tiene como objetivo proporcionar un benchmark riguroso y estandarizado para evaluar la generalización a través de diversos tipos de bosques y sensores, abordando el sesgo histórico hacia los bosques boreales gestionados.

Los autores mantienen la modestia respecto a las limitaciones, señalando que, aunque el rendimiento ha mejorado, la separación de instancias en masas de coníferas extremadamente densas e entrelazadas (por ejemplo, Ofental) y bosques tropicales altamente complejos (por ejemplo, Robson Creek) sigue siendo un desafío, persistiendo algunos errores de sub-segmentación. Sugieren que el progreso futuro requerirá tanto mejoras de ingeniería en el modelo como el desarrollo de benchmarks abiertos aún más desafiantes.