💻 computer science

SelectAnyTree: A Promptable Instance Segmentation Model for 3D Forest LiDAR Point Clouds

SelectAnyTree es un modelo de segmentación de instancias 3D direccionable mediante prompts para nubes de puntos LiDAR forestales que aprovecha un codificador de clic para consulta (Click-to-query) y una inicialización guiada por CHM para delinear de manera eficiente y precisa árboles individuales con una interacción mínima del usuario, superando a los modelos de referencia existentes en precisión, eficiencia y generalización a través de diversos entornos forestales.

Autores originales: Trung Thanh Nguyen, Daniel Lusk, Kilian Gerberding, Janusch Vajna-Jehle, Tuan-Anh Vu, Duc Viet Le, Tu Vo, Phi Le Nguyen, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide, Julian Frey, Teja Kattenborn

Publicado 2026-06-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Trung Thanh Nguyen, Daniel Lusk, Kilian Gerberding, Janusch Vajna-Jehle, Tuan-Anh Vu, Duc Viet Le, Tu Vo, Phi Le Nguyen, Yasutomo Kawanishi, Takahiro Komamizu, Ichiro Ide, Julian Frey, Teja Kattenborn

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás parado en un bosque masivo y denso. Si miras hacia arriba, ves un enredo de ramas y hojas. Ahora, imagina que cada hoja y cada ramita de este bosque ha sido escaneada por un láser, convirtiendo toda la escena en una gigantesca nube de puntos 3D.

El problema que enfrentan los científicos es: ¿Cómo distinguir un árbol específico de sus vecinos en esta gigantesca nube de puntos?

Tradicionalmente, las computadoras intentaban separar cada árbol del bosque de una sola vez, como una máquina intentando clasificar un montón de piezas de Lego mezcladas de un solo golpe. Si la máquina cometía un error con un árbol, tenías que desechar todo el montón y empezar de nuevo, o pasar horas arreglándolo manualmente.

Entra "SelectAnyTree".

Imagina que SelectAnyTree es un "puntero láser" mágico para bosques 3D. En lugar de obligar a la computadora a clasificar todo el bosque a la vez, simplemente señalas y haces clic en el árbol que deseas. La computadora entonces aisla instantáneamente ese árbol específico, dejando atrás el resto.

Así es como funciona, usando algunas analogías de la vida cotidiana:

1. El "Escaneo de una sola vez" (La tarjeta de la biblioteca)

Imagina entrar en una biblioteca masiva. Normalmente, si quieres encontrar un libro, tienes que pedirle al bibliotecario que busque en todo el catálogo cada vez.
SelectAnyTree es diferente. Escanea todo el bosque (la biblioteca) una sola vez y crea un mapa permanente (una "tarjeta de la biblioteca"). Una vez que ese mapa está hecho, puedes pedir cualquier árbol y la computadora no necesita volver a escanear el bosque. Simplemente consulta su mapa. Esto la hace increíblemente rápida.

2. El "Clic para consultar" (La varita mágica)

Cuando haces clic en un árbol, la computadora no solo adivina. Utiliza un "traductor" especial (el Codificador de Prompts/Prompt Encoder).

El Clic: Haces clic en una rama.
La Traducción: La computadora traduce tu clic en una pregunta: "Encuentra el árbol que incluye este punto, pero NO los puntos en los que hago clic como 'no'".
El Resultado: Extrae una forma 3D única y limpia de solo ese árbol.

3. La "Pista gratuita" (El sombrero de copa del árbol)

Esta es la esencia del artículo. En un bosque denso, hacer clic en una rama puede ser confuso porque las ramas de diferentes árboles se superponen.
SelectAnyTree tiene un "superpoder" integrado. Mira el bosque desde arriba (como una vista de pájaro) para encontrar la parte superior del árbol (la copa).

La Analogía: Imagina intentar encontrar a una persona específica en una habitación llena de gente. Si solo señalas su hombro, podrías agarrar a la persona equivocada. Pero si también señalas la parte superior de su cabeza, es mucho más fácil identificarla.
El Benefio: La computadora encuentra automáticamente la "parte superior de la cabeza" (la copa del árbol) por ti sin que tengas que hacer clic en ella. Te da una "pista gratuita" para asegurar que agarre el árbol correcto de inmediato.

4. El "Bucle de corrección" (El escultor)

A veces, la computadora podría agarrar accidentalmente una rama de un vecino.

La Analogía: Piensa en esto como esculpir arcilla. Comienzas con una forma tosca. Si tomas demasiada arcilla, simplemente la pellizcas para quitarla.
Cómo funciona: Si la computadora comete un error, simplemente haces clic en la parte "incorrecta" (un clic negativo). La computadora aprende de tu corrección en tiempo real, refinando la forma hasta que sea perfecta.

¿Por qué es esto importante?

Velocidad: Es mucho más rápido que los métodos anteriores. Puede aislar un árbol con un solo clic, mientras que otros modelos necesitaban cinco o seis clics para obtener el mismo resultado.
Precisión: Hace el trabajo con una precisión del 78.2% al primer clic, lo cual es un gran salto adelante.
Eficiencia: Es ligero. No necesita una supercomputadora para funcionar; es lo suficientemente pequeño como para ejecutarse en equipos estándar, a diferencia de otros modelos que son "pesados" y lentos.

En resumen:
Antes de esto, encontrar un árbol específico en un escaneo 3D de un bosque era como intentar encontrar una aguja en un pajar clasificando todo el pajar cada vez. SelectAnyTree te permite simplemente señalar la aguja, te da una pista gratuita sobre dónde está la punta de la aguja y te permite recortar rápidamente cualquier error. Convierte una tarea compleja y tediosa en un simple juego interactivo de "clic y refinar".

Resumen Técnico: SelectAnyTree

Planteamiento del Problema

La segmentación de instancias automatizada de nubes de puntos LiDAR de bosques 3D es esencial para el monitoreo forestal escalable, la estimación de biomasa y el análisis ecológico. Sin embargo, el progreso se ve obstaculizado por la escasez de datos etiquetados para instancias de árboles individuales. La anotación manual es laboriosa debido a los millones de puntos y las copas complejas y superpuestas en una sola hectárea. Además, los métodos actuales de última generación (por ejemplo, ForestFormer3D, ForestMamba) operan en un modo totalmente automático de una sola pasada que segmenta todos los árboles simultáneamente. Este diseño carece de mecanismos para que los usuarios seleccionen árboles específicos de interés o corrijan errores de forma interactiva en dosel densos y multicapa donde los modelos automáticos fallan con frecuencia. Aunque existen modelos de segmentación con capacidad de respuesta a prompts para imágenes 2D y objetos 3D genéricos (por ejemplo, SAM, Point-SAM), estos no están optimizados para las características estructurales específicas de las escenas forestales, tales como la dispersión a gran escala, la organización vertical suelo-dosel y las copas altamente entrelazadas.

Metodología: SelectAnyTree

Los autores proponen SelectAnyTree, un modelo de segmentación de instancias con capacidad de respuesta a prompts diseñado específicamente para LiDAR forestal 3D. El modelo permite a los usuarios seleccionar y delinear cualquier árbol individual mediante unos pocos clics, al tiempo que admite la corrección interactiva de errores. El flujo de trabajo consta de cuatro etapas principales:

Codificador de Escena 3D: La nube de puntos de entrada se voxeliza y es procesada una sola vez por un codificador disperso (basado en modelos de espacio de estados) para generar características por vóxel reutilizables. Una rama auxiliar predice los logits de árbol/no árbol y las incrustaciones discriminativas de la instancia para mantener la salud del backbone durante el entrenamiento.
Codificador de Prompts: Este componente convierte un conjunto de clics del usuario (positivos o negativos) en un único query de contenido. Fusiona tres elementos:
- Ancla Geométrica: Un feature de backbone local agrupado de un cilindro alrededor de los clics positivos, que captura el contexto de la copa local.
- Codificación de Posición y Etiqueta: Las coordenadas de los clics normalizadas y su polaridad (positiva/negativa) se codifican mediante codificación de Fourier aleatoria y una incrustación aprendida.
- Agregación con Signo: Los tokens de los clics se combinan mediante una media con signo, donde los clics positivos atraen el query hacia el objetivo y los negativos lo alejan.
  El query final es una proyección lineal de los tokens agregados sumada al ancla geométrica.
Decodificador de Query: Un decodificador de query de espacio de estados (que utiliza complejidad de tiempo lineal) toma el query del prompt y los features del vóxel almacenados en caché. Refina iterativamente el query mediante la agregación de $k$ -vecinos más cercanos locales y el modelado de espacio de estados para predecir una máscara de resolución de vóxel y un puntaje de objetividad. La máscara se mapea luego de vuelta a la nube de puntos original.
Primer Prompt Guiado por CHM y Despliegue Interactivo:
- Prompt de CHM: Para cerrar la brecha entre los modos automático e interactivo, el modelo utiliza opcionalmente la punta de un árbol del Modelo de Altura del Dosel (CHM) como un primer prompt "gratuito". Este prompt guiado por la geometría consiste en un clic positivo en el pico de la copa y otro en el interior del tronco, lo que no requiere intervención del usuario.
- Despliegue Compartido: Tanto el entrenamiento como la evaluación utilizan un "despliegue de simulación de clic interactivo" idéntico. Partiendo de una máscara de verdad de campo, el sistema simula las correcciones del usuario muestreando clics de regiones de falsos negativos (omitidos) o falsos positivos (filtraciones). Esto asegura que el objetivo de optimización coinca exactamente con el protocolo de evaluación.

Contribuciones Clave

Modelo SelectAnyTree: El primer modelo de segmentación de instancias con capacidad de respuesta a prompts adaptado para LiDAR forestal 3D, que permite a los usuarios seleccionar y refinar árboles individuales con pocos clics y corregir errores en doseles densos sin necesidad de reentrenamiento.
Arquitectura Consciente del Bosque:
- Un codificador de prompts ligero que fusiona la posición del clic, la polaridad y los features locales del backbone en un único query, lo que permite desambiguar eficazmente los árboles en doseles entrelazados.
- Integración de la punta del CHM como un primer prompt guiado por la geometría y de costo cero que ancla el proceso de segmentación.
Entrenamiento y Evaluación Consistentes: Adopción de un despliegue de simulación de clic interactivo compartido para el entrenamiento y las pruebas, asegurando que el modelo sea optimizado para la tarea específica de refinamiento interactivo.
Eficiencia: El modelo codifica la escena una vez y reutiliza los features para todos los prompts, lo que permite una selección de múltiples árboles eficiente con complejidad de tiempo lineal.

Resultados Experimentales

El modelo fue evaluado en el benchmark FOR-instanceV2 (siete regiones forestales diversas) y un conjunto de datos independiente mantenido fuera del entrenamiento (LAUTx).

Rendimiento Interactivo: SelectAnyTree logró un 78.2 IoU con un solo clic de usuario, superando al baseline de prompts más fuerte (Point-SAM) por 24.8 puntos. Alcanzó todos los objetivos de precisión (IoU 0.7, 0.8, 0.9) con la menor cantidad de clics en comparación con los baselines.
Generalización: El modelo demostró una fuerte generalización al dataset no visto LAUTx, manteniendo una alta precisión de un solo clic y un bajo número de clics, mientras que otros baselines de prompts se degradaron significativamente.
Eficiencia: SelectAnyTree es el modelo más compacto (19.4M de parámetros) y el más rápido. Procesa 640k puntos por parche (frente a 20k–40k para los baselines) y completa una sesión de 5 clics en 549 ms, lo cual es más de 4 veces más rápido que el siguiente baseline más rápido y 16 veces más rápido que Point-SAM. También utiliza significativamente menos memoria de GPU (1.9 GB frente a 22.4 GB de Point-SAM).
Configuración de Cero Clics: Cuando los prompts fueron muestreados automáticamente en una rejilla (configuración de cero clics), SelectAnyTree logró la mejor Precisión y F1 entre los métodos de prompts, aunque quedó por detrás de los modelos especializados totalmente automáticos (por ejemplo, ForestMamba), como era de esperar.

Significancia y Reivindicaciones

El artículo afirma que SelectAnyTree aborda la limitación fundamental de la inteligencia forestal actual: la falta de control humano y el alto costo de la anotación. Al traer el paradigma de "segment anything" a los bosques 3D, permite:

Anotación Interactiva: Los usuarios pueden seleccionar árboles específicos o corregir errores en doseles densos sin procesar toda la escena o reentrenar el modelo.
Eficiencia de Etiquetas: La capacidad de generar máscaras de alta calidad a partir de unos pocos clics reduce la carga de trabajo para la creación de datos de verdad de campo para tareas posteriores como la clasificación de especies y la estimación de biomasa.
Escalabilidad: La eficiencia del modelo y su capacidad para generalizarse a través de diversos tipos de bosques sugieren que puede soportar esfuerzos de generación de etiquetas a gran escala y de origen colaborativo, elevando potencialmente el cuello de botella de las etiquetas que actualmente restringe el monitoreo forestal basado en LiDAR.

Los autores reconocen limitaciones, señalando que el prompt de la punta del CHM puede ser menos confiable en doseles extremadamente densos y multicapa donde la predicción de los vóxeles del árbol se degrada, y que los parámetros alométricos fijos pueden no transferirse perfectamente a través de todos los tipos de bosques. El trabajo futuro incluye la exploración de tipos de prompts más ricos (cajas, trazos) y el preentrenamiento a gran escala.