SegmentAnyTreeV2: Scaling Transformer-Based Tree Instance Segmentation Across Sensors, Platforms, and Forests

Resumo Técnico: SegmentAnyTreeV2

Problema
A segmentação de nuvens de pontos 3D de florestas enfrenta desafios persistentes de complexidade estrutural, representação multiescala e variabilidade entre domínios. Embora métodos recentes de aprendizagem profunda tenham alcançado alto desempenho em florestas coníferas manejadas, eles têm dificuldade em ambientes estruturalmente heterogêneos (ex: florestas temperadas de folha larga e tropicais) caracterizados por copas entrelaçadas, sub-bosque denso e diversas modalidades de sensores. Modelos atuais de última geração, como o ForestFormer3D e o ForAINet, frequentemente dependem de backbones de convolução esparsa que falham em capturar o contexto de longo alcance dentro de copas de árvores individuais ou sofrem com exaustão de consultas (query exhaustion) em cenas aglomeradas. Além disso, os benchmarks atuais são enviesados para florestas boreais europeias, carecendo da diversidade necessária para avaliar a robustez através de biomas e tipos de sensores globais (ULS, MLS, TLS).

Metodologia
Os autores propõem o SegmentAnyTreeV2 (SaTv2), um framework agnóstico a sensores e plataformas para a segmentação conjunta semântica e de instância de nuvens de pontos florestais. A arquitetura é projetada para abordar as limitações de métodos baseados em consultas anteriores através de três inovações principais:

1. Backbone Transformer Baseado em Serialização:
   O SaTv2 utiliza o Point Transformer v3 (PTv3) como seu backbone. Diferente das redes de convolução esparsa, o PTv3 serializa pontos 3D ao longo de curvas de preenchimento de espaço (ordem-Z e Hilbert), permitindo que a autoatenção seja aplicada dentro de janelas deslizantes curtas ao longo de uma sequência 1D. Esta abordagem escala linearmente com a contagem de pontos, evita buscas de vizinhança de raio fixo e captura efetivamente o contexto geométrico de longo alcance dentro de copas de árvores individuais.

2. Decodificação Assimétrica Focada em Instâncias:
   O framework desacopla a segmentação semântica e de instância em caminhos assimétricos:

   • Cabeça Semântica: Um MLP leve, por voxel, aplicado diretamente às características do backbone, prevê classes semânticas (solo, madeira, folha) na resolução total.
   • Decodificador de Instância: O decodificador transformer é dedicado exclusivamente ao agrupamento de instâncias. Crucialmente, a entrada do decodificador é filtrada para incluir apenas voxels da classe árvore (madeira e folha) com base nas previsões da cabeça semântica. Isso reduz o comprimento efetivo da sequência, diminui o uso de memória e concentra a capacidade do decodificador na separação de árvores adjacentes.
   • Pontuação de Máscara (Mask Scoring): O decodificador emprega uma estratégia de dupla projeção onde a memória de atenção e a pontuação de máscara utilizam caminhos de características distintos. O ramo de pontuação de máscara é mais profundo e inclui normalização de camada intermediária para produzir previsões de máscara mais nítidas.

3. Amostragem Consciente de Instância (ISA) e Estratégia de Treinamento:
   Para abordar o problema de exaustão de consultas em cenas densas, o SaTv2 substitui a inicialização de consulta aleatória pela Amostragem Consciente de Instância (Instance-Aware Sampling). Uma cabeça de embedding auxiliar aprende um espaço de características discriminativo onde voxels da mesma instância são agrupados. As sementes de consulta são então inicializadas via Amostragem de Ponto Mais Distante (FPS) dentro deste espaço de embedding, garantindo que as consultas sejam naturalmente distribuídas entre árvores distintas.

   • Supervisão Um-para-Muitos: As consultas são combinadas com instâncias de verdade fundamental (ground-truth) usando uma atribuição baseada em sementes de um-para-muitos, melhorando o recall para árvores grandes que podem exigir múltiplas consultas.
   • Aquecimento de Currículo (Curriculum Warm-up): O módulo ISA é ativado apenas após a época 30, permitindo que a cabeça semântica e o espaço de embedding amadureçam antes de fornecer as sementes para o decodificador de instância.

4. Pipeline de Inferência Escalável:
   Para parcelas em escala de hectare, o modelo utiliza uma estratégia de pavimentação baseada em cilindros (raio de 16m, passo de 4m). As previsões de cilindros sobrepostos são fundidas usando uma fusão global gananciosa (greedy) ordenada por confiança, que resolve instâncias duplicadas com base em sobreposição assimétrica, seguida de filtragem de borda e de solo.

Principais Contribuições

• Dataset FOR-instance v3: Os autores introduzem um benchmark expandido compreendendo 427 cenas e 26.496 árvores anotadas em nove regiões geográficas e quatro continentes. Este dataset aumenta significativamente a complexidade estrutural, incluindo florestas temperadas de folha larga não manejadas e florestas tropicais, e abrange diversas modalidades de sensores (TLS, MLS, ULS, HeliALS).
• Arquitetura SegmentAnyTreeV2: Um modelo unificado de ponta a ponta que combina PTv3 com um decodificador de atenção cruzada focado em árvores, demonstrando que backbones baseados em serialização e estratégias de decodificação centradas em instâncias superam abordagens de convolução esparsa em florestas complexas.
• Desempenho de Última Geração (State-of-the-Art): O modelo atinge novos marcos tanto em precisão de distribuição interna quanto em generalização zero-shot.

Resultos
Avaliado no split de teste FOR-instance v2, o SegmentAnyTreeV2 (treinado no v3) alcança:

• Segmentação de Instância: 90,5% de Precisão, 80,2% de Recall, 85,0% de F1 e 90,7% de Cobertura. Isso representa uma melhoria de 2,2 pontos percentuais (pp) em F1 e uma melhoria de 9,5 pp em cobertura sobre o método anterior mais eficiente (ForestFormer3D).
• Segmentação Semântica: 87,6% de mIoU (Interseção sobre União média), com desempenho particularmente forte na classe difícil "madeira" (70,1%).
• Generalização Zero-Shot: Sem ajuste fino (fine-tuning), o modelo alcança os melhores escores de F1 em três de quatro locais inteiramente não vistos (Wytham Woods, LAUTx, Litchfield e Robson Creek), demonstrando robusta transferibilidade entre sensores e biomas.
• Análise por Região: O modelo mostra os ganhos mais significativos em regiões estruturalmente complexas (ex: BlueCat e TUWIEN), onde as melhorias de cobertura excedem +30 pp em relação aos baselines, indicando uma completude de máscara superior em dosséis densos e sobrepostos.

Significância e Alegações
O artigo afirma que o SegmentAnyTreeV2 estabelece um novo estado da arte para a segmentação de instâncias florestais, particularmente em ambientes estruturalmente complexos e desafiadores onde métodos anteriores falham. Os autores argumentam que o progresso do campo está mudando de simplesmente aumentar o volume de anotação para melhorar a qualidade e a complexidade dos dados de treinamento e das arquiteturas de modelos.

As principais conclusões incluem:

• Superioridade Arquitetural: Os ganhos em cobertura são impulsionados principalmente pelo backbone PTv3 e pelo decodificador focado em instâncias, e não apenas pelo maior dataset, sugerindo que a atenção baseada em serialização é crítica para capturar o contexto em escala de copa.
• Viabilidade Operacional: O modelo aproxima o inventário ao nível de árvore individual da implementação operacional em florestas coníferas, enquanto mostra melhorias claras em florestas mistas e tropicais complexas.
• Recurso Comunitário: O lançamento do FOR-instance v3 e dos pesos do modelo visa fornecer um benchmark rigoroso e padronizado para avaliar a generalização através de diversos tipos de florestas e sensores, abordando o viés histórico em direção a florestas boreais manejadas.

Os autores mantêm-se modestos quanto às limitações, observando que, embora o desempenho tenha melhorado, a separação de instâncias em estandes de coníferas extremamente densos e entrelaçados (ex: Ofental) e florestas tropicais altamente complexas (ex: Robson Creek) continua sendo um desafio, com alguns erros de subsegmentação persistentes. Eles sugerem que o progresso futuro exigirá tanto melhorias de engenharia no modelo quanto o desenvolvimento de benchmarks abertos ainda mais desafiadores.