Low-Cost Stereo Vision for Robust 3D Positioning of Thin Radiata Pine Branches in Autonomous Drone Pruning

Resumo Técnico: Visão Estéreo de Baixo Custo para Posicionamento 3D Robusto de Galhos Finos de Pinus radiata

Enunciação do Problema
A poda manual de Pinus radiata (pinheiro radiata) é perigosa e intensiva em mão de obra, criando uma demanda por soluções autônomas. Plataformas de poda autônomas existentes geralmente dependem de sensores LiDAR caros e limitam-se à detecção de galhos grossos (20–40 mm), falhando em abordar os galhos finos do dossel superior (tão finos quanto 10 mm), críticos para a produção de madeira clara e sem nós. O principal gargalo não é o mecanismo de corte, mas a capacidade do pipeline de percepção de detectar com precisão e determinar a posição 3D dessas estruturas finas e esparsamente texturizadas usando hardware de baixo custo. Este artigo investiga se uma única câmera estéreo de baixo custo, sem sensores de profundidade auxiliares, pode fornecer precisão suficiente para esta tarefa.

Metodologia
O sistema proposto é um pipeline de percepção integrado compreendendo duas etapas paralelas: segmentação de galhos e estimativa de profundidade, fundidas por meio de um algoritmo de triangulação novel.

1. Segmentação de Galhos:
   O estudo avalia modelos de segmentação de instâncias para gerar máscaras em nível de pixel de galhos. Duas famílias são comparadas:

   • Detectores de duas etapas: Sete variantes do Mask R-CNN (usando backbones ResNet-50/101 e ResNeXt-101 com configurações C4, DC5 e FPN).
   • Detectores de uma etapa em tempo real: Variantes do YOLOv8 (n, s, m, l, x) e YOLOv9 (c, e).
     Os modelos são treinados em um conjunto de dados personalizado de 71 pares de imagens estéreo capturados indoor com uma câmera ZED Mini.

2. Estimativa de Profundidade:
   O pipeline compara métodos tradicionais e baseados em aprendizado profundo de correspondência estéreo para gerar mapas de disparidade:

   • Linha de Base Tradicional: Semi-Global Block Matching (SGBM) com pós-filtragem por Mínimos Quadrados Ponderados (WLS).
   • Aprendizado Profundo: Seis arquiteturas, incluindo redes de volume de custo (PSMNet, ACVNet, GWCNet, MobileStereoNet), redes de refinamento iterativo (RAFT-Stereo) e NeRF-Supervised Deep Stereo.
   • Análise Cruzada de Conjuntos de Dados: Os experimentos incluem o ajuste fino do PSMNet em conjuntos de dados de condução urbana (KITTI 2012, KITTI 2015) e Scene Flow para quantificar a lacuna de domínio entre benchmarks urbanos e cenas florestais. Modelos de profundidade monoculares (MiDaS, Depth Anything) são avaliados apenas como verificação de sanidade para ambiguidade de escala métrica.

3. Fusão e Posicionamento 3D (Contribuição Principal):
   Para converter uma máscara de segmentação e um mapa de disparidade ruidoso em uma única distância robusta, o artigo introduz um algoritmo de triangulação baseado em centróide com rejeição de outliers por Desvio Absoluto Mediano (MAD):

   • Amostragem de Centróide: Em vez de calcular a média de todos os pixels na máscara (o que inclui pixels de silhueta/fundo ruidosos), pontos de fronteira são agrupados em triângulos. Os centróides desses triângulos servem como locais de amostragem, enviesando as amostras em direção à linha medial do galho, onde a correspondência é mais confiável.
   • Expansão de Vizinhança: Cada centróide é expandido por pontos de amostra vizinhos para reduzir a variância.
   • Filtragem MAD: Outliers são rejeitados com base no Desvio Absoluto Mediano dos valores de profundidade dentro do pool de amostras. Apenas valores dentro de $mediana \pm k \cdot MAD$ (onde $k=3$) são retidos.
   • Estimativa Final: A distância final do galho à câmera é a média dos valores de profundidade filtrados e retidos.

Principais Resultados

• Desempenho de Segmentação: No conjunto de dados de galhos, as variantes YOLOv8 e YOLOv9 superaram significativamente o Mask R-CNN na qualidade da máscara. Embora o Mask R-CNN tenha alcançado alta precisão de caixas delimitadoras (77–88 mAPbox), sua precisão de máscara colapsou para abaixo de 12 mAPmask. Em contraste, as variantes YOLO alcançaram 98,7–99,6 mAPbox e 77,1–82,0 mAPmask. Os autores atribuem isso à previsão de protótipos de alta resolução do YOLO versus o aumento de amostragem de máscara de baixa resolução fixa do Mask R-CNN, que luta com estruturas finas.
• Estimativa de Profundidade:
  • Lacuna de Domínio: O ajuste fino do PSMNet em conjuntos de dados de condução urbana (KITTI) degradou o desempenho em galhos finos, confirmando uma lacuna de domínio significativa.
  • Comparação de Arquiteturas: O NeRF-Supervised Deep Stereo produziu os mapas de disparidade mais limpos para galhos sem exigir verdade fundamental no domínio, superando o SGBM e outras redes profundas na preservação das bordas dos galhos.
  • Eficácia da Fusão: A triangulação baseada em centróide com filtragem MAD converteu com sucesso mapas de disparidade ruidosos em estimativas de distância estáveis. Histogramas qualitativos mostraram que o pipeline NeRF-Stereo produziu estimativas de profundidade mais concentradas em torno da distância real (1m, 1,5m, 2m) em comparação com o SGBM.
  • Ablação: A remoção da filtragem MAD ou o uso de amostragem de máscara completa (em vez de amostragem de centróide) resultou em deriva significativa de distância (dezenas de centímetros) devido ao sangramento de fundo e artefatos de silhueta.

Significado e Alegações
O artigo alega que a visão estéreo passiva de baixo custo, quando acoplada a segmentadores de uma etapa baseados em protótipos e ao algoritmo de fusão proposto, é um front-end de percepção viável para a poda autônoma de galhos finos (até 10 mm).

• Novidade: A contribuição principal é o acoplamento da segmentação estéreo com uma triangulação baseada em centróide e rejeição de outliers por MAD, que aborda os desafios específicos de textura esparsa, estruturas finas e valores de disparidade ruidosos em cenas florestais.
• Viabilidade: O estudo demonstra que sensores de profundidade auxiliares (como LiDAR) não são estritamente necessários para o posicionamento de galhos em distâncias de trabalho de 1–2 m, desde que o pipeline de percepção seja robusto ao ruído.
• Limitações e Trabalho Futuro: Os autores observam modestamente que o conjunto de dados atual é limitado a condições indoor e carece de movimento do vento ou entupimento denso do dossel. Eles identificam a necessidade de coleta de campo outdoor com dados de referência LiDAR para fornecer cifras quantitativas de precisão ponta a ponta e o desenvolvimento de arquiteturas de múltiplas tarefas para reduzir a latência a bordo para operação de drones em tempo real.