Granularity-Aware Transfer for Tree Instance Segmentation in Synthetic and Real Forests

1. Problema Abordado

O artigo identifica um desafio crítico na percepção robótica florestal: a transferência sintética para real (Sim→Real) quando há uma mismatch de granularidade de rótulos.

• Contexto: Dados sintéticos (gerados em simuladores como Unreal Engine 5) oferecem anotações finas e detalhadas (separando "tronco" e "coroa/árvore inteira"). Em contraste, dados reais de florestas geralmente possuem apenas anotações grossas (uma única classe "Árvore"), pois a anotação manual de detalhes estruturais é logística e financeiramente inviável em grande escala.
• Desafio: Modelos treinados apenas em dados sintéticos falham ao generalizar para o mundo real devido à lacuna de domínio (diferenças de textura, iluminação). Além disso, a diferença na definição das classes (fina vs. grossa) agrava essa falha, levando a uma degradação severa de desempenho se abordada diretamente.
• Objetivo: Desenvolver um método para transferir o conhecimento estrutural fino dos dados sintéticos para um modelo treinado em dados reais com rótulos grossos, sem a necessidade de reanotação dos dados reais.

2. Metodologia Proposta

Os autores propõem uma abordagem baseada em Distilação de Conhecimento Consciente de Granularidade e um novo protocolo de avaliação.

A. O Dataset MGTD (Mixed-Granularity Tree Dataset)

Foi criado um novo benchmark que combina:

• 53.000 imagens sintéticas: Com anotações finas (tronco e árvore inteira) geradas via Unreal Engine 5 sob diversas condições de iluminação (amanhecer, anoitecer, meio-dia, neve).
• 3.600 imagens reais: Capturadas em florestas reais com anotação única de "Árvore".
• Pipeline de Anotação: Utiliza YOLOv8 para caixas delimitadoras e o Segment Anything Model (SAM) para máscaras de instância, garantindo consistência geométrica.

B. Protocolo de Avaliação em Quatro Estágios

Para isolar e analisar os efeitos da mudança de domínio e da granularidade, o estudo utiliza quatro fases:

1. Fase 1 (Apenas Sintético): Treinamento de dois "professores" (Teachers) separados: um para troncos e outro para árvores inteiras. Estabelece o limite superior de desempenho.
2. Fase 2 (Transferência Zero-Shot): Avaliação direta dos professores sintéticos nas imagens reais (usando métricas agnósticas a rótulos) para quantificar a lacuna de domínio pura.
3. Fase 3 (Apenas Real): Treinamento de um "aluno" (Student) apenas com dados reais e rótulos grossos. Estabelece a linha de base real.
4. Fase 4 (Distilação Consciente de Granularidade): O núcleo da contribuição. Transfere os priores estruturais dos professores sintéticos (congelados) para o aluno treinado em dados reais.

C. Mecanismo de Distilação (Fase 4)

A inovação principal é como a granularidade é reconciliada durante a distilação:

• Dois Professores: Um especializado em troncos ($T_{trunk}$) e outro em árvores inteiras ($T_{whole}$).
• Fusão no Espaço de Logits: Como a classe "Árvore" real é a união de "tronco" + "coroa", mas não são classes independentes (o tronco é parte da árvore), a fusão simples de probabilidades (OR) seria incorreta. Os autores propõem uma fusão suave no espaço de logits:
  $$z_{tree} = \log(e^{z_{trunk}} + e^{z_{whole}})$$
  Isso cria um alvo suave compatível com a classe única do aluno.
• Unificação de Máscaras: As máscaras dos professores são unidas via união de conjuntos ($M_{tree} = M_{trunk} \cup M_{whole}$) para fornecer sinais geométricos ricos.
• Função de Perda: O aluno é otimizado com uma perda combinada: perda supervisionada nos dados reais + perda de distilação (KL-divergência) sobre as previsões fundidas dos professores + perda de consistência (Mean Teacher).

3. Principais Contribuições

1. MGTD: O primeiro dataset emparelhado sintético-real focado especificamente no problema de mismatch de granularidade de rótulos em percepção florestal.
2. Protocolo de Avaliação: Um framework de quatro estágios que permite dissecar o impacto da mudança de domínio versus o impacto da granularidade de rótulos.
3. Método de Distilação: Uma nova técnica de distilação que transfere priores estruturais finos (tronco/coroa) para um modelo com rótulos grossos, sem reanotação.
4. Descoberta de Eficiência: Demonstração de que um modelo aluno leve (ResNet-50) com distilação supera modelos reais muito mais pesados (ResNeXt-101, Swin-T) treinados apenas com dados reais.

4. Resultados Experimentais

Os experimentos foram realizados com arquiteturas como Mask R-CNN, Cascade Mask R-CNN e YOLO.

• Gap de Domínio (Fase 2): A transferência direta de modelos sintéticos para reais resultou em quedas drásticas de desempenho (ex: mAP de segmentação caiu de ~0.75 para ~0.15 para troncos), confirmando que a lacuna de domínio é o principal obstáculo.
• Linha de Base Real (Fase 3): O treinamento apenas com dados reais recuperou parte do desempenho, mas falhou em detectar árvores pequenas, distantes ou oclusas, e perdeu a precisão estrutural fina.
• Distilação (Fase 4):
  • O modelo aluno (Mask R-CNN com ResNet-50) utilizando a distilação consciente de granularidade alcançou 0.429 mAP (segmentação).
  • Isso representa um ganho de +8.3% em relação ao mesmo modelo treinado apenas com dados reais (0.396).
  • Resultado Notável: O aluno distilado (ResNet-50) superou modelos treinados apenas em dados reais com backbones muito mais poderosos, como o ResNeXt-101 (0.363) e o Swin-T (0.420).
  • Melhoria Qualitativa: O modelo distilado mostrou maior recall para troncos finos e distantes e melhor consistência estrutural vertical, corrigindo falhas comuns do treinamento apenas real.

5. Significado e Conclusão

O trabalho reestrutura o problema de transferência Sim→Real, argumentando que a perda de informação estrutural devido a rótulos grossos é tão crítica quanto a mudança de aparência (textura/iluminação).

• Implicação Prática: A maior valor dos dados sintéticos não está apenas em aumentar o volume de dados, mas em fornecer supervisão estrutural (geometria de troncos e coroas) que é impossível de obter em escala no mundo real.
• Eficiência: A metodologia permite que modelos menores e mais eficientes (adequados para robótica de campo com recursos limitados) atinjam desempenho superior ao de modelos grandes treinados apenas com dados reais.
• Generalização: A abordagem sugere que a distilação consciente de granularidade pode ser aplicada em outros domínios onde anotações finas são fáceis de simular, mas difíceis de coletar na realidade (ex: medicina, agricultura).

Em resumo, o artigo demonstra que alinhar a estrutura do conhecimento sintético com a realidade, mesmo com rótulos incompatíveis, é a chave para robôs florestais autônomos mais robustos.