Granularity-Aware Transfer for Tree Instance Segmentation in Synthetic and Real Forests

1. El Problema

El artículo aborda un desafío crítico en la percepción robótica forestal: la brecha de transferencia de datos sintéticos a reales (Sim→Real) exacerbada por una mismatch de granularidad de etiquetas.

• Contexto: La anotación de datos reales en bosques es costosa y logística compleja, especialmente para etiquetas finas (separar troncos de copas). Por ello, los datos reales suelen tener solo una etiqueta gruesa ("Árbol").
• La Contradicción: Los datos sintéticos generados (ej. con Unreal Engine 5) ofrecen anotaciones de alta granularidad (etiquetas separadas para "tronco" y "árbol completo"), pero sufren una gran brecha de dominio (diferencias en textura, iluminación) al aplicarse a imágenes reales.
• El Dilema: Los modelos entrenados puramente en datos sintéticos fallan en la realidad debido a la brecha de dominio. Los modelos entrenados solo en datos reales tienen buen ajuste de apariencia pero carecen de los "priors" estructurales finos (geometría del tronco) disponibles en la simulación. El objetivo es transferir el conocimiento estructural fino de la simulación a un modelo que solo tiene etiquetas gruesas en la realidad, sin re-etiquetar los datos reales.

2. Metodología Propuesta

Los autores proponen un enfoque sistemático basado en cuatro fases y una técnica central de destilación de conocimiento.

A. MGTD: El Nuevo Dataset

Introducen MGTD (Mixed-Granularity Tree Dataset), un conjunto de datos masivo que combina:

• 53,000 imágenes sintéticas con anotaciones finas (tronco y árbol completo) generadas en Unreal Engine 5 bajo diversas condiciones de iluminación (amanecer, atardecer, mediodía, nieve).
• 3,600 imágenes reales capturadas en bosques con una única etiqueta gruesa ("Árbol").
• Este dataset permite estudiar específicamente el efecto de la discrepancia de granularidad entre dominios.

B. Protocolo de Evaluación de 4 Fases

Para aislar y analizar los problemas, se define un protocolo de cuatro etapas:

1. Fase 1 (Límite Superior Sintético): Entrenamiento de dos modelos "Maestros" (Teachers) independientes en datos sintéticos: uno especializado en troncos y otro en árboles completos.
2. Fase 2 (Transferencia Zero-Shot): Evaluación de los maestros sintéticos directamente en datos reales (sin adaptación) para cuantificar la brecha de dominio pura.
3. Fase 3 (Línea Base Real): Entrenamiento de un modelo "Estudiante" solo con datos reales y la etiqueta gruesa "Árbol".
4. Fase 4 (Destilación Consciente de la Granularidad): La contribución principal. Se utiliza la información de los maestros sintéticos para guiar al estudiante real.

C. Destilación Consciente de la Granularidad (Core Contribution)

La técnica clave es adaptar la destilación de conocimiento para manejar la discrepancia de etiquetas (2 clases en el maestro vs. 1 clase en el estudiante):

• Maestros Congelados: Se utilizan dos maestros sintéticos congelados ($T_{trunk}$ y $T_{whole}$).
• Fusión en el Espacio de Logits: Dado que un tronco es parte de un árbol, no se pueden combinar probabilidades directamente (reglas OR). En su lugar, se fusionan los logits de clasificación de ambos maestros mediante una operación suave log-sum-exp:
  $$z_{tree} = \log(e^{z_{trunk}} + e^{z_{whole}})$$
  Esto crea un objetivo suave ("soft target") compatible con la única clase "Árbol" del estudiante, preservando la información estructural de ambos maestros sin asumir independencia.
• Unificación de Máscaras: Las máscaras de los maestros se unen mediante la unión de conjuntos ($M_{tree} = M_{trunk} \cup M_{whole}$) para proporcionar señales geométricas unificadas.
• Función de Pérdida: El estudiante se optimiza minimizando una pérdida combinada: la pérdida supervisada en datos reales + una pérdida de destilación (KD) que alinea las predicciones del estudiante con los objetivos fusionados de los maestros, más una pérdida de consistencia.

3. Resultados Clave

Los experimentos se centraron principalmente en segmentación de instancias (usando Mask R-CNN con backbones como ResNet-50 y Swin-T), aunque también se probaron detectores YOLO.

• Brecha de Dominio Severa (Fase 2): La transferencia directa de modelos sintéticos a reales es catastrófica. El mAP de segmentación cae más del 80-90% (ej. de 0.753 a 0.147 para troncos), demostrando que la apariencia sintética no generaliza sin adaptación.
• Línea Base Real (Fase 3): Entrenar solo con datos reales mejora drásticamente el rendimiento sobre la transferencia cero, pero el modelo falla en detectar árboles pequeños, lejanos o parcialmente ocluidos, y pierde la estructura fina de los troncos.
• Éxito de la Destilación (Fase 4):
  • El modelo estudiante (ResNet-50) entrenado con destilación consciente de la granularidad supera consistentemente a las líneas base entrenadas solo con datos reales.
  • Mejora Cuantitativa: Se logra un aumento de +8.3% en mAP de segmentación (Mask AP) comparado con el estudiante ResNet-50 sin destilación.
  • Superación de Capacidad: Lo más notable es que el estudiante ligero (ResNet-50) con destilación supera a modelos mucho más grandes (ResNeXt-101 y Swin-T) entrenados solo con datos reales. Esto demuestra que la calidad de la supervisión (priors estructurales) es más importante que la capacidad bruta del modelo.
  • Mejoras Cualitativas: El modelo destilado recupera troncos finos y distantes que el modelo real por sí solo ignora, y muestra una mayor consistencia estructural vertical.

4. Contribuciones Principales

1. MGTD: El primer dataset emparejado sintético-real a gran escala diseñado específicamente para estudiar la transferencia bajo restricciones de granularidad de etiquetas mixtas.
2. Protocolo de Evaluación: Un marco de 4 fases que descompone sistemáticamente el problema en brecha de apariencia y brecha de granularidad, permitiendo un análisis interpretativo.
3. Método de Destilación: Una nueva técnica de destilación que transfiere priores estructurales finos de múltiples maestros sintéticos a un estudiante con etiqueta gruesa mediante fusión de logits y unificación de máscaras, sin necesidad de re-etiquetado.
4. Hallazgo Conceptual: Demostración de que en entornos con escasez de datos anotados, la estructura sintética puede compensar la falta de anotaciones reales, y que la alineación de granularidad es tan crítica como la alineación de dominio.

5. Significado e Impacto

Este trabajo redefine el problema de transferencia Sim→Real en robótica forestal y fuera de carretera. En lugar de tratar la discrepancia de etiquetas como un obstáculo que debe simplificarse (colapsando etiquetas), lo aborda como una oportunidad para transferir conocimiento estructural.

• Implicación Práctica: Permite desplegar sistemas de percepción robustos en entornos donde la anotación fina es imposible a escala, utilizando simulaciones para "enseñar" la geometría y la estructura a modelos que solo ven etiquetas simples en la realidad.
• Generalización: La metodología es aplicable a otros dominios donde la simulación ofrece sub-estructuras detalladas (médico, agrícola, industrial) que no están disponibles en los datos reales, ofreciendo un camino para mejorar la fiabilidad operativa en tareas de navegación autónoma y monitoreo ambiental.