Resumen Técnico: Aumento de Difusión con Consistencia de Anotación para la Segmentación de Instancias de Plagas en Escenarios de Escasez de Datos

1. Planteamiento del Problema

En el Manejo Integrado de Plagas (MIP), las trampas adhesivas son una herramienta estándar para el monitoreo de poblaciones de insectos. La automatización de este proceso mediante aprendizaje profundo ha progresado desde la clasificación de imágenes hacia la segmentación de instancias, lo que proporciona datos críticos a nivel de píxel sobre la composición de especies, recuentos individuales y morfología. Sin embargo, el entrenamiento de modelos robustos de segmentación de instancias enfrenta un cuello de botella significativo: la escasez de datos con anotaciones de polígonos para especies de plagas raras.

Aunque las transformaciones geométricas y los métodos de "copy-paste" ofrecen algún tipo de aumento, estos no logran sintetizar variaciones morfológicas genuinamente novedosas (por ejemplo, deformación inducida por desecación, distorsión postural) inherentes a las imágenes de trampas adhesivas. Además, los enfoques generativos existentes, como las GAN o los modelos de difusión de propósito general, luchan con dos desafíos específicos en este dominio:

1. Consistencia de la Anotación: La segmentación de instancias requiere una alineación espacial estricta entre los objetos generados y sus máscaras de polígono. Incluso ligeros desplazamientos en los límites invalidan las etiquetas existentes, lo que requiere un reetiquetado costoso.
2. Adaptación de Dominio: Los modelos generales carecen de los sesgos visuales necesarios para generar especímenes de trampas adhesivas realistas (por ejemplo, insectos aplanados contra superficies adhesivas) sin un ajuste fino específico del dominio.

2. Metodología

Los autores proponen un marco de aumento de datos basado en difusión y específico para el dominio, diseñado para generar imágenes de entrenamiento sintéticas que sean consistentes con la anotación sin requerir etiquetado manual adicional. El flujo de trabajo consta de cuatro componentes integrados:

2.1. Extracción de Sesgo Visual Guiado por Polígonos

A diferencia de trabajos previos que utilizan detectores de bordes genéricos (por ejemplo, HED, Canny), este método utiliza directamente los polígonos de segmentación de la verdad de campo (ground-truth) como sesgos estructurales.

• Construcción: Los contornos de los polígonos de la verdad de campo se renderizan como contornos blancos sobre la imagen para servir como guía estructural.
• Replicación Espacial: Para aumentar la diversidad, estos contornos de polígonos se replican en posiciones y orientaciones aleatorias dentro de la imagen. Una verificación de validez asegura que no haya solapamiento con las instancias existentes y que permanezcan dentro de los límites de la imagen.
• Diferenciación: Crucialmente, solo se replican los sesgos estructurales (polígonos); la apariencia visual de la plaga no se copia. Esto distingue el método del aumento convencional de "copy-paste".

2.2. Generación de Máscara de Inpainting

Se deriva una máscara de inpainting a partir de las anotaciones de polígonos originales y replicadas.

• La máscara define las regiones para la regeneración (instancias de plagas y un margen circundante) y las regiones para la preservación (el fondo de la trampa adhesiva).
• Se aplica una dilatación morfológica (núcleo de 7×7, 4 iteraciones) a las máscaras de los polígonos para crear un margen protector, asegurando que el modelo de difusión regenere la plaga y su contexto inmediato mientras preserva la textura del fondo adhesivo.

2.3. Modelo de Difusión Controlable

El proceso de generación utiliza un modelo de difusión guiado por ControlNet (basado en Qwen-Image-2512) para sintetizar nuevas apariencias de plagas.

• Condicionamiento: El modelo recibe el sesgo visual replicado (guía estructural) y la máscara de inpaincia (restricciones espaciales).
• Adaptación Específica de Clase: Para cerrar la brecha de dominio entre los modelos de difusión generales y las imágenes de trampas adhesivas, se ajustan adaptadores LoRA (Low-Rank Adaptation) específicos de cada clase para cada especie de plaga objetivo. Estos adaptadores se inyectan en el codificador y en las capas medias de la red durante la generación.
• Ingeniería de Prompts: Los prompts de texto incluyen descripciones morfológicas específicas de la especie, el contexto de la trampa adhesiva (superficie adhesiva amarilla) y atributos de calidad de imagen, junto con prompts negativos para suprimir salidas poco realistas.

2.4. Post-Filtrado Auto-Informado

Para garantizar la calidad de las muestras generadas sin modelos externos, los autores introducen una estrategia de filtrado auto-informada basada en un modelo de segmentación base ($M_{base}$) entrenado con el conjunto de datos original.

• Extracción de Características: El backbone de $M_{base}$ extrae vectores de características de las instancias reales de plagas para crear prototipos de referencia por clase.
• Similitud de Coseno: Para cada instancia generada, se extrae un vector de características y se compara con el prototipo de la clase real correspondiente utilizando la similitud de coseno.
• Lógica de Filtrado:
  • A nivel de Anotación: Las instancias con puntuaciones de similitud por debajo de un umbral ($\tau = 0.3$) se descartan, lo que permite la eliminación de generaciones fallidas dentro de una sola imagen sin descartar la imagen completa.
  • A nivel de Imagen: Las imágenes se clasifican según la similitidad promedio de sus anotaciones válidas restantes, y se retiene una fracción superior ($\gamma$) para el entrenamiento.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Un Marco Específico del Dominio: Un flujo de trabajo unificado para la segmentación de instancias en trampas adhesivas que genera datos sintéticos consistentes con la anotación utilizando inpainting de ControlNet guiado por polígonos, replicación espacial y adaptación LoRA específica de clase.
2. Filtrado Auto-Informado: Un novedoso mecanismo de post-filtrado que utiliza el espacio de características de un modelo base entrenado para la tarea para seleccionar automáticamente muestras sintéticas de alta calidad, eliminando la necesidad de modelos de filtrado externos o inspección manual.
3. Validación de Arquitectura Cruzada: Validación exhaustiva en cinco arquitecturas de segmentación distintas (YOLOv8, YOLOv11, YOLOv26, Mask R-CNN y Mask2Former), demostrando mejoras consistentes de rendimiento para las especies subrepresentadas.

4. Resultados Experimentales

El marco fue evaluado en un conjunto de datos de AI Hub (Corea del Sur) centrado en dos especies raras: Ricania sublimata y Metcalfa pruinosa. Los datos se dividieron por ubicación de invernadero para probar la generalización a entornos no vistos.

• Consistencia de la Anotación: Una evaluación basada en modelos confirmó que el 87.2% de las anotaciones de polígonos reutilizadas eran espacialmente consistentes con las instancias de plagas generadas (IoU medio > 0.72), validando la fiabilidad de las etiquetas generadas.
• Ganancias de Rendimiento:
  • En las cinco arquitecturas, el método propuesto aumentó el mAP50 medio del 77.1% al 87.5% y el mAP50-95 del 63.2% al 65.5%.
  • Se encontró que la relación óptima de filtrado a nivel de imagen era $\gamma = 0.7$, equilibrando la diversidad y la calidad de los datos.
  • El método superó a las estrategias de aumento convencionales (CutMix, MixUp, Copy-Paste), que mostraron efectos inconsistentes o negativos en especies raras, particularmente cuando la escasez de datos era severa.
• Sensibilidad de la Arquitectura: Aunque las mejoras fueron consistentes en todos los modelos, las arquitecturas con módulos de predicción de máscara más expresivos (por ejemplo, Mask R-CNN, Mask2Former) mostraron las mayores ganancias en métricas de localización estricta (mAP50-95).

5. Significado y Reivindicaciones

Los autores afirman que este trabajo aborda una paradoja crítica en el monitoreo agrícola: las especies de plagas raras suelen ser las más importantes para la alerta temprana, pero sufren el rendimiento más bajo debido a la escasez de datos.

• Cerrando la Brecha de Anotación: El estudio demuestra que el aumento de difusión guiado por polígonos puede expandir eficazmente los conjuntos de datos de entrenamiento para especies subrepresentadas sin el costo prohibitivo de la anotación de polígonos manual adicional.
• Control de Calidad Alineado con la Tarea: Al utilizar un filtro "auto-informado" basado en el espacio de características de la tarea específica, el método asegura que los datos sintéticos no solo sean visualmente plausibles, sino también funcionalmente útiles para la tarea de segmentación específica.
• Despliegue Práctico: La división de entrenamiento-prueba basada en la ubicación valida el potencial del método para el despliegue en campo, donde las variaciones ambientales (iluminación, contaminación del fondo) son comunes.

El artículo concluye que, si bien la validación actual se limita a conjuntos de datos específicos de trampas adhesivas y especies, el marco propuesto proporciona una base metodológica para una aplicación más amplia en tareas de segmentación específicas de dominio donde los datos anotados son inherentemente escasos.