Sintesi Tecnica: Augmentation per la Segmentazione di Istanze di Parassiti mediante Diffusione Coerente con l'Annotazione per Dati Scarsi

1. Definizione del Problema

Nella gestione integrata dei parassiti (IPM), le trappole adesive sono uno strumento standard per il monitoraggio delle popolazioni di insetti. L'automazione di questo processo tramite deep learning è progredita dalla classificazione delle immagini alla segmentazione delle istanze, che fornisce dati critici a livello di pixel sulla composizione delle specie, il conteggio dei singoli individui e la morfologia. Tuttavia, l'addestramento di modelli robusti di segmentazione delle istanze affronta un collo di bottiglia significativo: la scarsità di dati annotati con poligoni per le specie di parassiti rare.

Sebbene le trasformazioni geometriche e i metodi di copy-paste offrano una certa augmentation, essi non riescono a sintetizzare variazioni morfologiche genuinamente nuove (ad esempio, deformazioni indotte dalla dissecazione, distorsioni posturali) intrinseche alle immagini delle trappole adesive. Inoltre, gli approcci generativi esistenti, come le GAN o i modelli di diffusione general-purpose, faticano con due sfide specifiche in questo dominio:

1. Coerenza dell'Annotazione: La segmentazione delle istanze richiede un rigoroso allineamento spaziale tra gli oggetti generati e le loro maschere poligonali. Anche lievi spostamenti nei bordi invalidano le etichette esistenti, rendendo necessaria una costosa ricolonizzazione.
2. Adattamento del Dominio: I modelli generali mancano dei priori visivi necessari per generare esemplari di trappole adesive realistici (ad esempio, insetti schiacciati contro superfici adesive) senza un fine-tuning specifico per il dominio.

2. Metodologia

Gli autori propongono un framework di augmentation dei dati basato sulla diffusione, specifico per il dominio, progettato per generare immagini di addestramento sintetiche che siano coerenti con l'annotazione senza richiedere ulteriori etichettature manuali. La pipeline consiste in quattro componenti integrate:

2.1. Estrazione del Prior Visivo Guidato da Poligoni

A differenza dei lavori precedenti che utilizzano generatori di bordi generici (ad esempio, HED, Canny), questo metodo utilizza direttamente i poligoni di segmentazione della ground-truth come priori strutturali.

• Costruzione: I contorni dei poligoni della ground-truth vengono renderizzati come contorni bianchi sull'immagine per servire come guida strutturale.
• Replicazione Spaziale: Per aumentare la diversità, questi contorni poligonali vengono replicati in posizioni e orientamenti casuali all'interno dell'immagine. Un controllo di validità assicura che non vi sia sovrapposizione con le istanze esistenti e che rimangano entro i confini dell'immagine.
• Differenziazione: Fondamentalmente, solo i priori strutturali (poligoni) vengono replicati; l'aspetto visivo del parassita non viene copiato. Questo distingue il metodo dall'augmentation convenzionale di tipo copy-paste.

2.2. Generazione della Maschera di Inpainting

Una maschera di inpainting viene derivata dalle annotazioni originali e da quelle poligonali replicate.

• La maschera definisce le regioni per la rigenerazione (istanze di parassiti e un margine circostante) e le regioni per la preservazione (lo sfondo della trappola adesiva).
• Viene applicata una dilatazione morfologica (kernel 7×7, 4 iterazioni) alle maschere poligonali per creare un margine protettivo, garantendo che il modello di diffusione rigeneri il parassita e il suo contesto immediato preservando al contempo la texture dello sfondo adesivo.

2.3. Modello di Diffusione Controllabile

Il processo di generazione utilizza un modello di diffusione guidato da ControlNet (basato su Qwen-Image-2512) per sintetizzare nuovi aspetti dei parassiti.

• Condizionamento: Il modello riceve il prior visivo replicato (guida strutturale) e la maschera di inpaint (vincoli spaziali).
• Adattamento Specifico per Classe: Per colmare il divario di dominio tra i modelli di diffusione generali e le immagini delle trappole adesive, vengono addestrati adattatori LoRA (Low-Rank Adaptation) specifici per classe per ogni specie di parassita target. Questi adattatori vengono iniettati negli strati encoder e intermedi della rete durante la generazione.
• Prompt Engineering: I prompt testuali includono descrizioni morfologiche specifiche della specie, il contesto della trappola adesiva (superficie adesiva gialla) e attributi di qualità dell'immagine, insieme a prompt negativi per sopprimere output irrealistici.

2.4. Post-Filtering Auto-Informato

Per garantire la qualità dei campioni generati senza modelli esterni, gli autori introducono una strategia di filtraggio auto-informata basata su un modello di segmentazione di base ($M_{base}$) addestrato sul dataset originale.

• Estrazione delle Caratteristiche: Il backbone di $M_{base}$ estrae vettori di caratteristiche dalle istanze reali dei parassiti per creare prototipi di riferimento per classe.
• Similarità del Coseno: Per ogni istanza generata, viene estratto un vettore di caratteristiche e confrontato con il corrispondente prototipo della classe reale utilizzando la similarità del coseno.
• Logica di Filtraggio:
  • A Livello di Annotazione: Le istanze con punteggi di similarità inferiori a una soglia ($\tau = 0.3$) vengono scartate, consentendo la rimozione delle generazioni fallite all'interno di una singola immagine senza scartare l'intera immagine.
  • A Livello di Immagine: Le immagini sono classificate in base alla media della similarità delle loro annotazioni valide rimanenti, e viene trattenuta una frazione superiore ($\gamma$) per l'addestramento.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Un Framework Specifico per il Dominio: Una pipeline unificata per la segmentazione delle istanze di trappole adesive che genera dati sintetici coerenti con l'annotazione utilizzando l'inpainting ControlNet guidato da poligoni, la replicazione spaziale e l'adattamento LoRA specifico per classe.
2. Filtraggio Auto-Informato: Un nuovo meccanismo di post-filtraggio che utilizza lo spazio delle caratteristiche di un modello di base addestrato sul task per selezionare automaticamente campioni sintetici di alta qualità, eliminando la necessità di modelli di filtraggio esterni o ispezione manuale.
   ca.
3. Validazione Cross-Architettura: Validazione completa su cinque diverse architetture di segmentazione (YOLOv8, YOLOv11, YOLOv26, Mask R-CNN e Mask2Former), dimostrando guadagni di prestazioni costanti per le specie sottorappresentate.

4. Risultati Sperimentali

Il framework è stato valutato su un dataset di AI Hub (Corea del Sud) focalizzato su due specie rare: Ricania sublimata e Metcalfa pruinosa. I dati sono stati suddivisi per località di serra per testare la generalizzazione in ambienti non visti.

• Coerenza dell'Annotazione: Una valutazione basata sul modello ha confermato che l'87,2% delle annotazioni poligonali riutilizzate era spazialmente coerente con le istanze di parassiti generate (Mean IoU > 0,72), convalidando l'affidabilità delle etichette generate.
• Guadagni di Performance:
  • In tutte e cinque le architetture, il metodo proposto ha aumentato la mAP50 media dal 77,1% all'87,5% e la mAP50-95 dal 63,2% al 65,5%.
  • Il rapporto ottimale di filtraggio a livello di immagine è stato individuato in $\gamma = 0,7$, bilanciando diversità dei dati e qualità.
  • Il metodo ha superato le strategie di augmentation convenzionali (CutMix, MixUp, Copy-Paste), che hanno mostrato effetti inconsistenti o negativi per le specie rare, specialmente quando la scarsità di dati era severa.
• Sensibilità dell'Architettura: Sebbene i miglioramenti siano stati costanti tra i modelli, le architetture con moduli di predizione della maschera più espressivi (ad esempio, Mask R-CNN, Mask2Former) hanno mostrato i maggiori guadagni nelle metriche di localizzazione rigorose (mAP50-95).

5. Significato e Rivendicazioni

Gli autori affermano che questo lavoro affronta un paradosso critico nel monitoraggio agricolo: le specie di paranniti rare sono spesso quelle più importanti per l'allerta precoce, ma soffrono delle prestazioni inferiori del modello a causa della scarsità di dati.

• Colmare il Divario di Annotazione: Lo studio dimostra che l'augmentation per diffusione guidata da poligoni può espandere efficacementamente i dataset di addestramento per specie sottorappresentate senza il costo proibitivo di ulteriori annotazioni poligonali manuali.
• Controllo della Qualità Allineato al Task: Utilizzando un filtro "auto-informato" basato sullo spazio delle caratteristiche del task target, il metodo assicura che i dati sintetici non siano solo visivamente plausibili, ma funzionalmente utili per il compito specifico di segmentazione.
• Implementazione Pratica: La suddivisione train-test basata sulla posizione valida il potenziale del metodo per l'implementazione sul campo, dove le variazioni ambientali (illuminazione, contaminazione dello sfondo) sono comuni.

L'articolo conclude che, sebbene la validazione attuale sia limitata a specifici dataset di trappole adesive e specie, il framework proposto fornisce una base metodologica per un'applicazione più ampia a compiti di segmentazione specifici del dominio dove i dati annotati sono intrinsecamente scarsi.