Technische Samenvatting: Annotatie-consistente Diffusie-augmentatie voor Dataschaarse Pest-instantiesegmentatie

1. Probleemstelling

In geïntegreerd plaagbeheer (IPM) zijn kleefvallen een standaardinstrument voor het monitoren van insectenpopulaties. Het automatiseren van dit proces via deep learning is voortgeschreden van beeldclassificatie naar instantiesegmentatie, wat kritieke pixelgebaseerde gegevens levert over soortensamenstelling, individuele aantallen en morfologie. Echter, het trainen van robuuste instantiesegmentatiemodellen staat voor een aanzienlijke bottleneck: de schaarste aan met polygonen geannoteerde data voor zeldzame pestsoorten.

Hoewel geometrische transformaties en copy-paste-methoden enige augmentatie bieden, slagen deze er niet in om werkelijk nieuwe morfologische variaties te synthetiseren (bijv. door uitdroging veroorzaakte vervorming, houdingsvervorming) die inherent zijn aan kleefvalbeelden. Bovendien worstelen bestaande generatieve benaderingen, zoals GANs of algemene diffusiemodellen, met twee specifieke uitdagingen in dit domein:

1. Annotatie-consistentie: Instantiesegmentatie vereist strikte ruimtelijke uitlijning tussen gegenereerde objecten en hun polygonen-maskers. Zelfs lichte grensbewegingen maken bestaande labels ongeldig, wat kostbare herannotatie noodzakelijk maakt.
2. Domeinadaptatie: Algemene modellen missen de visuele priors die nodig zijn om realistische exemplaren op kleefvallen te genereren (bijv. insecten die tegen kleverige oppervlakken zijn platgedrukt) zonder domeinspecifieke fine-tuning.

2. Methodologie

De auteurs stellen een domeinspecifiek, diffusie-gebaseerd data-augmentatieframework voor dat is ontworpen om annotatie-consistente synthetische trainingsbeelden te genereren zonder dat aanvullende handmatige labeling vereist is. De pijplijn bestaat uit vier geïntegreerde componenten:

2.1. Polygon-gestuurde Visuele Prior-extractie

In tegenstelling tot eerdere werken die generieke randdetectoren gebruiken (bijv. HED, Canny), gebruikt deze methode direct grondwaarheid polygon-contouren als structurele priors.

• Constructie: Grondwaarheid polygon-contouren worden gerenderd als witte omlijningen op de afbeelding om als structurele begeleiding te dienen.
• Ruimtelijke Replicatie: Om diversiteit te vergroten, worden deze polygon-contouren gerepliceerd op gerandomiseerde posities en oriëntaties binnen de afbeelding. Een validatiecontrole zorgt ervoor dat er geen overlap is met bestaande instanties en dat ze binnen de afbeeldingsgrenzen blijven.
• Differentiatie: Cruciaal is dat alleen de structurele priors (polygonen) worden gerepliceerd; de visuele verschijning van de plaag wordt niet gekopieerd. Dit onderscheidt de methode van conventionele copy-paste augmentatie.

2.2. Inpaint Mask Generatie

Een inpaint-masker wordt afgeleid van de originele en gerepliceerde polygon-annotaties.

• Het masker definieert regio's voor regeneratie (pest-instanties en een omliggende marge) en regio's voor behoud (de achtergrond van de kleefval).
• Morfologische dilatatie (7×7 kernel, 4 iteraties) wordt toegepast op de polygon-maskers om een beschermende marge te creëren, wat ervoor zorgt dat het diffusiemodel de plaag en de directe context regenereert terwijl de kleverige achtergrondtextuur behouden blijft.

2.3. Controleerbaar Diffusiemodel

Het generatieproces maakt gebruik van een ControlNet-gestuurd diffusiemodel (gebaseerd op Qwen-Image-2512) om nieuwe pest-verschijningen te synthetiseren.

• Conditionering: Het model ontvangt de gerepliceerde visuele prior (structurele begeleiding) en het inpaint-masker (ruimtelijke beperkingen).
• Class-Specifieke Adaptatie: Om de domeinkloof tussen algemene diffusiemodellen en kleefvalbeelden te overbruggen, worden class-specifieke LoRA (Low-Rank Adaptation) adapters gefinetuned voor elke doelsoort van de plaag. Deze adapters worden tijdens de generatie geïnjecteerd in de encoder en de middelste lagen van het netwerk.
• Prompt Engineering: Tekstprompts bevatten soortspecifieke morfologische beschrijvingen, kleefvalcontext (geel kleverig oppervlak) en beeldkwaliteitkenmerken, samen met negatieve prompts om onrealistische outputs te onderdrukken.

2.4. Self-Informed Post-Filtering

Om de kwaliteit van gegenereerde samples te waarborgen zonder externe modellen, introduceren de auteurs een self-informed filteringstrategie gebaseerd op een baseline segmentatiemodel ($M_{base}$) dat is getraind op de originele dataset.

• Feature Extractie: De backbone van $M_{base}$ extraheert feature vectoren uit echte pest-instanties om class-wise referentieprototypes te creëren.
• Cosine Gelijkenis: Voor elke gegenereerde instantie wordt een feature vector geëxtraheerd en vergeleken met het overeenkomstige real-class prototype met behulp van cosine gelijkenis.
• Filtering Logica:
  • Annotatie-niveau: Instanties met gelijkenisscores onder een drempelwaarde ($\tau = 0.3$) worden weggegooid, waardoor het verwijderen van mislukte generaties binnen een enkele afbeelding mogelijk is zonder de hele afbeelding te verwerpen.
  • Afbeeldings-niveau: Afbeeldingen worden gerangschikt op basis van de gemiddelde gelijkenis van hun resterende geldige annotaties, waarbij een top fractie ($\gamma$) wordt behouden voor training.

3. Belangrijkste Bijdragen

Het paper beschrijft drie primaire bijdragen:

1. Een Domeinspecifiek Framework: Een verenigde pijplijn voor kleefval instantiesegmentatie die annotatie-consistente synthetische data genereert met behulp van polygon-gestuurde ControlNet inpainting, ruimtelijke replicatie en class-specifieke LoRA-adaptatie.
2. Self-Informed Filtering: Een nieuw post-filteringmechanisme dat de feature-ruimte van een taakgetraind baseline model gebruikt om automatisch hoogwaardige synthetische samples te selecteren, waardoor de noodzaak voor externe filtermodellen of handmatige inspectie wordt geëlimineerd.
3. Cross-Architectuur Validatie: Uitgebreide validatie over vijf verschillende segmentatie-architecturen (YOLOv8, YOLOv11, YOLOv26, Mask R-CNN en Mask2Former), wat consistente prestatiewinsten voor ondervertegenwoordigde soorten aantoont.

4. Experimentele Resultaten

Het framework werd geëvalueerd op een dataset van AI Hub (Zuid-Korea) gericht op twee zeldzame soorten: Ricania sublimata en Metcalfa pruinosa. De data werd gesplitst per kaslocatie om te testen op generalisatie naar onbekende omgevingen.

• Annotatie-consistentie: Een model-gebaseerde evaluatie bevestigde dat 87,2% van de hergebruikte polygon-annotaties ruimtelijk consistent was met de gegenereerde pest-instanties (Mean IoU > 0.72), wat de betrouwbaarheid van de gegenereerde labels valideert.
• Prestatiewinsten:
  • Over alle vijf de architecturen heen verhoogde de voorgestelde methode de mean mAP50 van 77,1% naar 87,5% en mAP50-95 van 63,2% naar 65,5%.
  • De optimale image-level filtering ratio werd gevonden op $\gamma = 0.7$, wat een balans biedt tussen data-diversiteit en kwaliteit.
  • De methode presteerde beter dan conventionele augmentatiestrategieën (CutMix, MixUp, Copy-Paste), die inconsistente of negatieve effecten lieten zien op zeldzame soorten, vooral wanneer de dataschaarste ernstig was.
• Architectuur-gevoeligheid: Hoewel de verbeteringen consistent waren over de modellen, vertoonden architecturen met meer expressieve mask-predictie modules (bijv. Mask R-CNN, Mask2Former) de grootste winsten in strikte lokalisatiemetrieken (mAP50-95).

5. Betekenis en Claims

De auteurs beweren dat dit werk een kritiek paradox in de landbouwmonitoring aanpakt: zeldzame pestsoorten zijn vaak de belangrijkste voor vroege waarschuwing, maar lijden juist onder de laagste modelprestaties door dataschaarste.

• Het overbruggen van de Annotatiekloof: De studie demonstreert dat polygon-gestuurde diffusie-augmentatie effectief de trainingsdatasets voor ondervertegenwoordigde soorten kan uitbreiden zonder de evenredig hoge kosten van aanvullende handmatige polygon-annotatie.
• Taak-gealigneerde Kwaliteitscontrole: Door een "self-informed" filter te gebruiken gebaseerd op de feature-ruimte van de doeltaak, zorgt de methode ervoor dat synthetische data niet alleen visueel plausibel is, maar ook functioneel nuttig voor de specifieke segmentatietaak.
• Praktische Implementatie: De locatie-gebaseerde train-test split valideert het potentieel van de methode voor veldimplementatie, waar omgevingsvariaties (verlichting, achtergrondverontreiniging) gebruikelijk zijn.

Het paper concludeert dat hoewel de huidige validatie beperkt is tot specifieke kleefval-datasets en soorten, het voorgestelde framework een methodologische basis biedt voor bredere toepassing op domeinspecifieke segmentatietaken waar geannoteerde data inherent schaars is.