Learning to Synergize Semantic and Geometric Priors for Limited-Data Wheat Disease Segmentation

Probleemstelling

Het segmenteren van tarweziektes is cruciaal voor precisielandbouw, maar staat voor ernstige uitdagingen in realistische veldomstandigheden:

1. Temporele variatie: De visuele verschijning van dezelfde ziekte verandert drastisch naarmate de plant groeit en de infectie voortschrijdt.
2. Data-schaarste: Het verzamelen van een representatieve dataset die alle groeistadia en ziektevarianten dekt, is uiterst arbeidsintensief en vaak onpraktisch.
3. Beperkingen van bestaande modellen:
   • SAM (Segment Anything Model): Hoewel SAM sterke geometrische priors heeft voor randdetectie, mist het semantisch inzicht in specifieke ziektepatronen. Het presteert slecht bij complexe ziektes zonder menselijke input (prompts).
   • Dense prompting: Het handmatig invoeren van dichte prompts is te tijdrovend.
   • Sparse prompting: Weinig prompts zijn onvoldoende om SAM's capaciteiten volledig te activeren voor onregelmatige laesies.

Het kernprobleem is dus hoe men SAM's geometrische potentieel kan benutten voor nauwkeurige randlocalisatie, geleid door een model met rijk semantisch inzicht (zoals DINOv2), zonder menselijke tussenkomst en met beperkte trainingsdata.

Methodologie: SGPer Framework

De auteurs stellen SGPer (Semantic-Geometric Prior Synergization) voor. Dit framework behandelt ziektesegmentatie als een gekoppeld taak van ziekte-specifieke semantische perceptie en precieze randlocalisatie. Het combineert de kracht van DINOv2 (voor semantiek) en SAM (voor geometrie) via drie kerncomponenten:

1. Disease Perception Adapter (DPA)

Om de kloof tussen generieke pretrained modellen en specifieke tarweziektes te overbruggen, wordt een lichtgewicht adapter (DPA) in zowel DINOv2 als SAM geïntegreerd.

• Functie: De adapter kalibreert de features door middel van normalisatie en een encoder-decoder structuur met parallelle dieptewijze convoluties (met verschillende kernelgroottes: 1x1, 3x3, 5x5).
• Doel: Het zorgt ervoor dat de modellen gevoelig worden voor ziektespecifieke visuele verdelingen zonder de oorspronkelijke kennis van de foundation models te vergeten. In DINOv2 versterkt het de semantische onderscheidbaarheid; in SAM helpt het bij het focussen op ziekte-extensies en randdetails.

2. Semantic-aware Prompt Generator (SPG)

Deze module zet de rijke semantische features van DINOv2 om in dichte, categorie-specifieke punt-prompten voor SAM.

• Proces: DINOv2 (aangepast met DPA) genereert "pattern maps" voor elke ziektecategorie. Deze maps worden binaire gemaakt om de ruimtelijke coördinaten van ziektegebieden te extraheren.
• Resultaat: In plaats van handmatige prompts, genereert SGPer automatisch een dichte set van positieve punt-prompten die alle ziektegebieden in de afbeelding volledig afdekken.
• Supervisie: Een hulplossfunctie ($L_p$) zorgt ervoor dat deze gegenereerde maps semantisch consistent zijn met de grondwaarheid (ground truth).

3. Geometric Feedback Segmentor (GFS)

Omdat dichte prompten computationeel zwaar zijn en ruis kunnen bevatten, introduceert GFS een iteratief proces om de beste prompten te selecteren.

• Iteratieve decoding: SAM decodeert batches van punt-prompten en genereert kandidaat-maskers.
• Dual-validatie: De kwaliteit van deze maskers wordt beoordeeld op twee niveaus:
  1. Geometrisch: De interne confidence-score van SAM (IoU-score).
  2. Semantisch: De consistentie van het masker met de ziektecategorie, geëvalueerd via de DINOv2 features binnen het masker.
• Pruning: Alleen maskers met een hoge gecombineerde score worden behouden. Prompten die binnen deze betrouwbare maskers vallen, worden verwijderd uit de resterende pool om redundantie te voorkomen.
• Uitkomst: Een geoptimaliseerde set prompts die SAM's geometrische prioren activeert voor de meest accurate randlocalisatie.

Belangrijkste Bijdragen

1. Nieuwe Formulering: Voor het eerst wordt ziektesegmentatie onder beperkte data geformuleerd als een strak gekoppelde taak van semantische perceptie en randlocalisatie.
2. SGPer Framework: Een innovatief systeem dat DINOv2 en SAM naadloos koppelt. DINOv2 levert robuuste, categorie-bewuste semantische prioren die bestand zijn tegen tijdelijke verschuivingen, terwijl SAM deze gebruikt voor precisie.
3. DPA Architectuur: Een lichtgewicht adapter die specifiek is ontworpen om foundation models aan te passen aan de subtiele en complexe verschijning van tarweziektes.
4. Automatisering: Elimineert de noodzaak voor menselijke prompts door een volledig geautomatiseerde, ziekte-gevoelige strategie voor promptgeneratie en -filtering.

Resultaten

SGPer is geëvalueerd op meerdere datasets, waaronder EFDv2 (tarweziektes), OSD (tarweorganen) en GWFSS (globale tarweorganen).

• State-of-the-Art (SOTA) Prestaties: SGPer behaalde consistent de beste resultaten op alle benchmarks, vooral in data-beperkte scenario's.
  • Op de EFDv2 dataset bereikte SGPer een mIoU van 72,5% en een F1-score van 82,8%. Dit is een significante verbetering ten opzichte van de beste bestaande methoden (bijv. Mask2Former, Segformer).
  • Vooral bij moeilijke categorieën met weinig data (zoals "Powdery Mildew" en "Stems") presteerde SGPer ver boven de concurrentie, soms met een verdubbeling van de prestaties.
• Ablatie Studies:
  • Het toevoegen van de DPA aan zowel DINOv2 als SAM was cruciaal voor de prestaties.
  • De GFS-module (met filtering) verbeterde de mIoU met bijna 5% ten opzichte van een versie zonder filtering, wat aantoont dat het verwijderen van redundante prompts essentieel is.
  • Het gebruik van DINOv2-features voor maskerkwaliteitsevaluatie leverde een aanzienlijke verbetering op vergeleken met het alleen vertrouwen op SAM's interne scores.
• Robuustheid: Het model bleek zeer robuust tegen intra-klassieke temporele variaties en complexe structurele occlusies, wat vaak een bottleneck is voor andere modellen.

Significantie

Deze studie is van groot belang voor de landbouw en computer vision:

• Oplossing voor Data-schaarste: Het demonstreert dat foundation models (DINOv2 en SAM) effectief kunnen worden ingezet voor gespecialiseerde taken met zeer weinig trainingsdata, mits ze correct worden gekoppeld.
• Automatisering: Het biedt een volledig geautomatiseerde oplossing voor ziekte-monitoring, wat essentieel is voor schaalbare precisielandbouw.
• Algemene Toepasbaarheid: De methode van het koppelen van semantische en geometrische prioren via een adapter- en prompt-strategie kan waarschijnlijk worden toegepast op andere domeinen waar objecten grote intra-klassieke variaties vertonen (bijv. medische beeldvorming of andere gewassen).

Kortom, SGPer overwint de beperkingen van bestaande methoden door de sterktes van twee krachtige foundation modellen te harmoniseren, waardoor nauwkeurige en robuuste ziektesegmentatie mogelijk wordt zelfs in data-arme omgevingen.