PASTA: Vision Transformer Patch Aggregation for Weakly Supervised Target and Anomaly Segmentation

Titel

PASTA: Vision Transformer Patch Aggregatie voor Zwak Toezicht op Target- en Anomalie-segmentatie

1. Probleemstelling

In industriële en landbouwtoepassingen (zoals materiaalrecycling en onkruidverwijdering) is het een kritieke uitdaging om onbekende anomalieën te detecteren in ongestructureerde omgevingen. Traditionele, gesuperviseerde modellen (zoals YOLO of Mask R-CNN) zijn vaak ongeschikt omdat ze:

• Afhankelijk zijn van exhaustief geannoteerde datasets, wat economisch onhaalbaar is bij data-schaarste.
• Moeite hebben met "zero-shot" generalisatie naar nieuwe objectklassen of onverwachte anomalieën.
• Strakke operationele eisen voor real-time verwerking en pixel-nauwkeurige segmentatie niet altijd kunnen waarmaken.

Het specifieke probleem dat PASTA aanpakt, is het onderscheiden van doelobjecten (targets, bijv. gewassen of staal) en anomalieën (bijv. onkruid of vreemde metalen) zonder pixel-level labels. De enige beschikbare informatie is de structurele verschillen tussen twee datasets:

1. Een baseline dataset ($D_{T \cup A}$): Een gemengde verzameling met doelen, anomalieën en achtergrond.
2. Een referentie dataset ($D_T$): Een "schone" verzameling die alleen doelen bevat (geen anomalieën).

2. Methodologie: PASTA

PASTA (Patch Aggregation for Segmentation of Targets and Anomalies) is een zwak toezicht-pijplijn die gebruikmaakt van self-supervised Vision Transformers (ViT) en distributie-analyse. De methode bestaat uit drie hoofdfasen:

Fase 1: Baseline Model Creatie (Feature Learning)

• Een vooraf getrainde Vision Transformer (zoals DINOv3, CLIP of BioCLIP) wordt gebruikt als feature-extractor.
• Beelden uit de gemengde baseline dataset worden verwerkt tot patch-level embeddings.
• Deze continue feature-ruimte wordt gekwantiseerd in interpreteerbare semantische eenheden via Mini-Batch K-Means clustering.
• Er wordt een waarschijnlijkheidsverdeling ($P_{T \cup A}$) berekend van deze clusters over de hele dataset.

Fase 2: Anomalie Classificatie (Distributie-analyse)

• De frozen feature-extractor en het cluster-model worden toegepast op de schone referentie dataset ($D_T$) om de "normale" doeldistributie ($P_T$) te bepalen.
• Principe van ontbrekende features: Anomalieën worden geïdentificeerd als clusters die prominent aanwezig zijn in de gemengde dataset ($P_{T \cup A}$) maar significant onderdrukt of afwezig zijn in de schone dataset ($P_T$).
• Een ratio $R_i = P_T(k_i) / P_{T \cup A}(k_i)$ wordt berekend. Clusters met een lage ratio (bijv. < 0.05) worden gemarkeerd als anomalie-klusters.

Fase 3: SAM 3-Versterkte Objectclassificatie (Mask-Feature Fusie)

• Omdat ViT-patches een grove ruimtelijke resolutie hebben, wordt de Segment Anything Model 3 (SAM 3) geïntegreerd voor precieze objectgrenzen.
• SAM 3 wordt gestuurd met een generieke, domein-specifieke tekst-prompt (bijv. "planten" of "objecten op de transportband") om instantie-maskers te genereren.
• Voor elk gegenereerd masker wordt de onderliggende verdeling van de ViT-clusters geanalyseerd. Als het aandeel van anomalie-clusters binnen een masker een drempelwaarde ($\gamma$) overschrijdt, wordt het hele object als anomalie geclassificeerd.

3. Belangrijkste Bijdragen

1. Vervanging van Heuristieken: PASTA vervangt domein-specifieke, handgemaakte heuristieken (zoals kleurindices zoals Excess Green voor landbouw) door open-vocabulary semantische tekst-prompting via SAM 3. Dit elimineert de afhankelijkheid van rigide geometrische priors en maakt de methode toepasbaar in diverse, ongestructureerde omgevingen.
2. Label-vrije Anomalie-detectie: Doel- en anomalieobjecten worden geïdentificeerd in een volledig label-vrije manier door mode-discrepanties te analyseren in een gekwantiseerde ViT-featurespace, zonder dat er expliciete anomalie-definities nodig zijn.
3. Efficiëntie en Generalisatie: De aanpak reduceert de trainings tijd aanzienlijk en biedt superieure generalisatie ten opzichte van bestaande methoden die afhankelijk zijn van specifieke domeinkennis.

4. Resultaten

De methode is geëvalueerd op twee datasets: PhenoBench (landbouw: gewassen vs. onkruid) en SteelDS (industrieel: staal vs. koper/andere metalen).

• Efficiëntie: PASTA bereikte een reductie van 75,8% in trainings tijd vergeleken met domein-specifieke baselines (zoals WaW). Dit komt door het gebruik van SAM 3 voor objectextractie, wat minder feature-patches genereert dan dichte punt-prompting.
• Segmentatieprestaties (IoU):
  • Industrieel (SteelDS): De methode bereikte tot 88,3% IoU voor doelen en 63,5% IoU voor anomalieën (met DINOv3 ViT-Small).
  • Landbouw (PhenoBench): Hoewel dit domein uitdagender is vanwege de visuele gelijkenis tussen gewas en onkruid, overtrof PASTA de bestaande baselines in de kritieke taak van anomalie-detectie.
• Vergelijking met Baselines:
  • Pure patch-based clustering (zonder SAM) presteerde slecht op de landbouwdataset (lage IoU), wat aantoont dat object-level grenzen essentieel zijn.
  • PASTA met SAM 3 verbeterde de segmentatiekwaliteit aanzienlijk ten opzichte van ruwe patch-classificatie, ten koste van een iets langere inferentie-tijd (maar nog steeds efficiënter dan traditionele methoden).
  • De methode presteerde beter dan de "Weeds Are Weird" (WaW) baseline in de landbouw voor anomalie-detectie en leverde vergelijkbare resultaten voor doelen, maar met veel betere generalisatie.

5. Betekenis en Conclusie

PASTA biedt een domein-agnostisch inspectie-framework dat de kloof overbrugt tussen zwak toezicht en robuuste robotische perceptie.

• Generalisatie: Het systeem kan werken in omgevingen waar objecten onbekend zijn of waar annotatie onmogelijk is, zolang er maar een "schone" referentie en een "gemengde" dataset beschikbaar zijn.
• Toepassing: Het is direct toepasbaar voor robotica in recycling (sorteren van schroot) en precisielandbouw (onkruidbestrijding), waar het vermijden van gezondheidsrisico's en het verhogen van de efficiëntie cruciaal zijn.
• Toekomst: De auteurs merken op dat de huidige twee-staps aanpak (clustering + SAM) iets langzamer is dan pure patch-analyse. Toekomstig werk richt zich op het vervangen van de segmentatiestap door pixel-wise clustering om de inferentie-tijd te verlagen zonder in te leveren op nauwkeurigheid.

Kortom, PASTA bewijst dat het combineren van self-supervised ViT-features met generatieve segmentatiemodellen (SAM 3) een krachtige, snelle en schaalbare oplossing biedt voor complexe anomalie-detectieproblemen in de echte wereld.