BREPS: Bounding-Box Robustness Evaluation of Promptable Segmentation

Probleemstelling

Promptable segmentatiemodellen, zoals SAM (Segment Anything Model), hebben een krachtige paradigma-verschuiving teweeggebracht door objecten te kunnen segmenteren met minimale gebruikersinvoer (punten, tekst, of omhullende rechthoeken/bounding boxes). Hoewel bounding boxes vaak de beste resultaten leveren en goedkoper zijn om te annoteren dan punten, vertonen huidige trainings- en evaluatieprotocollen een fundamenteel tekort:

1. Synthetische Prompts: Bestaande methoden gebruiken vaak "tight" bounding boxes (perfect omhullend op de ground-truth) met een kleine willekeurige verstoring (jitter). Dit weerspiegelt niet hoe echte gebruikers daadwerkelijk boxes tekenen.
2. Robuustheidsgat: Er is weinig inzicht in hoe gevoelig deze modellen zijn voor de natuurlijke variatie in gebruikersinvoer. Een model kan uitstekend presteren op een perfecte box, maar dramatisch falen op een box die slechts één pixel verschuift of een iets andere vorm heeft.
3. Onbekende Variabiliteit: Het is onbekend hoeveel variatie er bestaat in segmentatiekwaliteit tussen verschillende gebruikers voor hetzelfde object en hetzelfde model.

Methodologie

De auteurs introduceren een uitgebreide aanpak bestaande uit drie hoofdfasen:

1. Grote Schaal Gebruikersstudie (Real-Users Study)

• Datacollectie: Er werd een crowdsourcing-experiment uitgevoerd met 2.500 annotatoren die 25.000 bounding boxes tekenden over 500 afbeeldingen uit 10 verschillende datasets (variërend van algemene scènes zoals COCO en ADE20K tot medische beeldvorming zoals ACDC en MedScribble).
• Opzet: De studie omvatte zowel desktop- als mobiele apparaten. Gebruikers zagen eerst een afbeelding, dan een gemaskeerd doelgebied, en tekenden vervolgens één box zonder de ground-truth te zien (om bias te voorkomen).
• Analyse: De kwaliteit van de getekende boxes werd gemeten met CIoU-Loss (Complete Intersection over Union), wat rekening houdt met overlap, centrumafstand en aspectratio.
• Vinding: Er werd een enorme variatie in prestaties gevonden. Zelfs als gebruikers boxes tekenden die visueel dicht bij elkaar lagen, varieerde de segmentatiekwaliteit (IoU) aanzienlijk tussen gebruikers. Mobiele gebruikers tekenden over het algemeen minder nauwkeurige boxes dan desktop-gebruikers.

2. BREPS Attack (White-Box Optimalisatie)

Omdat het exhaustief testen van elke mogelijke bounding box computationeel onhaalbaar is, formuleren de auteurs het probleem als een white-box adversarial attack op de ruimte van bounding box-coördinaten.

• Doel: Het vinden van "adversarial" bounding boxes die de segmentatiefout minimaliseren (of maximaliseren) terwijl ze realistisch blijven.
• Realism Regularizer: Een naïeve gradiëntafdaal zou de box tot een punt laten instorten. Om dit te voorkomen, gebruiken de auteurs een regularisatieterm gebaseerd op de empirische verdeling van de CIoU-Loss uit de gebruikersstudie (gefit met een Gamma-verdeling).
• Optimalisatie: Het proces optimaliseert de box-coördinaten via gradient descent om de Dice-loss te minimaliseren (voor een slechte output) of te maximaliseren (voor een goede output), gecombineerd met de log-probabiliteit van de realistische verdeling.
• Metriek: Er wordt een nieuwe robustheidsmetiek geïntroduceerd: IoU-Δ@BBox, het verschil tussen de beste en slechtste gevonden box voor een bepaald object.

3. Uitgebreide Benchmark

De methode werd toegepast op 15 state-of-the-art modellen (inclusief SAM, SAM2, SAM-HQ, RobustSAM, etc.) over 10 datasets.

Belangrijkste Resultaten

• Hoge Sensitiviteit: State-of-the-art modellen zijn extreem gevoelig voor kleine variaties in bounding boxes. Een verschuiving van slechts één pixel kan leiden tot een drastische daling in IoU (van ~0.95 naar ~0.00 in extreme gevallen).
• Prestatiekloof: Onder realistische prompt-variatie (zoals gevonden bij echte gebruikers) daalt de gemiddelde prestatie van modellen met ongeveer 30% IoU ten opzichte van de prestatie op perfecte "tight" boxes.
• Overfitting: Modellen lijken sterk overgefit op synthetische, perfecte bounding boxes. De "tight" box overschat de werkelijke prestaties in real-world scenario's aanzienlijk.
• Modelvergelijking:
  • Modellen zoals SAM-HQ en SAM-HQ2 tonen over het algemeen de beste balans tussen hoge maximale kwaliteit en robuustheid.
  • Modellen die specifiek zijn getraind voor robuustheid (zoals RobustSAM) presteren soms slechter op de "tight" box maar tonen soms minder variatie, hoewel ze over het algemeen nog steeds gevoelig blijven voor grote afwijkingen.
  • Er is een significante prestatiedaling bij mobiele gebruikers ten opzichte van desktop-gebruikers.
• Potentieel voor Verbetering: Door te optimaliseren voor IoU-maximalisatie (zoals een "perfecte" gebruiker zou tekenen), kan de kwaliteit van de modellen met gemiddeld 3% IoU worden verhoogd, wat suggereert dat er ruimte is voor betere training op realistische prompts.

Bijdragen en Significantie

1. Pionierende Gebruikersstudie: De eerste systematische analyse van bounding box-variabiliteit bij duizenden echte gebruikers, wat aantoont dat de huidige evaluatiestandaard (tight boxes) de realiteit niet weerspiegelt.
2. BREPS Methode: Een nieuwe, efficiënte white-box aanvalsmethode die realistische, menselijke prompts genereert om de ondergrens van modelkwaliteit te vinden, zonder de beperkingen van zwarte-kas random sampling.
3. Uitgebreide Benchmark: Een eerste omvattende evaluatie van promptable segmentatie over algemene en medische domeinen, die een gemiddelde prestatiekloof van 30% IoU blootlegt tussen synthetische en realistische prompts.
4. Toekomstrichting: Het paper onderstreept de noodzaak om promptable modellen te trainen en evalueren op basis van realistische, variabele gebruikersinvoer in plaats van alleen synthetische, perfecte inputs. Dit is cruciaal voor de betrouwbare inzet van deze modellen in toepassingen zoals robotica, medische diagnose en data-labeling.

Conclusie:
De paper waarschuwt dat hoewel promptable segmentatiemodellen indrukwekkend zijn, hun huidige evaluatie een "illusie van robuustheid" creëert. Zonder rekening te houden met de natuurlijke variatie in menselijke interactie, kunnen deze modellen in de praktijk onbetrouwbaar zijn. BREPS biedt een noodzakelijk framework om deze kwetsbaarheden te kwantificeren en modellen te verbeteren voor echte wereldtoepassingen.