NegROI: Click-Centric Uncertainty-Guided Refinement with Scene-Conditioned Negative Prompts for Robust Interactive 3D Segmentation

Technische Samenvatting: NegROI

Probleemstelling
Interactieve 3D-segmentatie beoogt objectmaskers te extraheren uit puntenwolken met een minimaal aantal gebruikersklikken. Ondanks recente vooruitgang worden bestaande methoden geconfronteerd met twee primaire uitdagingen:

1. Boundary Under-segmentation (Ondersegmentatie van randen): Representaties met een enkele resolutie (single-resolution voxels) vervagen vaak fijne objectgrenzen, vooral wanneer het budget aan gebruikersklikken klein is.
2. Hard False Positives (FPs): Verwarrende achtergrondstructuren triggeren regelmatig hoog-betrouwbare fout-positieven, zelfs met gebruikersfeedback.
   Deze problemen worden verergererd door distributieverschuivingen tussen datasets (bijv. dichte RGB-D reconstructies versus ijle LiDAR-scans), waarbij vaste verfijningsheuristieken en puur klik-gestuurde decodering niet generaliseren.

Methodologie
De auteurs stellen NegROI voor, een nieuw transformer-gebaseerd interactief framework dat klik-gecentreerde multi-resolutie verfijning integreert met scène-geconditioneerde negatieve prompts. De architectuur bestaat uit drie gekoppelde componenten:

1. Backbone & Interactie:

   • Het systeem maakt gebruik van een sparse voxel backbone en een two-way transformer decoder (aangepast van Easy3D) om de scène te coderen en klik-tokens te integreren.
   • Klikken worden gemapt naar grove voxel-coördinaten, en interactie-tokens (voorgrond, achtergrond en klik-specifiek) worden in de decoder geïnjecteerd.

2. Scène-geconditioneerde Negatieve Prompts:

   • Om verwarrende achtergrondstructuren expliciet te modelleren, introduceert de methode $K$ leerbare negatieve prompt-queries.
   • Deze queries maken gebruik van cross-attention op scène-tokens om scène-geconditioneerde negatieve prototypes te genereren, die vóór de decodering aan de interactie-tokens worden toegevoegd.
   • Supervisie:
     • Boundary-Aware Hard Negative Mining ($L_{hn}$): De attention-gewichten van de negatieve prompts worden gesuperviseerd om te focussen op hoog-betrouwbare fout-positieven nabij de objectgrenzen.
     • Diversity Regularizer ($L_{div}$): Een straf op de cosine similarity tussen negatieve prototypes voorkomt "prompt collapse", wat zorgt voor diverse achtergrondmodellering.

3. Klik-gecentreerde ROI Refinement:

   • In plaats van de gehele scène op een hoge resolutie te verfijnen, identificeert het systeem een lokale Region of Interest (ROI) rond de huidige klik.
   • Adaptieve Straal: De grootte van de ROI wordt bepaald door een adaptieve straal die wordt voorspeld vanuit de klik-context en lokale puntendichtheid.
   • Selectieve Verfijning: Een onzekerheidsgestuurd mechanisme geeft prioriteit aan ambigue regio's binnen de ROI voor verwerking op een fijnere grid.
   • Verfijningsproces: De ROI wordt opnieuw ge-voxeliseerd op een fijnere resolutie ($v_f = v/\eta$), verwerkt via een gedeelde encoder en een specifieke ROI-decoder, waarna de resulterende fijne logits via een max-aggregatie en een residual update worden gefuseerd met de grove logits.

Belangrijkste Bijdragen
Het artikel beschrijft vier primaire bijdragen:

1. Klik-gecentreerde Multi-Resolutie Verfijning: Een module die efficiënte fine-grid verfijning uitvoert binnen een lokale ROI en deze voorspellingen terugvoert naar de grove logits, wat de vervaging van randen aanpakt zonder dens globale decodering.
2. Onzekerheidsgestuurde Selectieve Verfijning: Een mechanisme dat computationele middelen concentreert op ambigue regio's binnen de ROI, wat zowel de efficiëntie als de robuustheid verbetert.
3. Scène-geconditioneerde Negatieve Prompts: Een gestructureerde aanpak voor expliciete achtergrondmodellering met behulp van negatieve prototypes die via cross-attention worden geleerd, aangevuld met een diversiteitsregularisator om instorting te voorkomen.
4. Boundary-Aware Hard Negative Mining: Een supervisiestrategie die de aandacht van de negatieve prompts specifiek richt op grensproximale, hoog-betrouwbare fout-positieven.

Experimentele Resultaten
De auteurs hebben NegROI geëvalueerd op drie benchmark-datasets: ScanNet40, S3DIS en KITTI-360.

• In-Domain Prestaties: Op ScanNet40 presteert NegROI consistent beter dan state-of-the-art baselines (inclusief InterObject3D, AGILE3D en Easy3D) over alle klik-budgetten ($k \in \{1, 2, 3, 5, 10\}$), waarbij de meest significante winst wordt waargenomen bij ijle interacties (1–3 klikken).
• Out-of-Domain Generalisatie: Wanneer getraind op ScanNet40 en getest op S3DIS en KITTI-360 zonder training op de doel-domein, demonstreerde NegROI een superieure cross-dataset robuustheid vergeleken met baselines, waarbij de sterke prestaties met name werden behouden bij lage aantallen klikken.
• Single-Click Evaluatie: In een setting getraind op enkel ScanNet20 en getest op ScanNet20/40, verbeterde NegROI de mAP en AP metrieken vergeleken met non-interactieve en open-vocabulary baselines, wat wijst op de voordelen van de voorgestelde prompting en verfijning in single-click scenario's.
• Kwalitatieve Analyse: Visualisaties bevestigden dat NegROI effectief aangehechte of visueel gelijke distractoren onderdrukt en scherpere randen herstelt, wat resulteert in minder fout-positieven nabij de randen vergeleken met de Easy3D baseline.

Significantie
Het artikel stelt dat NegROI de state-of-the-art voor robuuste interactieve 3D-segmentatie vooruit helpt. Door klik-gecentreerde lokale verfijning te koppelen aan expliciete achtergrondmodellering via negatieve prompts, bereikt de methode een verbeterde klik-efficiëntie en verminderde fout-positieven. Cruciaal is dat het de uitdaging aanpakt om te generaliseren over datasets met variërende dichtheden en schalen, en daarmee een oplossing biedt die minder afhankelijk is van vaste heuristieken en meer aanpasbaar is aan distributieverschuivingen. De auteurs positioneren dit werk als een stap naar meer betrouwbare interactieve pipelines voor 3D-toepassingen waar dichte labeling kostbaar is.