CoPRS: Learning Positional Prior from Chain-of-Thought for Reasoning Segmentation

Probleemstelling

Bestaande methoden voor redenerende segmentatie (het toewijzen van een masker aan een object op basis van complexe, natuurlijke taal-instructies zoals "segmenteer de UAV die achter de quadcopter aan vliegt") kampen met twee fundamentele beperkingen:

1. Latente redenering: Methoden zoals LISA decoderen directe verborgen features van een taalkaartmodel (LLM) naar een masker. Dit maakt het redeneringsproces een "black box", wat de interpretabiliteit en de mogelijkheid tot diagnostische analyse beperkt.
2. Tekstgebaseerde redenering: Methoden zoals Seg-Zero genereren discrete coördinaten (bijv. boxen of punten) via tekst. Hoewel expliciet, zijn deze interfaces onflexibel voor het vastleggen van fijne visuele details en kwetsbaar voor opmaakfouten of coördinaten die buiten het beeld vallen.

Er is een behoefte aan een aanpak die een betere afweging biedt tussen interpretabiliteit en representatieve nauwkeurigheid, waarbij de link tussen taalredenering en visuele perceptie transparant en differentieerbaar is.

Methodologie: CoPRS

De auteurs introduceren CoPRS (Chain-of-Thought based Positional perception for Reasoning Segmentation), een end-to-end model dat een Multi-Modal Chain-of-Thought (MCoT) benadering combineert met een leerbaar positie-prior (positional prior).

Kernarchitectuur:

1. MCoT Redenering: Het model gebruikt een Multimodal Large Language Model (MLLM), specifiek Qwen2.5-VL, om eerst een redeneringsketen (Chain-of-Thought) te genereren binnen een <thought>...</thought> blok.
2. Leerbaar Concentratie-Token: Na de redenering genereert het model een speciaal "concentratie-token" (<REF_POS>). De embedding van dit token wordt gebruikt als een query.
3. Positie-Prior (Heatmap): Deze query wordt via een Query Head afgebeeld op de visuele features (geëxtraheerd door een ViT-H encoder, gebaseerd op SAM). Door middel van multi-head attention wordt een dichte, differentieerbare heatmap gegenereerd. Deze heatmap fungeert als een "positie-prior" die de focus legt op het relevante gebied in het beeld.
4. Decodering: Een lichtgewicht decoder (gebaseerd op de SAM-decoder) gebruikt deze heatmap en de originele beeldfeatures om het definitieve, precieze segmentatiemaske te genereren.

Trainingsframework:
CoPRS maakt gebruik van een unified training framework dat twee doelen combineert:

• GRPO (Group Relative Policy Optimization): Een versterkingsleerstrategie (geinspireerd door DeepSeek-R1) die wordt toegepast op het taalpad. Het model genereert meerdere antwoorden per vraag; de beloning is gebaseerd op de kwaliteit van het masker (IoU/Dice) en de naleving van het CoT-formaat. Dit verbetert het redeneervermogen.
• Supervisie voor Segmentatie: Een traditionele supervisie (BCE, Dice en Focal loss) wordt toegepast op de gegenereerde heatmap en het uiteindelijke masker.

De totale loss functie is een som van de GRPO-loss en de segmentatie-loss, wat zorgt voor gelijktijdige optimalisatie van redenering en visuele precisie.

Belangrijkste Bijdragen

1. CoPRS Formulier: Een end-to-end model dat taalredenering koppelt aan segmentatie via een interpretabel tussenstapje (de heatmap), in plaats van via verborgen features of discrete coördinaten.
2. Unificatie van RL en Supervisie: Een nieuw trainingsparadigma dat GRPO combineert met gesuperviseerde verliesfuncties, waardoor het model zowel beter redeneert als scherper segmenteert.
3. Interpreteerbare Interface: De heatmap biedt een visueel inzicht in waar het model "naar kijkt" tijdens het redeneren, wat de correlatie tussen de tekstuele redenering en de visuele output blootlegt.
4. Learnable Concentration Query: Een mechanisme dat beeld- en tekstfeatures samenvoegt tot een dichte ruimtelijke prior, wat superieur is aan discrete coördinaten voor het vastleggen van complexe objectgrenzen.

Resultaten

CoPRS is geëvalueerd op de standaard benchmarks RefCOCO, RefCOCO+, RefCOCOg en ReasonSeg.

• Prestaties: CoPRS behaalt state-of-the-art resultaten op bijna alle splits van de RefCOCO-serie en ReasonSeg. Bijvoorbeeld, CoPRS-7B scoort beter dan de meeste bestaande methoden (zoals LISA, SegLLM, GroundHog) en presteert vergelijkbaar met of beter dan de grootste concurrenten (zoals RAS-13B), ondanks dat CoPRS-7B kleiner is.
• Zero-Shot Generalisatie: Op ReasonSeg (waar het model niet op is getraind) toont CoPRS sterke zero-shot prestaties, wat wijst op een goede generalisatie naar complexe redeneringstaken.
• Correlatieanalyse: Er is een sterke positieve correlatie gevonden (R > 0.7) tussen de kwaliteit van de Chain-of-Thought, de gegenereerde heatmap (positie-prior) en het uiteindelijke masker. Dit bevestigt dat betere redenering direct leidt tot betere visuele concentratie en segmentatie.
• Ablatie-studies: De studies tonen aan dat de combinatie van GRPO en supervisie essentieel is; alleen supervisie of alleen RL levert minder goede resultaten op. Ook is het model robuust tegen veranderingen in de MLLM-backbone (Qwen vs. LLaVA).

Betekenis en Impact

Dit paper biedt een belangrijke doorbraak in het veld van visueel-taalmodellen door de kloof tussen hoog niveau redeneren en pixel-nauwkeurige segmentatie te overbruggen.

• Interpretabiliteit: Het maakt het "denken" van het model zichtbaar via de heatmap, wat cruciaal is voor vertrouwen en foutanalyse in kritieke toepassingen.
• Efficiëntie: Het vermijdt de noodzaak voor complexe post-processing of discrete coördinaatgeneratie, wat vaak foutgevoelig is.
• Toekomstperspectief: De methode biedt een nieuw paradigma voor hoe multimodale modellen instructies kunnen vertalen naar perceptuele beslissingen, met potentie voor uitbreiding naar andere taken zoals trajectvoorspelling of complexe objectrelaties.

Kortom, CoPRS demonstreert dat het expliciet leren van een ruimtelijke prior via redenering een krachtige en interpretabele route is naar superieure visuele begripsystemen.