💻 computer science

X2SAM: Any Segmentation in Images and Videos

X2SAM is een geünificeerd multimodaal groot taalmodel dat segmentatiecapaciteiten voor willekeurige segmenten uitbeelden naar video's uitbreidt door een LLM te koppelen aan een Mask Memory-module, waardoor hoogwaardige, temporair consistente maskergeneratie mogelijk wordt op basis van zowel conversatie-instructies als visuele prompts voor uiteenlopende segmentatietaken.

Oorspronkelijke auteurs: Hao Wang, Limeng Qiao, Chi Zhang, Lin Ma, Guanglu Wan, Xiangyuan Lan, Xiaodan Liang

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Wang, Limeng Qiao, Chi Zhang, Lin Ma, Guanglu Wan, Xiangyuan Lan, Xiaodan Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een superintelligente assistent voor die een foto of video kan bekijken en je precies kan vertellen wat er gebeurt. Lange tijd waren deze assistenten uitstekend in het beschrijven van het "totale plaatje" (zoals "een hond die speelt in een park"), maar slecht in het aanwijzen van specifieke details (zoals "teken een cirkel rond de linkerpoot van de hond").

Aan de andere kant heb je gespecialiseerde tools die fantastisch zijn in het trekken van die precieze cirkels (maskers) rond objecten, maar die lijken op robots die alleen simpele commando's begrijpen zoals "klik hier" of "teken een kader". Ze begrijpen geen complexe zinnen zoals: "Zoek de hond die de rode bal achtervolgt en teken eromheen."

X2SAM is de nieuwe "super-connector" die deze kloof overbrugt. Het combineert het brein van een conversatie-AI met de handen van een precisietekentool, en het werkt voor zowel stilstaande foto's als bewegende video's.

Hier is een uiteenzetting van hoe het werkt, met behulp van alledaagse analogieën:

1. De "Universele Vertaler" voor Foto's en Video's

Beschouw X2SAM als een universele vertaler die zowel "Menselijke Taal" als "Pixeltaal" spreekt.

De Oude Manier: Als je een specifiek object in een video wilde vinden, moest je misschien één tool gebruiken om de video te begrijpen en een andere tool om de omtrek te tekenen. Ze communiceerden niet goed met elkaar.
De X2SAM Manier: Je kunt gewoon op een natuurlijke manier met het praten. Je kunt zeggen: "Laat me de persoon zien die heen en weer loopt bij de witte muur," of zelfs naar een plek op je scherm wijzen en zeggen: "Zoek wat er in dit gebied is." X2SAM begrijpt de instructie en tekent direct de omtrek voor je, of het nu een enkele foto is of een 10-seconden videofragment.

2. De "Geheugbank" voor Bewegende Beelden

Dit is het geheimzinnige ingrediënt dat X2SAM speciaal maakt voor video's.

Het Probleem: Als je een standaard AI vraagt een persoon in een video te volgen, kijkt het vaak naar elk frame (elk beeldje van een fractie van een seconde) alsof het gloednieuw is. Het kan de persoon uit het oog verliezen wanneer ze achter een boom lopen of wanneer de camera schudt.
De X2SAM Oplossing: X2SAM heeft een Masker-geheugenmodule. Stel je dit voor als een "post-it" systeem. Terwijl de video afspeelt, schrijft X2SAM op waar het object zich in het vorige frame bevond en houdt die notitie in zijn zak. Wanneer het naar het volgende frame kijkt, controleert het zijn notities om te zeggen: "Ah, ik weet dat deze persoon hier net was, dus ze zijn waarschijnlijk nog steeds hier." Hierdoor blijft de omtrek van het object vloeiend en consistent, zelfs als het object beweegt, wordt verduisterd of van vorm verandert.

3. De "Zwitsers zakmes" van Taken

Het artikel stelt dat X2SAM een enorme verscheidenheid aan taken kan afhandelen met één enkel systeem, in plaats van een ander gereedschap nodig te hebben voor elke taak. Het kan:

Generieke Segmentatie: "Teken omtrekken voor alles in dit plaatje."
Verwijzende Segmentatie: "Teken de kat die een hoed draagt."
Redenerende Segmentatie: "Zoek het object dat gebruikt kan worden om water in een glas te gieten." (Het moet nadenken om te begrijpen dat het een kan is, niet alleen zoeken naar het woord "kan").
Visueel Verankerde Segmentatie: Je wijst naar een plek op het scherm en het tekent het object waarnaar je wijst.
Conversatie: Het kan met je chatten over de afbeelding of video terwijl het tegelijkertijd de maskers tekent.

4. Hoe Het Leerde (De Training)

Om zo goed te worden, leerden de onderzoekers het niet één ding tegelijk. Ze gebruikten een Gecombineerde Gezamenlijke Training strategie.

De Analogie: Stel je voor dat je een student leert. In plaats van hen maandag wiskunde te leren en dinsdag geschiedenis, leer je ze hoe ze wiskundeproblemen kunnen oplossen met behulp van geschiedeniskennis, en vice versa, allemaal tegelijk.
X2SAM werd getraind op een enorme mix van afbeeldingen en video's tegelijkertijd. Dit hielp het te leren dat de regels voor het vinden van een "hond" op een foto vergelijkbaar zijn met het vinden van een "hond" in een video, maar dan met de toegevoegde draai dat het moet onthouden waar de hond een seconde geleden was.

5. De Nieuwe "Test" (V-VGD)

De auteurs hebben ook een nieuwe test ontwikkeld genaamd Video Visual Grounded (V-VGD) segmentatie.

De Analogie: Voorheen vroegen tests vooral: "Kun je de hond vinden?" De nieuwe test van X2SAM vraagt: "Ik wijst naar een plek op het scherm in deze video; kun je het object vinden waarnaar ik wijst en het volgen terwijl het beweegt?" Dit test of de AI echt het verband kan begrijpen tussen een visuele aanwijzing en het bewegende object. X2SAM heeft deze test met vlag en wimpel gehaald en versloeg eerdere modellen.

Samenvattend

X2SAM is alsof je een menselijke kunstenaar een paar ogen geeft die elk pixel kunnen zien, een brein dat complexe zinnen en logica begrijpt, en een geheugen dat onthoudt waar dingen een moment geleden waren. Het stelt je in staat om een natuurlijk gesprek te voeren met een computer om specifieke dingen in zowel foto's als video's te vinden en te omlijnen, allemaal in één keer.

Wat het niet doet (gebaseerd op het artikel):
Het artikel richt zich volledig op de technische mogelijkheid om objecten in afbeeldingen en video's te segmenteren (omlijnen). Het claimt niet gebruikt te worden voor medische diagnose, zelfrijdende auto's of beveiligingsbewaking, hoewel dat potentiële toekomstige toepassingen zijn voor dergelijke technologie. Het is strikt een hulpmiddel voor het begrijpen en omlijnen van visuele inhoud op basis van instructies.

Technische Samenvatting: X2SAM: Elke Segmentatie in Afbeeldingen en Video's

1. Probleemstelling

Hoewel Multimodale Grootte Taalmodellen (MLLM's) aanzienlijke vooruitgang hebben geboekt in globaal visueel begrip en redeneren (bijvoorbeeld afbeeldingstexting, VQA), blijft hun vermogen om dichte, pixel-level output te genereren voor nauwkeurige ruimtelijke en temporele begrip beperkt. Omgekeerd produceren fundamentele segmentatiemodellen zoals SAM en SAM2 maskers van hoge kwaliteit, maar vertrouwen ze op visuele prompts op laag niveau (punten, vakken) en missen ze het vermogen om complexe conversatieve tekstinstructies op native wijze te interpreteren.

Bestaande segmentatie-MLLM's proberen deze kloof te overbruggen, maar lijden onder structurele fragmentatie:

Alleen-afbeeldingsmodellen (bijvoorbeeld LISA) verwerken tekst, maar missen ondersteuning voor visuele prompts en video-invoer.
Alleen-videomodellen (bijvoorbeeld VISA, VideoLISA) ondersteunen temporele tekst-naar-masker-generatie, maar missen vaak geünificeerde architecturen voor statische afbeeldingen en visuele prompting.
Huidige beperkingen: Geen enkel framework ondersteunt native zowel tekstuele als visuele prompts voor zowel statische afbeeldingen als dynamische video's, terwijl het temporele consistentie behoudt.

2. Methodologie: X2SAM Framework

X2SAM is een geünificeerd, op segmentatie gericht MLLM dat is ontworpen om "elke-segmentatie"-capaciteiten van afbeeldingen naar video's uit te breiden. Het integreert een MLLM met een gespecialiseerde Maskergeheugenmodule om diverse taken onder één instructievolgend paradigma te hanteren.

2.1 Geünificeerde Formulering

Het framework behandelt objecten van belang als conditionele staten en taalinstrucies als contextuele invoer. Het maakt gebruik van speciale tokens <p> en </p> om objectcondities af te bakenen en een dedicated <SEG>-token om het segmentatiemasker aan te geven. De verborgen representatie van het <SEG>-token dient als semantische directive die de maskerdecoder leidt. Deze formulering ondersteunt 14 verschillende taken voor afbeeldingen en video's, waaronder:

Generieke, Open-Vocabulary, Referring en Redenerende Segmentatie.
Grounded Conversation Generation (GCG).
Interactieve en Visueel Grounded Segmentatie (VGD).

2.2 Architectuur

Het model hanteert een dubbel-tak visuele extractie en een geünificeerde generatiepijplijn:

Visuele Encoders:
- Visie-Encoder: Gebaseerd op Qwen3-VL, extraheren deze globale visuele representaties ( $Z_v$ ) uit afbeeldingen of videoframes (aangevuld met tijdstempels).
- Masker-Encoder: Gebaseerd op SAM2, vangt deze fijne, hoog-resolutie kenmerken ( $Z_m$ ) die essentieel zijn voor dichte maskerpredictie.
- Regio-Sampler: Een parameterloze module die gelokaliseerde visuele prompt-embeddings uit $Z_m$ extrahert met behulp van punt-sampling en adaptieve pooling, waardoor het injecteren van visuele aanwijzingen (punten/vakken) in de LLM mogelijk wordt.
Grootte Taalmodel (LLM):
- Verwerkt getokeniseerde tekstinstrucies en visuele embeddings.
- Genereert autoregressief de taalrespons ( $Y_q$ ) en een dedicated SEG latent embedding. Deze embedding fungeert als een semantische brug tussen taalbegrip en maskerpredictie.
Maskerdecoder:
- Herontworpen vanuit X-SAM, integreert deze Token-naar-Afbeelding Attention en Query-naar-Afbeelding Attention.
- Deze ontvangt de geprojecteerde SEG-token embedding ( $Z_p$ ), leerbare maskerqueries ( $Q_m$ ) en temporeel verfijnde visuele kenmerken ( $Z_w$ ).
- Zero-initialisatie wordt gebruikt voor Token-naar-Afbeelding attention-parameters om stabiele training te waarborgen.
Maskergeheugenmodule:
- Cruciaal voor videotaken, onderhoudt deze module een First-In-First-Out (FIFO)-cache van geleide visuele kenmerken van voorgaande frames.
- Geheugen-Attention: Richt zich op geleide kenmerken van voorgaande frames om temporeel verfijnde kenmerken voor het huidige frame te produceren.
- Geheugen-Encoder: Encodeert downsamplede visuele kenmerken en huidige maskerlogits naar nieuwe geleide kenmerken voor opslag.
- Dit mechanisme vervangt onafhankelijke frame-voor-frame decoding, waardoor maskerconsistentie over videosequenties wordt gewaarborgd.

2.3 Trainingsstrategie

X2SAM maakt gebruik van een Geünificeerde Gezamenlijke Trainingstrategie over heterogene afbeeldings- en videodatasets:

Fase 1 (Agnostische Segmentator): De masker-encoder is bevroren; de maskerdecoder wordt getraind op SA-1B (alleen masker) om klassenonafhankelijke vorm- en grenspriors te leren.
Fase 2 (Gezamenlijke Training): Het model wordt gezamenlijk getraind op 14 segmentatietaken en chatdatasets.
- Dimension-Shifting Pijplijn: Videotensors worden getransponeerd en opgesplitst in frame-niveau tensors om ze via de afbeelding-niveau interface te verwerken, waarbij temporele afhankelijkheden worden gehanteerd door het Maskergeheugen.
- Modality-bewuste Batchvorming: Om geheugenbeperkingen te beheersen, worden videobatches klein gehouden (batchgrootte 1 per apparaat) terwijl afbeeldingsbatches worden uitgebreid (vermenigvuldiger van 4), waardoor efficiënt gebruik van GPU-parallelisme mogelijk wordt.
- Verliesfunctie: Een gezamenlijk doel combineert autoregressief verlies (taal), maskerverlies (BCE + Dice) en focal loss (classificatie).

3. Belangrijkste Bijdragen

Geünificeerd Framework: X2SAM is het eerste model dat native zeven segmentatietaken ondersteunt (generiek, open-vocabulary, referring, redenerend, grounded conversation, object-gericht en visueel grounded) voor zowel afbeeldingen als video's binnen één instructievolgend interface.
Maskergeheugenmodule: Introduceert een nieuwe module die semantische grounding koppelt aan temporele propagatie, waardoor temporeel consistente maskergeneratie voor video's mogelijk wordt zonder te vertrouwen op cascade-propagatie of frame-voor-frame onafhankelijkheid.
Video Visueel Grounded (V-VGD) Benchmark: Stelt een nieuwe benchmark voor die het vermogen evalueert om objecttracks in video's te segmenteren met interactieve visuele prompts (punten/vakken), waardoor een gat in bestaande evaluatieprotocollen wordt gedicht.
Efficiënte Gezamenlijke Training: Demonstreert een geünificeerde trainingsstrategie die trainingskosten verlaagt (3,3K GPU-uren versus 5,2K voor eenvoudige gezamenlijke training) terwijl een gebalanceerde prestatie over modaliteiten wordt behouden.

4. Experimentele Resultaten

X2SAM werd geëvalueerd op 14 taken voor afbeeldings- en videobenchmarks, waarbij sterke prestaties in beide domeinen werden aangetoond:

Afbeeldingsegmentatie: X2SAM blijft concurrerend met op afbeeldingen gespecialiseerde generalisten (bijvoorbeeld X-SAM). Het bereikt state-of-the-art of bijna state-of-the-art resultaten voor referring segmentatie (RefCOCOg) en redenerende segmentatie, terwijl het open-vocabulary segmentatie (I-OV) aanzienlijk verbetert ten opzichte van eerdere op MLLM gebaseerde methoden.
Videosegmentatie: X2SAM presteert beter dan bestaande op MLLM gebaseerde video-generalisten (bijvoorbeeld VISA, VideoLISA, UniPixel) op de meeste benchmarks.
- Generieke Segmentatie: Bereikt 65,1 mIoU op VSPW en 69,9/88,4 AP/AP50 op YT-VIS19.
- Referring & Redeneren: Stelt nieuwe state-of-the-art voor video referring (Ref-YT21, Ref-DV17) en redenerende (ReVOS) taken, en overtreft gespecialiseerde niet-MLLM-modellen zoals ReferFormer-B in redenerende taken.
- Grounded Conversation: Verbeterd V-GCG mIoU met +21,5 ten opzichte van VideoGLaMM.
Visueel Grounded (V-VGD): Op de nieuwe V-VGD benchmark presteert X2SAM aanzienlijk beter dan SAM2-H (bijvoorbeeld 74,4 AP versus 54,0 AP op YT-VIS19 met vakprompts), wat de effectiviteit van de regio-sampler en maskergeheugen bij het propageren van visuele prompts valideert.
Chatcapaciteiten: Ondanks de focus op segmentatie, behoudt X2SAM sterke algemene afbeeldings- en videochatcapaciteiten, en presteert het beter dan veel op chat gespecialiseerde modellen op benchmarks zoals MMBench en VideoMME.

5. Betekenis en Claims

Het artikel claimt dat X2SAM het "elke-segmentatie"-paradigma succesvol unificeert van statische afbeeldingen naar dynamische video's. Door een MLLM te integreren met een Maskergeheugenmodule, overwint het de beperkingen van eerdere gefragmenteerde benaderingen en biedt het één interface voor complexe multimodale instructies (tekst en visueel) over diverse taken.

De auteurs benadrukken dat X2SAM een praktische baseline vestigt voor geünificeerde pixel-level ruimtelijk-temporele begrip. Hoewel wordt erkend dat gespecialiseerde modellen het nog steeds kunnen overtreffen op sterk gefocuste taken (bijvoorbeeld geoptimaliseerde video-objectsegmentatie zonder taal), toont X2SAM aan dat een generalistmodel een sterke balans kan bereiken tussen taakdekking, nauwkeurigheid en het behoud van algemene conversatiecapaciteiten. De introductie van de V-VGD benchmark en de geünificeerde gezamenlijke trainingsstrategie worden benadrukt als belangrijke stappen richting robuustere en veelzijdigere vision-taalsystemen.