💻 computer science

COCOTree: A Dataset and Benchmark for Open Tree-Structured Visual Decomposition

Dit artikel introduceert COCOTree, een dataset en benchmark op massale schaal voor open boomgestructureerde visuele decompositie die gebruikmaakt van een geautomatiseerde LVLM- en SAM 3-pijplijn om 1,8 miljoen hiërarchische knooppunten te genereren over 21.000 afbeeldingen, vergezeld van een nieuwe evaluatiemeta (OTQ) om maskerprecisie, labelnauwkeurigheid en structurele consistentie te beoordelen.

Oorspronkelijke auteurs: Junhyub Lee, Seunghun Chae, Hyosu Kim

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junhyub Lee, Seunghun Chae, Hyosu Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een foto van een drukke keuken kijkt.

De oude manier:
Traditionele computerzichttools kijken naar die foto en zeggen: "Ik zie een persoon, een tafel en een stoel." Ze breken de persoon misschien zelfs een beetje op: "Hoofd, torso, armen." Maar daar houden ze op. Ze behandelen de afbeelding als een platte lijst van items. Als je de computer vraagt: "Wat is dat handvat dat aan het kastje is bevestigd?", ziet het misschien gewoon een "handvat" dat in de ruimte zweeft. Het weet niet dat het handvat bij het kastje hoort, dat bij de keuken hoort, of dat het handvat bestaat uit een specifieke knop en een schroef. Het mist het "stamboom"-overzicht van de objecten.

De nieuwe manier (COCOTREE):
Dit artikel introduceert COCOTREE, een nieuwe manier om computers de wereld te leren zien, niet als een platte lijst, maar als een gigantische, vertakkende stamboom.

Denk eraan als een Russisch poppetje of een boom met wortels en takken:

De Wortel: De hele afbeelding is de stam.
De Takken: De stam splitst zich in grote objecten (een persoon, een kast).
De Twijgen: Die objecten splitsen zich in onderdelen (de kast splitst zich in een deur, een plank en een handvat).
De Bladeren: De onderdelen splitsen zich nog verder op (het handvat splitst zich in een knop en een schroef).

Het doel is om elk zichtbaar stukje van een object in kaart te brengen, tot in het kleinste detail, en ze allemaal te verbinden in een logische hiërarchie.

Hoe hebben ze dit gebouwd? (De Robotkok)

Het handmatig maken van een dergelijke kaart voor duizenden foto's zou onmogelijk zijn. Het zou mensen jaren kosten om elke schroef en elk scharnier te labelen.

In plaats daarvan bouwden de auteurs een volledig geautomatiseerde "Robotkok" die het werk voor hen doet. Deze robot gebruikt twee krachtige AI-tools die samenwerken:

Het Brein (LVLM): Een Large Vision-Language Model fungeert als een nieuwsgierige kok. Het kijkt naar de afbeelding en zegt: "Ik zie een kast. Wat zit erin? Ah, een plank en een handvat!" Het gebruikt zijn "gezond verstand" om te raden welke onderdelen bestaan.
De Handen (SAM 3): Een nauwkeurig segmentatiemodel fungeert als een paar stabiele handen. Zodra het Brein "handvat" raadt, tekenen de Handen een perfecte omtrek rond dat specifieke handvat op de foto.

Het proces:
De robot begint met de hele afbeelding. Het vraagt het Brein om de belangrijkste onderdelen te vinden. De Handen trekken lijnen eromheen. Vervolgens neemt de robot alleen het "kast"-gedeelte, zoomt in en vraagt het Brein opnieuw: "Nu ik alleen naar de kast kijk, wat zie ik?" Het Brein zegt: "Een deur en een handvat." De Handen tekenen die. Dit gebeurt keer op keer, recursief, totdat de robot geen kleinere stukjes meer kan vinden.

Het resultaat: Een enorme bibliotheek van bomen

Het resultaat is COCOTREE, een dataset met meer dan 21.000 afbeeldingen en 1,8 miljoen structurele knopen (stukken van objecten).

Onbeperkt: In tegenstelling tot oude datasets die slechts 80 of 100 specifieke woorden kennen (zoals "hond" of "auto"), gebruikt deze dataset een "open vocabulaire". Het kan een vreemd, uniek object labelen met een lange, specifieke beschrijving als het dat ziet.
Diep: Het gaat veel dieper dan eerdere methoden. Waar oude datasets misschien stoppen bij "deur", gaat deze verder: "deur -> handvat -> knop -> schroef".
Geverifieerd: De auteurs vertrouwden niet blind op de robot. Ze lieten 20 menselijke beoordelaars het werk controleren. De mensen waren het erover eens dat de "stambomen" van de robot accuraat waren en overeenkwamen met hoe mensen de wereld zien.

Hoe beoordelen we de robot? (De OTQ-score)

Hoe beoordeel je een toets waarbij de antwoorden complexe bomen zijn? Je kunt niet zomaar controleren of de robot de "auto" goed had. Je moet controleren:

Heeft het de omtrek van het wiel correct getekend? (Maskerprecisie)
Heeft het het een "wiel" genoemd en niet een "band"? (Labelnauwkeurigheid)
Heeft het het wiel correct onder de auto geplaatst, en de band onder het wiel? (Structurele consistentie)

Om dit te doen, creëerden ze een nieuw scoresysteem genaamd OTQ (Open Tree Quality). Het is als een rapportkaart die één enkele score geeft op basis van hoe goed de robot de afbeelding tekende, de onderdelen noemde en de stamboom organiseerde.

Samenvatting

Kortom, COCOTREE is een enorme, automatisch gegenereerde bibliotheek die computers leert de wereld in lagen te zien. Het gaat verder dan alleen "wat er in de afbeelding staat" naar "hoe de dingen in de afbeelding zijn opgebouwd en verbonden", met behulp van een team van AI-robots om de kaart te bouwen en menselijke beoordelaars om ervoor te zorgen dat de kaart accuraat is.

Technische Samenvatting: COCOTREE

Probleemstelling

Huidige paradigma's voor beeldsegmentatie, hoewel ze in staat zijn tot fijnmazige pixel-level partitionering, bieden doorgaans slechts een enkel niveau van abstractie van visuele componenten. Bestaande hiërarchische datasets vangen compositie-relaties op, maar lijden onder ernstige beperkingen in granulariteit en flexibiliteit: ze zijn vaak beperkt tot ondiepe, twee- of drie-laags diepten en worden ingeperkt door gesloten-vocabulaire lexicons. Dit gebrek aan structurele diepte en open-vocabulaire capaciteit belemmert compositie-resoneren voor autonome systemen (bijvoorbeeld embodied AI-agenten) die een begrip vereisen van de diepe, onbeperkte fysieke assemblages van real-world scènes. Bovendien is de handmatige annotatie van dergelijk hoogst granulaire, open-boomstructuren op schaal prohibitief duur en cognitief veeleisend.

Methodologie

Het artikel stelt Open Tree Decomposition voor, een taak die een beeld segmenteert in hiërarchische bomen van visuele componenten met onbeperkte granulariteit en flexibiliteit. Om de annotatie-flesnek aan te pakken, hebben de auteurs een volledig geautomatiseerde recursieve annotatie-pijplijn ontwikkeld die Large Vision-Language Models (LVLM's) combineert met de geometrische grondingscapaciteiten van SAM 3.

De pijplijn werkt via de volgende fasen:

Root Decomposition: Een LVLM analyseert het invoerbeeld om semantische labels voor belangrijke samenstellende elementen voor te stellen, uitsluitend gebaseerd op zichtbaar bewijs. Deze voorstellen worden door SAM 3 verankerd in precieze instantiemaskers.
Recursieve Decompositie: De pijplijn plaatst deze semantische knopen in een wachtrij. Voor elke knoop wordt het beeld bijgesneden tot de ruimtelijke uitgestrektheid van de knoop en opnieuw ingevoerd in de LVLM om sub-componenten (kinderen) voor te stellen. Deze cyclus herhaalt zich totdat er geen verdere zinvolle onderverdelingen meer bestaan.
Op Bewijs Gebaseerde Filtering: Om kwaliteit te waarborgen, past de pijplijn schaaladaptieve filtering toe. Vertrouwensdrempels voor maskerafleiding worden dynamisch aangepast op basis van de grootte van de ouderknoop (verminderd voor kleine regio's om fijne onderdelen te vangen, strenger voor grote regio's om ruis te voorkomen). Overbodige broeder-voorstellen worden samengevoegd als hun geometrische overlap 90% overschrijdt.
Conversie naar Instantie-niveau: De tussentijdse semantische boom wordt omgezet in een hiërarchie op instantie-niveau waarbij individuele maskers tot distincte knopen worden, die via ruimtelijke bevattingsheuristieken aan hun oudermaskers worden gekoppeld.

Belangrijkste Bijdragen

Het artikel introduceert COCOTREE, een benchmark en dataset op grote schaal voor open tree decomposition, samen met een nieuwe evaluatiemeta:

COCOTREE Dataset: Gebaseerd op de COCO-dataset, bevat deze meer dan 21.000 afbeeldingen en 1,8 miljoen structurele knopen (instantiemaskers). Het bereikt een ongekende annotatiedichtheid van 85,7 maskers per afbeelding en een gemiddelde boomdiepte van 3,448. Cruciaal is het gebruik van een open-vocabulaire ruimte van meer dan 3.500 unieke labels, die de lange-staartverdeling van complexe fysieke assemblages vastlegt zonder te worden beperkt door vooraf gedefinieerde taxonomieën.
Open Tree Quality (OTQ) Meta: De auteurs stellen OTQ voor, een Panoptic Quality (PQ)-achtige meta die specifiek is ontworpen voor open-boomstructuren. In tegenstelling tot eerdere metrieken die falen bij onbeperkte hiërarchieën, beoordeelt OTQ gezamenlijk:
- Maskerprecisie: Intersection over Union (IoU) van gekoppelde knopen.
- Labelnauwkeurigheid: Semantische gelijkenis tussen open-vocabulaire labels (met protocollen zoals BERT, WordNet of strikte matching).
- Structurele Consistentie: Het behoud van visuele ouder-kind-relaties in de herstelde boom.
Validatie Geautomatiseerde Pijplijn: Het artikel toont aan dat een volledig geautomatiseerde pijplijn annotaties kan genereren die sterk overeenkomen met menselijke structurele oordelen, waarmee de schaalbeperkingen van handmatige labeling worden overwonnen.

Resultaten en Validatie

Schaal en Dichtheid: COCOTREE presteert aanzienlijk beter dan bestaande hiërarchische baselines (bijvoorbeeld PartImageNet, PACO, CPP) in zowel maskerdichtheid als structurele diepte. Waar bestaande datasets beperkt zijn tot diepten van 2 of 3, ondersteunt COCOTREE onbeperkte diepte; meer dan 56% van de Extra Small (XS) maskers is verankerd op diepten van 3 of hoger.
Geometrische Compatibiliteit: Bij vergelijking met gevestigde platte-hiërarchie datasets (COCO-17, LVIS, COCO-ReM) tonen de gegenereerde maskers een hoge alignering, met Median IoU-scores variërend van 0,73 tot 0,90. Recall daalt voor extreem kleine (XS) regio's, wat wordt toegeschreven aan de moeilijkheid om tiny visueel bewijs voor te stellen en te gronden.
Menselijke Evaluatie: Een rigoureuze menselijke validatiestudie met 20 beoordelaars bevestigde de kwaliteit van de annotaties.
- Knopen-niveau: De pijplijn behaalde $\ge$ 91% "Goed"-beoordelingen voor label-masker matching, instantiescheiding, kindvaliditeit en geschiktheid van bladeren.
- Boom-niveau: Hoewel volledige boom-consistentie hogere rates van kleine problemen vertoonde (verwacht vanwege de open-vocabulaire aard), bleven grote falen kritiek laag (1,0% tot 7,7%).
Benchmark Prestaties: Experimenten met OTQ op basismodellen (platte projecties en recursieve SAM 3-varianten) toonden aan dat de meta effectief onderscheid maakt tussen masker kwaliteit, labelkwaliteit en structurele fouten. Bijvoorbeeld, "parent rewiring"-corruptie verlaagde het Tree Quality (TQ)-component aanzienlijk terwijl masker- en labelscores hoog bleven, wat de gevoeligheid van de meta voor structurele integriteit bevestigt.

Betekenis

Het artikel beweert dat COCOTREE en de OTQ-meta een nieuwe benchmark definiëren voor modellen die niet alleen zichtbare regio's moeten herstellen, maar ook hun compositie-organisatie. Door voorbij te gaan aan platte regiovoorspelling en vaste object-deeltemplates, faciliteert dit werk de ontwikkeling van algoritmen voor hiërarchische analyse met onbeperkte granulariteit. De auteurs stellen dat deze setting een weg opent naar segmentatiesystemen die fijnmazig redeneren, interactie en embodied visueel begrip beter ondersteunen.

Het artikel behoudt een bescheiden toon regarding zijn beperkingen, waarbij wordt erkend dat:

Referentie Multipliciteit: Hiërarchische parsing is onbeperkt, wat betekent dat meerdere geldige decomposities bestaan; COCOTREE biedt een singuliere, hoogtrouw referentie gebaseerd op menselijk consensus.
Open-Vocabulaire Evaluatie: Label-evaluatie vertrouwt op gelijkenisprotocollen die ambiguïteit kunnen introduceren voor synoniemen of zeldzame woorden.
Geautomatiseerde Fouten: De volledig geautomatiseerde pijplijn introduceert onvermijdelijk structurele en geometrische ruis, vooral in sterk gelokaliseerde, diepe-laag regio's, wat toekomstige onderzoeksrichtingen opent voor zelfverifiërende kaders.