🤖 machine learning

Structure over Pixels: Learning Variable-Length Visual Programs

Het artikel introduceert STROP, een discrete visuele tokenizer die variabele-lengte visuele programma's leert om structurele scène-representaties vast te leggen door een specifieke lengtekop te optimaliseren via een vierfasig curriculum dat wordt begeleid door hoog-niveau kenmerken, waardoor pixelreconstructie wordt omzeild om compositie-structuur boven textuur te prioriteren.

Oorspronkelijke auteurs: Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

Gepubliceerd 2026-05-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe scène, zoals een drukke straatmarkt, aan een vriend via een tekstbericht probeert te beschrijven. Je hebt twee keuzes:

De Oude Manier: Je stuurt een enorme, onbewerkte foto. Die is duidelijk, maar het duurt eeuwen om te laden en vertelt je vriend niet waar ze naar moeten kijken.
De Nieuwe Manier (STROP): Je stuurt een korte, variabele lijst met trefwoorden. Als de scène slechts een heldere blauwe lucht is, stuur je één woord: "Lucht". Als het een chaotische markt is met 20 mensen, kraampjes en dieren, stuur je een langere lijst: "Kraam, Appel, Hond, Kind, Hoed..."

Dit artikel introduceert STROP, een nieuwe manier voor computers om afbeeldingen te "lezen" door ze om te zetten in deze variabele lijsten met trefwoorden (een "visueel programma" genoemd), in plaats van alleen pixels te comprimeren.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem met Huidige "Tokenizers"

De meeste huidige AI-afbeeldingscompressoren werken als een vast formaat rooster. Stel je voor dat je een foto hebt en de computer dwingt deze in een rooster van 64 vakjes.

Als de foto een lege witte muur is, vult de computer toch alle 64 vakjes met "witte" tokens.
Als de foto een druk stadion is, heeft de computer toch maar 64 vakjes om mee te werken.
Het verspilt ruimte aan lege gebieden en raakt de ruimte voor complexe gebieden tekort. Het is alsof je probeert een roman op een ansichtkaart te schrijven; je laat ofwel details weg, of je propt alles onleesbaar in elkaar.

2. De STROP-oplossing: Een "Slim Script"

STROP behandelt een afbeelding als een script of een recept dat kort of lang kan zijn, afhankelijk van de scène.

De Generator (De Schrijver): Hij kijkt naar de afbeelding en beslist: "Deze scène is simpel; ik heb slechts 10 woorden nodig om het te beschrijven." Of: "Deze scène is rommelig; ik heb 40 woorden nodig."
De Interpreter (De Lezer): Hij neemt die woorden en herbouwt het begrip van de afbeelding.
De Lengte-kop: Dit is een speciaal onderdeel van de AI dat fungeert als een manager. Hij kijkt naar de afbeelding en zegt direct: "Stop met schrijven na token nummer 15," of "Ga door tot token 40." Hij leert de lengte van het script af te stemmen op de complexiteit van de scène.

3. Hoe Het Leert: Het "Vier-fasen Curriculum"

De AI werd niet zomaar wakker met de kennis hoe dit te doen. De auteurs leerden het met een trainingskamp van vier stappen:

Fase 1 (Willekeurige Truncatie): De AI wordt gedwongen scripts van willekeurige lengtes te schrijven. Dit leert hem dat de belangrijkste informatie eerst moet worden geschreven (vooraan geplaatst), net als een goede kop.
Fase 2 (De Orakel): De computer berekent in het geheim de "perfecte" lengte voor elke afbeelding door verschillende lengtes te testen en te zien welke het beste werkt. Hij vertelt de AI dit nog niet; hij verzamelt alleen de antwoorden.
Fase 3 (Supervised Learning): Nu wordt de "Manager" van de AI (de Lengte-kop) de "perfecte" antwoorden uit Fase 2 getoond en leert hij deze te voorspellen.
Fase 4 (De Overdracht): De AI begint zijn eigen voorspellingen te gebruiken in plaats van de willekeurige, en neemt geleidelijk de volledige controle over.

4. Het Geheime Ingrediënt: "Feature Distillation"

De meeste afbeeldingscompressoren proberen de exacte pixels (de kleuren en texturen) van de originele foto te reconstrueren. STROP negeert de pixels.
In plaats daarvan probeert hij het "begrip" van de afbeelding te reconstrueren. Hij gebruikt een vooraf getrainde "leraar"-AI (DINOv3 genaamd) die al zeer goed is in het herkennen van vormen en objecten.

Analogie: Stel je voor dat je een toets maakt. In plaats van te proberen de exacte lettertype en inktkleur van het leerboek te onthouden (pixels), probeer je de concepten en de logica te onthouden die de leraar je heeft geleerd (features). STROP leert zijn "trefwoorden" zo te schrijven dat wanneer een slimme leraar ze leest, hij de scène perfect begrijpt, zelfs als de exacte kleuren niet perfect zijn.

5. Wat Vonden Ze?

Complexiteit Stemt Af op Lengte: Hoe meer objecten en details er in een foto zitten, hoe langer het "programma" (lijst met tokens) wordt. Simpele scènes krijgen korte lijsten; complexe scènes krijgen lange lijsten.
Tokens zijn "Handvatten": Als je een specifiek token uit de lijst verwijdert, verdwijnt of verandert een specifiek deel van de afbeelding. Dit suggereert dat elke token fungeert als een handvat voor een specifiek object of concept (bijvoorbeeld: één token controleert de "hond", een andere de "boom").
Beter dan de Concurrentie: Bij testen op standaard computer vision-taken (zoals het vinden van objecten of het segmenteren van afbeeldingen) behield STROP meer bruikbare informatie dan andere adaptieve methoden die hetzelfde proberen te doen.

6. Beperkingen (Maar...)

Het artikel is eerlijk over wat STROP nog niet kan:

Het is geen direct woordenboek: Als je naar de ruwe lijst met tokens kijkt (bijvoorbeeld "Token 42, Token 105"), kan een mens of een standaard AI deze niet gemakkelijk lezen. Je hebt de "Interpreter" nodig om de lijst terug te vertalen naar iets bruikbaars. Het is als een geheime code die alleen de machine weet te decoderen.
Attributen zijn vaag: Hoewel de AI goed is in het uitzoeken waar objecten zijn en hoeveel er zijn, worstelt hij met het perfect koppelen van specifieke tokens aan specifieke attributen zoals "rood" of "metaal". De verbinding tussen de code en de specifieke kleur is nog niet volledig duidelijk.

Samenvatting

STROP is een nieuwe manier voor computers om afbeeldingen om te zetten in variabele lijsten met concepten. In plaats van elke afbeelding in een star rooster te dwingen, schrijft het een op maat gemaakte "verhaal" voor elke scène, met de nadruk op de structuur en betekenis van de afbeelding in plaats van alleen de ruwe kleuren. Het leert stoppen met schrijven wanneer de scène volledig is beschreven, waardoor ruimte wordt bespaard op simpele afbeeldingen en meer detail wordt gebruikt voor complexe scènes.

Technische Samenvatting: Structuur boven Pixels: Het Leren van Variabele-Lengte Visuele Programma's

Probleemstelling

Huidige diepe neurale netwerken blinken uit in computerzichttaken, maar produceren representaties die vaak omvangrijk, gedistribueerd en moeilijk te inspecteren of valideren zijn. Hoewel discrete visuele tokenizers (DVT's) een weg bieden naar structurele scenesbeschrijvingen door afbeeldingen te mappen naar geordende sequenties van discrete codes, lijden bestaande benaderingen onder twee primaire beperkingen:

Vaste Programmalengte: De meeste DVT's (bijv. VQ-VAE, VQGAN en recente 1D-tokenizers) dwingen een vast ruimtelijk rooster of een vast aantal latente slots per afbeelding af. Dit ontkoppelt het "code-budget" van de werkelijke visuele complexiteit van het tafereel, wat in strijd is met principes zoals Ockhams scheermes en minimale beschrijvingslengte.
Pixelgerichte Training: Standaard DVT's worden doorgaans getraind met reconstructieverliezen op pixelniveau. Deze nadruk op fideliteit dwingt het model vaak om capaciteit te verspillen aan het vastleggen van lage-niveau textuurkenmerken in plaats van hoge-niveau semantische of geometrische structuur.

Bovendien vertrouwen bestaande methoden die variabele-lengte tokenisatie toelaten vaak op zoekopdrachten achteraf, routing tijdens inferentie of discrete sets van vooringestelde snelheden, in plaats van het leren van een continue, per-afbeelding sequentielengte die direct gekoppeld is aan het model en de inhoud van het tafereel.

Methodologie: STROP

De auteurs stellen STROP (Structure over Tokens) voor, een discrete visuele tokenizer-architectuur die is ontworpen om structurele scenesrepresentaties te vormen terwijl gelijktijdig de optimale lengte van het visuele programma van een afbeelding wordt geleerd.

Architectuur

STROP bestaat uit vijf belangrijke fasen:

Bevroren Encoder: Een bevroren DINOv3 ViT-encoder extrahert patch-gerelateerde kenmerken uit de invoerafbeelding.
Programmagenerator: Een encoder-only transformer verwerkt de patch-kenmerken, aangevuld met een sequentie van leerbare query-tokens. Een causale mask zorgt ervoor dat query-tokens alleen aandacht schenken aan vorige queries en bronkenmerken, waardoor een ruw programmaschema $Z_p$ wordt gegenereerd.
Vector Quantisatie: Het ruwe programma wordt geprojecteerd naar een laag-dimensionale ruimte en gekwantiseerd tegen een vaste codeboek ($|CB|=1024$) via nearest-neighbor lookup, wat discrete tokens oplevert.
Lengte-Head: Een lichtgewicht MLP voorspelt de actieve programmalengte ( $\hat{L}$ ) direct vanuit de encoder-kenmerken. Dit stelt het model in staat om te bepalen hoeveel van de sequentie blootgelegd moet worden zonder autoregressieve bemonstering.
Interpreter: Een gespiegelde encoder-only transformer breidt het afgeknipte programma (prefix van lengte $\hat{L}$ ) terug uit tot een ruimtelijk kenmerkrooster. Dit rooster wordt vervolgens doorgegeven aan een convolutie-decoder.

Trainingsdoel en Curriculum

In tegenstelling tot traditionele tokenizers, omzeilt STROP pixelniveau reconstructie-gradiënten voor het vormgeven van het codeboek. In plaats daarvan wordt het volledige trainingsignaal afgeleid van bevroren DINOv3 patch-kenmerken via kenmerkdistillatie. De verliesfunctie combineert latente uitlijning (cosinusgelijkenis en MSE tegen leraar-kenmerken), commitment-verlies en een diversiteitsregularisator.

Om adaptieve afkapping mogelijk te maken, hanteert STROP een vier-fasen curriculum:

Fase 1 (Willekeurige Afkapping): Het model traint op willekeurig afgeknipte programma's om informatieve inhoud te forceren naar de vroege tokens te worden verplaatst.
Fase 2 (Oracle-schatting): Het systeem schat "oracle"-lengtes voor elke steekproef door reconstructiefouten en lokale hellingen van de rate-distortion-curve te analyseren.
Fase 3 (Supervised Training): De lengte-head wordt getraind om deze oracle-doelen te voorspellen terwijl de afkapping willekeurig blijft, wat stabiel leren garandeert.
Fase 4 (Overdracht): De getrainde lengte-head wordt geleidelijk ingezet om afkapping te controleren, waarbij wordt overgegaan van willekeurige naar zelf-voorspelde lengtes.

Tijdens inferentie voorspelt de lengte-head $\hat{L}$ , en wordt het programma hard afgeknipt tot deze lengte voordat er wordt gedecodeerd. Een losgekoppelde pixel-decoder dient uitsluitend als inspectielayer, zodat het codeboek volledig wordt gevormd door de kwaliteit van hogere-niveau latente representaties.

Belangrijkste Bijdragen

Het artikel schetst vier concrete bijdragen:

Variabele-Lengte Visuele Programma's: STROP superviseert de per-afbeelding programmalengte met behulp van lokale rate–distortion-probes en een prefix-curriculum, waardoor het aantal tokens kan groeien met de complexiteit van het tafereel.
Eenvoudige Generator–Interpreter Tokenizer: De architectuur gebruikt twee encoder-only transformers met geleerde queries om causaal geordende VQ-codes te schrijven en te lezen, geleid door DINOv3 kenmerkdistillatie.
Pixelprobes zonder Pixeltraining: Door een losgekoppelde pixel-decoder te gebruiken, behandelt de methode reconstructies als een inspectieoppervlak, waardoor pixelgradiënten het codeboek niet vormen en representatiekwaliteit boven textuur wordt prioriteit.
Evaluatie van Representatie en Structuur: De auteurs bieden een uitgebreide evaluatie van rate–kwaliteit trade-offs, downstream dense-prediction-prestaties en bewijs van compositiestructuur via codehergebruik en ruimtelijke grounding.

Resultaten

Latente Uitlijning en Compressie

STROP bereikt sterke uitlijning met bevroren DINOv3-kenmerken. Op het COCO-dataset bereikt de DINO-S/STROP-S-variant een cosinusgelijkenis van 0,855 en een $R^2$ van 0,734. Het model comprimeert variabele-grootte kenmerktensors naar een adaptieve sequentie van maximaal 64 discrete codes, met worst-case compressieverhoudingen variërend van $\sim$ 4.900 $\times$ tot $\sim$ 13.100 $\times$ , afhankelijk van de backbone.

Downstream Prestaties

Wanneer bevroren STROP-representaties worden gebruikt voor downstream-taken via lineaire probes:

Semantische Segmentatie: STROP presteert consistent beter dan kant-en-klare adaptieve tokenizers (FlexTok, One-D-Piece) op VOC, COCO-Stuff-27 en ADE20K. Bijvoorbeeld, de DINO-B/STROP-S latente representatie bereikt 67,5 mIoU op VOC, wat FlexTok (48,4 mIoU) significant overtreft.
Multi-Label Classificatie: STROP komt overeen met of lichtjes de bevroren DINO-leraar en verslaat FlexTok met ongeveer 10 mean-mAP-punten gemiddeld.
Diepteschattting: STROP behoudt taakrelevante inhoud voor diepteschattting, hoewel het achterblijft bij de sterkste leraar-modellen.

Structurele Analyse

Complexiteitscorrelatie: Programmalengte correleert sterk met de complexiteit van het tafereel. Op CLEVR toont de actieve programmalengte een Pearson-correlatie van $r \approx 0,74$ met het ground-truth aantal objecten.
Compositiestructuur: Token-verwijdingsdiagnostiek onthult dat individuele programmatokens fungeren als ruimtelijk coherente "handvatten" over het tafereel. Pairwise token-synergieën sluiten aan bij semantische regio's, wat wijst op het ontstaan van een geleerde visuele grammatica.
LLM Decoding: Frontier LLM's (Qwen3.5, DeepSeek-V3.1) kunnen ruwe ruimtelijke lay-outs (aantal objecten en posities) decoderen uit de code-sequenties, maar slagen er niet in om tokens betrouwbaar te koppelen aan specifieke attributen (kleur, materiaal), wat aangeeft dat het codeboek de lay-out blootlegt maar nog geen volledig transparante attributbinding biedt.

Betekenis en Beperkingen

Het artikel beweert dat STROP aantoont dat variabele-lengte visuele programma's end-to-end kunnen worden geleerd zonder zoekopdrachten achteraf, waardoor het "code-budget" effectief wordt aangepast aan de complexiteit van het tafereel. Door training te ontkoppelen van pixelreconstructie, prioriteert het model structurele en semantische fideliteit, wat resulteert in representaties die zeer effectief zijn voor downstream-taken en tekenen vertonen van compositiestructuur.

Echter, de auteurs blijven bescheiden over de huidige staat van het systeem:

Leesbaarheidsgat: Directe probes op rauwe gekwantiseerde tokens presteren slechter dan probes op het geïnterpreteerde veld, wat suggereert dat het programma het beste wordt beschouwd als een uitvoerbare intermediaire representatie in plaats van een drop-in lineaire feature.
Attributbinding: Het codeboek codeert discrete attributen (kleur, materiaal) nog niet betrouwbaar voor taalmodellen, wat de bruikbaarheid als volledig transparante symbolische interface beperkt.
Taakspecificiteit: Hoewel STROP op de meeste benchmarks beter presteert dan baselines, blijft het achter bij FlexTok op het Cityscapes-dataset, waarschijnlijk vanwege de dichte, fijnkorrelige aard van straattaferelen die mogelijk baat hebben bij pixelbewuste decoding.

Het werk positioneert STROP als een stap naar principiële structurele representaties, met toekomstig werk voorgesteld in het schalen van codeboekcapaciteit, het ontwikkelen van programmanative probe-protocollen en het uitlijnen van code-identiteiten met bijschriftsignalen om attributbinding te verbeteren.