🤖 machine learning

Structure over Pixels: Learning Variable-Length Visual Programs

Das Papier stellt STROP vor, einen diskreten visuellen Tokenizer, der variable visuelle Programme erlernt, um strukturelle Szenendarstellungen zu erfassen, indem er einen dedizierten Längen-Head durch ein vierphasiges Curriculum überwacht durch hochlevelige Merkmale optimiert und dabei die Pixelrekonstruktion umgeht, um die kompositionelle Struktur gegenüber der Textur zu priorisieren.

Ursprüngliche Autoren: Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer komplexen Szene, wie einem belebten Straßenmarkt, einem Freund per Textnachricht zu beschreiben. Sie haben zwei Möglichkeiten:

Der alte Weg: Sie senden ein riesiges, unredigiertes Foto. Es ist klar, aber es dauert ewig, bis es lädt, und sagt Ihrem Freund nicht, wonach er suchen soll.
Der neue Weg (STROP): Sie senden eine kurze, variable Liste von Schlüsselwörtern. Wenn die Szene nur ein klarer blauer Himmel ist, senden Sie ein Wort: „Himmel". Wenn es ein chaotischer Markt mit 20 Personen, Ständen und Tieren ist, senden Sie eine längere Liste: „Stand, Apfel, Hund, Kind, Hut..."

Diese Arbeit stellt STROP vor, eine neue Methode für Computer, um Bilder zu „lesen", indem sie in variable Listen von Schlüsselwörtern (eine sogenannte „visuelle Programmierung") umgewandelt werden, anstatt nur Pixel zu komprimieren.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem mit aktuellen „Tokenisierern"

Die meisten aktuellen KI-Bildkomprimierungen funktionieren wie ein Gitter mit fester Größe. Stellen Sie sich vor, Sie haben ein Foto, und der Computer zwingt es in ein 64-Felder-Raster.

Wenn das Foto eine leere weiße Wand ist, füllt der Computer trotzdem alle 64 Felder mit „weißen" Tokens.
Wenn das Foto ein überfülltes Stadion ist, hat der Computer trotzdem nur 64 Felder zur Verfügung.
Es wird Platz für leere Bereiche verschwendet und für komplexe Bereiche fehlt der Platz. Es ist wie der Versuch, einen Roman auf eine Postkarte zu schreiben; entweder lassen Sie Details aus oder quetschen alles unlesbar zusammen.

2. Die STROP-Lösung: Ein „intelligentes Skript"

STROP behandelt ein Bild wie ein Skript oder ein Rezept, das je nach Szene kurz oder lang sein kann.

Der Generator (Der Schreiber): Er betrachtet das Bild und entscheidet: „Diese Szene ist einfach; ich brauche nur 10 Wörter, um sie zu beschreiben." Oder: „Diese Szene ist unübersichtlich; ich brauche 40 Wörter."
Der Interpreter (Der Leser): Er nimmt diese Wörter und baut das Verständnis des Bildes wieder auf.
Der Längen-Kopf: Dies ist ein spezieller Teil der KI, der wie ein Manager fungiert. Er betrachtet das Bild und sagt sofort: „Hör nach Token 15 auf zu schreiben" oder „Mach weiter bis Token 40". Er lernt, die Länge des Skripts an die Komplexität der Szene anzupassen.

3. Wie es lernt: Der „Vier-Phasen-Lehrgang"

Die KI wachte nicht einfach mit dem Wissen auf, wie man das macht. Die Autoren brachten es ihr bei, indem sie einen Vier-Stufen-Trainingslager durchliefen:

Phase 1 (Zufällige Kürzung): Die KI wird gezwungen, Skripte mit zufälligen Längen zu schreiben. Dies lehrt sie, dass die wichtigsten Informationen zuerst geschrieben werden müssen (nach vorne verlagert), genau wie eine gute Überschrift.
Phase 2 (Das Orakel): Der Computer ermittelt im Geheimen die „perfekte" Länge für jedes Bild, indem er verschiedene Längen testet und sieht, welche am besten funktioniert. Er sagt der KI dies noch nicht; er sammelt nur die Antworten.
Phase 3 (Überwachtes Lernen): Jetzt wird der „Manager" der KI (der Längen-Kopf) die „perfekten" Antworten aus Phase 2 gezeigt und lernt, sie vorherzusagen.
Phase 4 (Die Übergabe): Die KI beginnt, ihre eigenen Vorhersagen anstelle der zufälligen zu verwenden und übernimmt nach und nach die volle Kontrolle.

4. Das Geheimnis: „Feature-Destillation"

Die meisten Bildkomprimierungen versuchen, die exakten Pixel (die Farben und Texturen) des Originalfotos wiederherzustellen. STROP ignoriert die Pixel.
Stattdessen versucht es, das „Verständnis" des Bildes wiederherzustellen. Es verwendet eine vortrainierte „Lehrer"-KI (genannt DINOv3), die bereits sehr gut darin ist, Formen und Objekte zu erkennen.

Analogie: Stellen Sie sich vor, Sie schreiben eine Prüfung. Anstatt zu versuchen, die genaue Schriftart und Tintenfarbe des Lehrbuchs auswendig zu lernen (Pixel), versuchen Sie, die Konzepte und die Logik zu memorieren, die der Lehrer Ihnen beigebracht hat (Features). STROP lernt, seine „Schlüsselwörter" so zu schreiben, dass ein intelligenter Lehrer sie liest und die Szene perfekt versteht, selbst wenn die genauen Farben nicht perfekt sind.

5. Was haben sie herausgefunden?

Komplexität passt zur Länge: Je mehr Objekte und Details in einem Bild sind, desto länger wird das „Programm" (Liste von Tokens). Einfache Szenen erhalten kurze Listen; komplexe Szenen erhalten lange Listen.
Tokens sind „Griffe": Wenn Sie einen bestimmten Token aus der Liste löschen, verschwindet oder verändert sich ein bestimmter Teil des Bildes. Dies deutet darauf hin, dass jeder Token wie ein Griff für ein spezifisches Objekt oder einen spezifischen Begriff fungiert (z. B. könnte ein Token den „Hund" steuern, ein anderer den „Baum").
Besser als die Konkurrenz: Bei Tests mit Standardaufgaben der Computer Vision (wie dem Finden von Objekten oder dem Segmentieren von Bildern) bewahrte STROP mehr nützliche Informationen als andere adaptive Methoden, die dasselbe versuchen.

6. Einschränkungen (Das „Aber...")

Die Arbeit ist ehrlich darüber, was STROP noch nicht kann:

Es ist kein direktes Wörterbuch: Wenn Sie sich die rohe Liste der Tokens ansehen (z. B. „Token 42, Token 105"), kann ein Mensch oder eine Standard-KI sie nicht leicht lesen. Sie benötigen den „Interpreter", um die Liste zurück in etwas Nützliches zu übersetzen. Es ist wie ein Geheimschrift, die nur die Maschine zu entschlüsseln weiß.
Attribute sind verschwommen: Während die KI gut darin ist, herauszufinden, wo sich Objekte befinden und wie viele es gibt, hat sie Schwierigkeiten, spezifische Tokens perfekt mit spezifischen Attributen wie „rot" oder „metallisch" zu verknüpfen. Die Verbindung zwischen dem Code und der spezifischen Farbe ist noch nicht völlig klar.

Zusammenfassung

STROP ist eine neue Methode für Computer, um Bilder in variable Listen von Konzepten umzuwandeln. Anstatt jedes Bild in ein starres Raster zu zwingen, schreibt es eine maßgeschneiderte „Geschichte" für jede Szene, die sich auf die Struktur und Bedeutung des Bildes konzentriert, anstatt nur auf die rohen Farben. Es lernt, das Schreiben einzustellen, wenn die Szene vollständig beschrieben ist, und spart so Platz bei einfachen Bildern und verwendet mehr Details für komplexe.

Technische Zusammenfassung: Struktur vor Pixeln: Lernen variabler visueller Programme

Problemstellung

Aktuelle tiefe neuronale Netze sind bei Computer-Vision-Aufgaben hervorragend, erzeugen jedoch Repräsentationen, die oft ausführlich, verteilt und schwer zu inspizieren oder zu validieren sind. Während diskrete visuelle Tokenizer (DVTs) einen Weg zu strukturellen Szenenbeschreibungen bieten, indem sie Bilder auf geordnete Sequenzen diskreter Codes abbilden, leiden bestehende Ansätze unter zwei Hauptbeschränkungen:

Feste Programmlänge: Die meisten DVTs (z. B. VQ-VAE, VQGAN und neuere 1D-Tokenizer) erzwingen ein festes räumliches Gitter oder eine feste Anzahl latenter Slots pro Bild. Dies entkoppelt das „Code-Budget" von der tatsächlichen visuellen Komplexität der Szene und verstößt gegen Prinzipien wie Ockhams Rasiermesser und die minimale Beschreibungslänge.
Pixelzentriertes Training: Standard-DVTs werden typischerweise mit Rekonstruktionsverlusten auf Pixelebene trainiert. Diese Betonung der Wiedergabetreue zwingt das Modell oft dazu, Kapazität für die Erfassung niedrigstufiger texturaler Merkmale zu verschwenden, anstatt hochstufige semantische oder geometrische Strukturen zu erfassen.

Darüber hinaus verlassen sich bestehende Methoden, die eine variable Tokenisierung zulassen, oft auf nachträgliche Suche, Routing zur Inferenzzeit oder diskrete Sätze vortrainierter Raten, anstatt eine kontinuierliche, bildspezifische Sequenzlänge zu lernen, die direkt mit dem Modell und dem Szeneninhalt gekoppelt ist.

Methodik: STROP

Die Autoren schlagen STROP (Structure over Tokens) vor, eine Architektur für diskrete visuelle Tokenizer, die strukturelle Szenenrepräsentationen bildet und gleichzeitig die optimale Länge des visuellen Programms eines Bildes lernt.

Architektur

STROP besteht aus fünf Schlüsselphasen:

Eingefrorener Encoder: Ein eingefrorener DINOv3 ViT-Encoder extrahiert patchweise Merkmale aus dem Eingabebild.
Programm-Generator: Ein Encoder-only-Transformer verarbeitet die Patch-Merkmale, die um eine Sequenz lernbarer Abfrage-Token erweitert wurden. Eine kausale Maske stellt sicher, dass Abfrage-Token nur auf vorherige Abfragen und Quellmerkmale achten, und erzeugt eine rohe Programmssequenz $Z_p$ .
Vektorquantisierung: Das rohe Programm wird in einen niedrigdimensionalen Raum projiziert und über eine Nearest-Neighbor-Suche gegen ein festes Codebuch ($|CB|=1024$) quantisiert, wodurch diskrete Token entstehen.
Längen-Head: Ein leichter MLP sagt die aktive Programmlänge ( $\hat{L}$ ) direkt aus den Encoder-Merkmalen voraus. Dies ermöglicht es dem Modell zu bestimmen, wie viel der Sequenz ohne autoregressive Stichprobenentnahme freigelegt werden soll.
Interpreter: Ein gespiegelter Encoder-only-Transformer erweitert das abgeschnittene Programm (Präfix der Länge $\hat{L}$ ) zurück in ein räumliches Merkmalsgitter. Dieses Gitter wird dann an einen convolutionalen Decoder übergeben.

Trainingsziel und Curriculum

Im Gegensatz zu traditionellen Tokenizern umgeht STROP Pixel-Rekonstruktionsgradienten zur Formung des Codebuchs. Stattdessen wird das gesamte Trainingssignal über eingefrorene DINOv3-Patch-Merkmale mittels Merkmalsdistillation abgeleitet. Die Verlustfunktion kombiniert latente Ausrichtung (Kosinusähnlichkeit und MSE gegen Lehrermerkmale), Commitment-Verlust und einen Diversitätsregularisierer.

Um adaptive Kürzung zu ermöglichen, setzt STROP ein Vier-Phasen-Curriculum ein:

Phase 1 (Zufällige Kürzung): Das Modell trainiert auf zufällig gekürzten Programmen, um informativen Inhalt zu zwingen, in frühere Token vorzulegen.
Phase 2 (Orakel-Schätzung): Das System schätzt „Orakel"-Längen für jede Stichprobe, indem es Rekonstruktionsfehler und lokale Steigungen der Rate-Distortion-Kurve analysiert.
Phase 3 (Überwachtes Training): Der Längen-Head wird trainiert, diese Orakel-Ziele vorherzusagen, während die Kürzung zufällig bleibt, um ein stabiles Lernen zu gewährleisten.
Phase 4 (Übergabe): Der trainierte Längen-Head wird schrittweise eingesetzt, um die Kürzung zu steuern, und wechselt von zufälligen zu selbstvorhergesagten Längen.

Bei der Inferenz sagt der Längen-Head $\hat{L}$ voraus, und das Programm wird vor der Dekodierung hart auf diese Länge gekürzt. Ein entkoppelter Pixel-Decoder dient nur als Inspektionsschicht und stellt sicher, dass das Codebuch ausschließlich durch die Qualität höherstufiger latenter Repräsentationen geformt wird.

Hauptbeiträge

Die Arbeit skizziert vier konkrete Beiträge:

Variable visuelle Programme: STROP überwacht die Programmlänge pro Bild mittels lokaler Rate-Distortion-Sonden und eines Präfix-Curriculums, wodurch die Tokenanzahl mit der Szenenkomplexität wachsen kann.
Einfacher Generator-Interpreter-Tokenizer: Die Architektur verwendet zwei Encoder-only-Transformer mit gelernten Abfragen, um kausal geordnete VQ-Codes zu schreiben und zu lesen, geleitet durch DINOv3-Merkmalsdistillation.
Pixel-Sonden ohne Pixel-Training: Durch die Verwendung eines entkoppelten Pixel-Decoders behandelt die Methode Rekonstruktionen als Inspektionsfläche, verhindert, dass Pixelgradienten das Codebuch formen, und priorisiert repräsentative Qualität vor Textur.
Evaluation von Repräsentation und Struktur: Die Autoren liefern eine umfassende Evaluation von Rate-Qualitäts-Abwägungen, der Leistung bei nachgelagerten dichten Vorhersageaufgaben und Belegen für kompositionelle Struktur durch Code-Wiederverwendung und räumliche Verankerung.

Ergebnisse

Latente Ausrichtung und Kompression

STROP erzielt eine starke Ausrichtung mit eingefrorenen DINOv3-Merkmalen. Auf dem COCO-Datensatz erreicht die Variante DINO-S/STROP-S eine Kosinusähnlichkeit von 0,855 und ein $R^2$ von 0,734. Das Modell komprimiert variablengroße Merkmals-Tensoren in eine adaptive Sequenz von höchstens 64 diskreten Codes und erzielt Worst-Case-Kompressionsraten von $\sim$ 4.900 $\times$ bis $\sim$ 13.100 $\times$ , je nach Backbone.

Leistung bei nachgelagerten Aufgaben

Wenn eingefrorene STROP-Repräsentationen für nachgelagerte Aufgaben über lineare Sonden verwendet werden:

Semantische Segmentierung: STROP übertrifft konsistent adaptive Tokenizer aus dem Handel (FlexTok, One-D-Piece) auf VOC, COCO-Stuff-27 und ADE20K. Beispielsweise erreicht die latente Repräsentation DINO-B/STROP-S 67,5 mIoU auf VOC und übertrifft FlexTok (48,4 mIoU) deutlich.
Multi-Label-Klassifizierung: STROP entspricht oder übertrifft den eingefrorenen DINO-Lehrer marginal und schlägt FlexTok im Durchschnitt um etwa 10 Mean-mAP-Punkte.
Tiefenschätzung: STROP erhält aufgabenrelevanten Inhalt für die Tiefenschätzung, bleibt jedoch hinter den stärksten Lehrmodellen zurück.

Strukturanalyse

Komplexitätskorrelation: Die Programmlänge korreliert stark mit der Szenenkomplexität. Auf CLEVR zeigt die aktive Programmlänge eine Pearson-Korrelation von $r \approx 0,74$ mit der Ground-Truth-Objektanzahl.
Kompositionelle Struktur: Token-Eliminationsdiagnostik zeigt, dass einzelne Programmtoken als räumlich kohärente „Griffe" über die Szene fungieren. Paarweise Token-Synergien stimmen mit semantischen Regionen überein, was auf das Entstehen einer gelernten visuellen Grammatik hindeutet.
LLM-Dekodierung: Frontier-LLMs (Qwen3.5, DeepSeek-V3.1) können grobe räumliche Layouts (Objektanzahl und Positionen) aus den Code-Sequenzen dekodieren, scheitern jedoch daran, Token zuverlässig mit spezifischen Attributen (Farbe, Material) zu verknüpfen, was darauf hindeutet, dass das Codebuch das Layout offenlegt, aber noch keine vollständig transparente Attributbindung ermöglicht.

Bedeutung und Einschränkungen

Die Arbeit behauptet, dass STROP demonstriert, dass variable visuelle Programme end-to-end ohne nachträgliche Suche gelernt werden können und das „Code-Budget" effektiv an die Szenenkomplexität anpassen. Durch die Entkopplung des Trainings von der Pixel-Rekonstruktion priorisiert das Modell strukturelle und semantische Wiedergabetreue, was zu Repräsentationen führt, die für nachgelagerte Aufgaben hochwirksam sind und Anzeichen einer kompositionellen Struktur aufweisen.

Die Autoren bleiben jedoch bescheiden bezüglich des aktuellen Zustands des Systems:

Lesbarkeitslücke: Direkte Sonden auf rohen quantisierten Token performen schlechter als Sonden auf dem interpretierten Feld, was darauf hindeutet, dass das Programm am besten als ausführbare intermediäre Repräsentation und nicht als direktes lineares Feature betrachtet wird.
Attributbindung: Das Codebuch kodiert diskrete Attribute (Farbe, Material) für Sprachmodelle noch nicht zuverlässig, was seine Nützlichkeit als vollständig transparente symbolische Schnittstelle einschränkt.
Aufgabenspezifität: Obwohl STROP auf den meisten Benchmarks die Baselines übertrifft, bleibt es auf dem Cityscapes-Datensatz hinter FlexTok zurück, wahrscheinlich aufgrund der dichten, feinmaschigen Natur von Straßenszenen, die von pixelbewusster Dekodierung profitieren könnten.

Die Arbeit positioniert STROP als Schritt hin zu prinzipiellen strukturellen Repräsentationen, wobei zukünftige Arbeiten in der Skalierung der Codebuchkapazität, der Entwicklung von Programmnativen Sondierungsprotokollen und der Ausrichtung von Code-Identitäten mit Captioning-Signalen zur Verbesserung der Attributbindung vorgeschlagen werden.