🤖 AI

Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders

Dieses Paper führt „Analysis-by-Proxy“ ein, ein Framework, das aufzeigt, wie Vision-Language-Modelle, die als Bedingungs-Encoder für die Bildbearbeitung eingesetzt werden, daran scheitern, entscheidende Lokalisierungssignale in einem einzigen Vorwärtspass zu propagieren, da diese räumlichen Repräsentationen in den Zwischenschichten verborgen bleiben, anstatt die für aktuelle Pipelines verwendeten vordefinierten Konditionierungspunkte zu erreichen.

Ursprüngliche Autoren: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „schlaue“ Modell vs. der „tollpatschige“ Editor

Stellen Sie sich vor, Sie haben einen brillanten, hochgebildeten Architekten (das Vision-Language-Modell, oder VLM). Dieser Architekt ist fantastisch darin, ein Foto und eine schriftliche Anweisung wie: „Entferne die Biene ganz oben auf der Sonnenblume“, zu betrachten und sofort zu wissen, wo genau sich diese Biene befindet. Wenn Sie den Architekten bitten, darauf zu zeigen, hat er in 89 % der Fälle recht.

Wenn Sie diesen Architekten jedoch engagieren, um als Vorarbeiter für eine Baucrew (die Bildbearbeitungs-Pipeline) zu arbeiten, geht einiges schief. Der Vorarbeiter sagt zur Crew: „Geht und repariert die Biene“, aber die Crew malt am Ende die falsche Blume an, entfernt die ganze Sonnenblume oder halluziniert eine Biene, die gar nicht da war. Die Crew hat nur in 57 % der Fälle recht.

Das Rätsel: Warum kennt der Architekt die Antwort perfekt, aber die Baucrew scheitert so kläglich?

Die Hypothese der Arbeit: Die „Einbahnstraße“ vs. das „Gespräch“

Die Autoren fanden heraus, dass das Problem nicht darin liegt, dass der Architekt schlecht darin ist, Bienen zu finden. Das Problem ist, wie der Architekt gebeten wird, den Job zu erledigen.

Die Superkraft des Architekten: Der Architekt wurde darauf trainiert, ein Gespräch zu führen. Wenn man ihm eine Frage stellt, denkt er nach, antwortet, denkt erneut nach und verfeinert seine Antwort. Dieses „Hin und Her“ (genannt autoregressive Generierung) hilft ihm, tief in sein Gedächtnis einzutauchen, um den exakten Ort der Biene zu finden.
Der Baujob: Bei der Bildbearbeitung wird der Architekt gezwert, in Stille zu arbeiten. Er bekommt das Foto und die Anweisung und muss sofort einen einzigen Satz von Anweisungen ausspucken. Er darf nicht „laut denken“ oder ein Gespräch führen.

Die Arbeit argumentt, dass, wenn man den Architekten zwingt, in diesem „stummen Ein-Schuss-Modus“ zu arbeiten, die spezifischen Details darüber, wo die Biene ist, tief in seinem Gehirn vergraben werden. Die endgültigen Anweisungen, die er an die Crew sendet, sind zu vage, obwohl der Architekt die Antwort eigentlich kennt.

Die Lösung: Der „Spion“ (Analysis-by-Proxy)

Da der Architekt in diesem stillen Modus nicht direkt mit uns spricht, haben die Forscher einen Spion erfunden, den sie Proxy nennen.

Der Aufbau: Anstatt den Architekten zu bitten, eine lange Geschichte zu schreiben (was er in diesem Modus nicht kann), platzierten die Forscher einen winzigen, super-intelligenten Detektiv (den Proxy) in das Gehirn des Architekten.
Die Mission: Die einzige Aufgabe des Detektivs ist es, in die internen Gedanken des Architekten (die verborgenen Schichten des neuronalen Netzes) zu schauen und zu versuchen, die Koordinaten der Biene zu erraten.
Die Entdeckung: Der Detektiv fand heraus, dass die Information über den „Biinenstandort“ nicht in den abschließenden Gedanken des Architekten (der letzten Schicht) lag. Sie war in den mittleren Schichten verborgen, wie ein geheimes Zettelchen, das unter Freunden im Klassenzimmer weitergereicht wird.
- Analogie: Stellen Sie sich vor, der Architekt ist eine Bibliothek. Die letzte Schicht ist das „Zusammenfassungsbuch“ am Empfang – es ist zu allgemein. Die mittleren Schichten sind die spezifischen Regale, in denen die detaillierten Karten aufbewahrt werden. Die Baucrew hat nur das Zusammenfassungsbuch gelesen, aber die Karte befand sich tatsächlich auf Regal 15.

Der „dynamische“ Twist: Es ist nicht immer Regal 15

Die Forscher fanden heraus, dass etwas noch Interessanteres passiert: Der Standort des „geheimen Zettels“ ändert sich je nach Frage.

Wenn Sie nach einer Biene auf einer Sonnenblume fragen, liegt die Karte auf Regal 15.
Wenn Sie nach einer Biene auf einer anderen Blume fragen, liegt die Karte vielleicht auf Regal 18.

Die Standard-Bearbeitungswerkzeuge waren wie ein Bibliothekar, der immer in Regal 20 nachsah, egal was gefragt wurde. Deshalb scheiterten sie ständig. Das „Geheimnis“ bewegt sich basierend auf dem spezifischen Bild und dem Text.

Wie sie es behoben haben

Die Forscher nutzten ihren Spion (den Proxy), um das geheime Zettelchen in den mittleren Schichten zu finden, die Koordinaten zu lesen und dann physisch ein Kästchen um die Biene auf dem Foto zu zeichnen, bevor sie es der Baucrew übergaben.

Das Ergebnis: Als die Baucrew das vom Spion gezeichnete Kästchen sah, hörte sie auf zu raten. Sie wussten genau, wo sie arbeiten mussten. Die Bearbeitung wurde präzise, und sie malten nicht mehr die falschen Blumen an.

Das Fazit

Diese Arbeit lehrt uns, dass nur weil ein intelligentes KI-Modell weiß, wo etwas ist, das bedeutet nicht, dass die Werkzeuge, die dieses Modell nutzen, es auch sehen können.

Alter Weg: Fragen Sie das intelligente Modell nach einer finalen Zusammenfassung und hoffen Sie, dass diese detailliert genug ist. (Das ist sie meistens nicht).
Neuer Weg: Nutzen Sie einen leichtgewichtigen „Spion“, um in die mittleren Schichten des Modells zu blicken, die dort verborgenen Details zu finden und diese Details direkt an das Bearbeitungswerkzeug weiterzugeben.

Durch dies bewiesen die Forscher, dass die „tollpatschigen“ Bearbeitungsfehler nicht darauf zurückzuführen waren, dass die KI dumm war, sondern dass die Bearbeitungs-Pipeline an der falschen Stelle nach der Antwort suchte.

Technisches Resümee: Analysis-by-Proxy: Lokalisierungssignale in VLMs, die als Konditionierungs-Encoder operieren

Problemstellung

Vision-Language Models (VLMs) sind zum Standard-Backbone für die Konditionierung von Diffusions-basierten Bildbearbeitungsmodellen geworden, was auf ihre fortgeschrittenen multimodalen Reasoning-Fähigkeiten zurückzuführen ist. Es besteht jedoch eine signifikante Leistungsdifferenz: Während eigenständige VLMs über starke Lokalisierungsfähigkeiten verfügen, wenn sie autoregressiv Text generieren dürfen, scheitern Bildbearbeitungs-Pipelines, die VLMs als Konditionierungs-Encoder nutzen, häufig daran, Edits präzise zu lokalisieren – insbesondere in komplexen Szenen mit mehreren Entitäten.

Aktuelle Bearbeitungs-Pipelines behandeln das VLM typischerweise als nicht-generativen Encoder, der Eingaben in einem einzelnen Vorwärtspass (Single Forward Pass) verarbeitet und die Konditionierungssignale aus einer vordefinierten, eingabunabhängigen Teilmenge von Schichten (oft der letzten Schicht) extrahiert. Die Autoren hypothetisieren, dass dieser Betriebsmodus das VLM daran hindert, sein räumliches Verständnis, das für die autoregressive Generierung optimiert ist, voll auszuschöpfen. Infolgedessen können entscheidende Lokalisierungssignale in den intermediären Repräsentationen verborgen bleiben oder nicht in die für die Konditionierung ausgewählten Schichten propagiert werden, was zu Fehl-Lokalisierungen, Halluzinationen oder der fehlerhaften Anwendung von Attributen im finalen bearbeiteten Bild führt.

Methodik: Analysis-by-Proxy

Um die internen Mechanismen von VLMs unter den Beschränkungen eines Single-Pass-Betriebs zu untersuchen und verborgene räumliche Signale wiederherzustellen, führen die Autoren Analysis-by-Proxy ein, ein Framework, das darauf ausgelegt ist, VLM-Repräsentationen zu sondieren, ohne sich auf die autoregressive Textgenerierung zu verlassen.

1. Das Proxy-Modell

Das Framework verwendet einen leichtgewichtigen, interpretierbaren Q-Former als Proxy für den nachgeschalteten Diffusion Transformer (DiT). Im Gegensatz zum DiT, der mit komplexen generativen Zielen arbeitet, wird der Q-Former auf einer handhabbaren Hilfsaufgabe trainiert: der direkten Vorhersage der Bounding-Box-Koordinaten $(x_1, y_1, x_2, y_2)$ eines Zielobjekts aus den Hidden States des VLM.

Architektur: Der Q-Former nutzt lernbare Queries, die Cross-Attention auf eine Teilmenge der VLM-Hidden-States $\{H^{(l)}\}$ anwenden und Self-Attention nutzen.
Trainingsziel: Der Proxy wird mittels einer Kombination aus Generalized Intersection over Union (GIoU) und L1-Loss optimiert, um Bounding Boxes vorherzusagen.
Ground Truth: Die Ground-Truth-Bounding-Boxes werden durch Prompting des VLM in seinem nativen autoregressiven Modus gewonnen, wodurch sichergestellt wird, dass der Proxy die räumliche Information lernt, die das VLM inhärent besitzt.

2. Untersuchung der Signalverteilung

Unter Verwendung dieses Frameworks führen die Autoren eine granulare Analyse darüber durch, wo die Lokalisierungsinformationen innerhalb des VLM residieren:

Schichtweise Analyse (Layer-wise Analysis): Durch das Training unabhängiger Proxies auf den Hidden States spezifischer Schichten bestimmen sie, welche Schichten die am besten dekodierbaren räumlichen Signale enthalten.
Attention-Dekomposition: Die Autoren analysieren die Attention-Gewichte der Q-Former-Queries, um „entscheidende“ Attention-Heads zu identifizieren. Diese Heads fungieren als dynamische Router, die die Attention-Masse auf spezifische VLM-Schichten und spezifische Tokens abhängig vom Input-Prompt konzentrieren.
Token-Ebene-Analyse: Innerhalb der identifizierten dominanten Schichten untersuchen die Autoren, welche Tokens das räumliche Signal tragen, und stellen fest, dass es spärlich in semantisch signifikanten Nomen und Adjektiven kodiert ist, die das Ziel-Edit definieren.

3. Wiederherstellung und Integration von Signalen

Um zu validieren, dass diese verborgenen Signale die Bearbeitung verbessern können, schlagen die Autoren eine zweistufige Inferenz-Pipeline vor:

Signalextraktion: Ein einzelner VLM-Vorwärtspass extrahiert intermediäre Hidden States, die der trainierte Q-Former nutzt, um die Ziel-Bounding-Box vorherzusagen.
Konditionierung: Die vorhergesagte Bounding Box wird visuell über das Quellbild gelegt. Dieses Bild (mit der Box) wird via VAE in den Latent Space des DiT kodiert.
Bearbeitung (Editing): Das DiT wird sowohl auf die ursprüngliche Textinstruktion als auch auf den expliziten räumlichen Marker (die Box) konditioniert, was es steuert, das Edit präzise zu lokalisieren.

Zentrale Beiträge

Identifizierung der Lokalisierungslücke: Die Arbeit demonstriert empirisch einen Rückgang der Lokalisierungsgenauigkeit um 31,5 %, wenn VLMs als Single-Pass-Konditionierungs-Encoder verwendet werden, im Vergleich zu ihrer autoregressiven Kapazität (89,0 % vs. 57,5 % auf einem kuratierten Multi-Entity-Datensatz).
Analysis-by-Proxy Framework: Eine neuartige Methode zur Analyse von VLMs in nicht-generativen Settings. Sie zeigt auf, dass räumliches Wissen nicht verloren geht, sondern in den finalen Schichten verdünnt und über intermediäre Schichten und spezifische Tokens dynamisch verteilt ist.
Entdeckung der Signal-Sparsität: Die Studie deckt auf, dass Lokalisierungssignale hochkonzentriert sind. Sie erreichen ihren Höhepunkt in intermediären Schichten (speziell Schichten 15–24 im Qwen2.5-VL Backbone) und sind fast ausschließlich innerhalb weniger semantisch kritischer Tokens kodiert, statt gleichmäßig verteilt zu sein.
Praktischer Wiederherstellungsmechanismus: Die Autoren zeigen, dass die Destillation dieser intermediären Signale in explizite räumliche Bounding Boxes die Lokalisierungsleistung bestehender Bearbeitungs-Pipelines signifikant verbessert und häufige Fehler wie das Modifizieren des falschen Objekts oder übermäßiges Entfernen behebt.

Ergebnisse

Quantitative Evaluierung: Unter Verwendung einer Vision Question Answering (VQA) Metrik via Gemini 2.5 Pro zur Bewertung des semantischen Bearbeitungserfolgs und LPIPS zur Messung der Hintergrunderhaltung, erreichte die vorgeschlagene Methode die höchste mittlere VQA-Punktzahl unter den State-of-the-Art-Baselines (einschließlich FLUX.2, FIBO-Edit und Qwen-Image-Edit).
Baseline-Vergleich: Die Methode übertraf die Standard-Qwen-Image-Edit-Pipeline und andere Konditionierungsstrategien (z. B. Norm-Mittelung über Schichten). Bemerkenswerterweise performte eine autoregressive „Full Description“-Baseline ebenfalls gut, was die Hypothese stützt, dass sequenzielles Dekodieren hilft, räumliche Hinweise offenzulegen, die im Single-Pass-Modus latent bleiben.
Qualitative Verbesserungen: Visuelle Ergebnisse zeigen, dass der Proxy-gestützte Ansatz Lokalisierungsfehler erfolgreich korrigiert und sicherstellt, dass Edits strikt auf die beabsichtigten Zielobjekte in komplexen Szenen angewendet werden, während Baseline-Methoden oft Schwierigkeiten hatten, zwischen ähnlichen Entitäten zu unterscheiden.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine prinzipielle Grundlage für das Verständnis und das Design von Konditionierungsarchitekturen in der textgesteuerten Bildbearbeitung zu liefern. Indem sie aufzeigt, dass Standard-Extraktionsstrategien (die sich auf finale Schichten oder feste Schichtkonfigurationen verlassen) fundamental suboptimal für räumliche Aufgaben sind, plädiert die Arbeit für einen Paradigmenwechsel in der Art und Weise, wie Informationen aus Konditionierungsmodellen extrahiert werden.

Die Autoren behaupten, dass ihre Ergebnisse ein tieferes Verständnis der internen Mechanismen von VLMs in Single-Pass-Regimen etablieren. Sie schlagen vor, dass zukünftige Konditionierungsdesigns von der festen Schicht-Extraktion hin zu eingababhängigen Strategien übergehen sollten, die die informativsten Repräsentationen (Schichten und Tokens) dynamisch für eine gegebene Aufgabe auswählen. Dieser Ansatz zielt darauf ab, die Effizienz der Single-Pass-Inferenz mit den reichen räumlichen Reasoning-Fähigkeiten der VLMs in Einklang zu bringen, um letztlich präzisere und zuverlässigere Bildbearbeitungswerkzeuge zu ermöglichen.