💻 computer science

U-shaped Multi-granularity Learning for Vision-Language Models

Um das Granularitätsdilemma beim Vision-Language Prompt Learning zu adressieren, schlägt diese Arbeit UPrompt vor, ein u-förmiges Multi-Granularitäts-Framework, das eine grobe-zu-feine Kontextpropagation und eine feine-zu-grobe hierarchische Überwachung integriert, um mit minimalem Rechenaufwand eine State-of-the-Art-Leistung über 17 Benchmarks hinweg zu erzielen.

Ursprüngliche Autoren: Biao Chen, Yunqian Yu, Xiangxu Zhao, Zhongshu Chen, Mengmeng Jing, Lin Zuo

Veröffentlicht 2026-07-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Biao Chen, Yunqian Yu, Xiangxu Zhao, Zhongshu Chen, Mengmeng Jing, Lin Zuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter die Welt beizubringen, indem Sie ihm Bilder zeigen und ihm Geschichten vorlesen. Dies ist das aufregende Feld der Vision-Language Models (VLMs). Betrachten Sie diese Modelle als superintelligente Studenten, die jedes Buch gelesen und jedes Foto gesehen haben, aber einen kleinen Anstoß benötigen, um sich auf die richtigen Dinge zu konzentrieren. Dieser Anstoß wird Prompt Learning genannt. Anstatt das gesamte Gehirn des Roboters neu zu schreiben (was ewig dauert), passen wir nur ein paar spezielle „Anweisungswörter“ (Prompts) an, um ihm zu sagen, wie er ein Bild betrachten oder einen Satz lesen soll.

Es gibt jedoch ein kniffliges Problem mit diesen Anweisungen. Wenn Sie dem Roboter eine breite, allgemeine Anweisung geben wie „Betrachte das ganze Bild“, erfasst er zwar das Gesamtbild, übersieht aber die winzigen, wichtigen Details (wie die Farbe des Schnabels eines Vogels). Wenn Sie ihm hingegen eine super-spezifische Anweisung geben wie „Betrachte den Schnabel“, übersieht er vielleicht die Tatsache, dass der Vogel auf einem Ast sitzt. Dies ist das „Granularitäts-Dilemma“: zu breit oder zu eng gefasst zu sein. Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Problem und versucht, den Roboter zu lehren, gleichzeitig sowohl den Wald als auch die Bäume zu sehen.

Die U-förmige Lösung: Robotern das Sehen in Schichten beibringen

Lernen Sie UPrompt kennen, eine neue Methode, die von dem Forscher Biao Chen und seinem Team entwickelt wurde. Sie schauten sich ein berühmtes Werkzeug aus der medizinischen Bildgebung namens U-Net an, das wie ein Meisterkoch ist, der Gemüse in winzige Stücke schneiden und sie dann sofort wieder in eine große Suppe mischen kann, um den Geschmack im Gleichgewicht zu halten. Die Forscher fragten sich: „Warum können wir diese gleiche ‚U-Form‘-Idee nicht nutzen, um unsere Vision-Language-Roboter zu unterstützen?“

In der Vergangenheit versuchten die meisten Roboter, mit nur einer Art von Anweisung zu lernen: entweder mit einer „globalen“ (das Gesamtbild) oder einer „lokalen“ (die winzigen Details). Die Forscher fanden heraus, dass dieser einseitige Ansatz die Roboter zurückhielt. Es ist wie der Versuch, einen Film zu beschreiben, indem man nur sagt „Es ist ein Actionfilm“ (zu vage) oder nur den exakten Frame beschreibt, in dem der Held springt (zu spezifisch). Man braucht beides, um die Geschichte zu verstehen.

Die große Idee: Eine Einbahnstraße in beide Richtungen
UPrompt baut einen speziellen „U-förmigen“ Lernpfad auf. Stellen Sie sich eine Rutsche auf einem Spielplatz vor, die erst hinunter und dann wieder hinaufgeht.

Der Weg nach unten (Grob-zu-Fein): Der Roboter beginnt damit, das gesamte Bild und die allgemeine Geschichte zu betrachten. Dann rutscht er nach unten, um immer genauer hinzusehen, wobei er dieses Verständnis des Gesamtbildes nutzt, um die winzigen Details zu schärfen. Es ist wie ein Detektiv, der zuerst den gesamten Tatort sieht und dann diesen Kontext nutzt, um auf einen spezifischen Fingerabdruck heranzuzoomen.
Der Weg nach oben (Fein-zu-Grob): Aber warten Sie, damit ist es nicht getan! Der Robot sendet auch eine Nachricht wieder nach oben auf der Rutsche. Er nimmt diese super-scharfen, winzigen Details und nutzt sie, um sicherzustellen, dass das Gesamtbild nicht verwirrt wird oder vom Weg abkommt. Es ist wie ein Lehrer, der den Aufsatz eines Schülers korrigiert: Der Schüler schreibt einen großartigen Absatz (das Detail), und der Lehrer nutzt diesen, um sicherzustellen, dass das gesamte Kapitel (das Gesamtbild) immer noch Sinn ergibt.

Dieser Zwei-Wege-Verkehr stellt sicher, dass der Roboter niemals den Wald aus den Augen verliert, während er die Bäume betrachtet, und niemals die Bäume übersieht, während er den Wald bewundert.

Wie sie es gemacht haben
Das Team hat nicht nur geraten; sie haben dieses System gebaut und an 17 verschiedenen Benchmarks getestet (eine schicke Art zu sagen: 17 verschiedene Testsets).

Die Visuals: Sie nahmen Bilder und brachen sie in verschiedene Größen auf, von einem winzigen 1x1-Punkt (sehr verschwommen, großes Bild) bis hin zu einem scharfen 14x14-Raster (super detailliert).
Der Text: Sie nutzten ein intelligentes Sprachmodell (ähnlich einem sehr fortgeschrittenen Chatbot), um denselben Satz in unterschiedlichen Detailstufen umzuschreiben. Eine Version könnte sagen: „Ein Mann reinigt ein Fenster“, während eine feinere Version sagt: „Ein Mann in einem blauen Hemd steht auf einer Leiter und reinigt das Fenster eines hohen Gebäudes.“
Die Verbindung: Sie verbanden diese verschiedenen Ebenen über einen speziellen „Attention“-Mechanismus. Dies ist wie ein Scheinwerfer, der dem Roboter hilft, sich auf den richtigen Teil des Bildes basierend auf dem Text zu konzentrieren und umgekehrt, auf jeder einzelnen Detailstufe.

Was sie herausfanden
Die Ergebnisse waren beeindruckend. UPrompt war nicht nur „ganz okay“; es schlug die derzeit besten Methoden in mehreren Bereichen:

Retrieval (Das richtige Bild zu einem Satz finden): Auf dem MSCOCO-Datensatz erzielte UPrompt 4,1 Punkte mehr als die bisher beste Methode (MAMET) und 7,3 Punkte mehr als eine andere Top-Methode (VPKE) in einer Metrik namens „rSum“.
Generalisierung (Neues lernen): Bei Tests mit neuen, bisher ungesehenen Kategorien (Base-to-Novel Generalization) verbesserte UPrompt die Leistung um 5,09 % im Vergleich zu CoCoA-Mix.
Effizienz: Einer der coolsten Aspekte ist, dass der Roboter auch „faul“ sein kann, wenn er möchte. Da das System verschiedene Detailstufen versteht, kann es sich entscheiden, vorzeitig aufzuhören, wenn die Antwort offensichtlich ist, was Energie spart. Die Forscher fanden heraus, dass eine „mittlere“ Version ihres Modells die Leistung anderer Top-Modelle erreichte, aber nur 1/3 der Rechenkosten verursachte.

Warum es wichtig ist
Dieses Paper legt nahe, dass die alte Denkweise – die Wahl zwischen „Gesamtbild“ oder „kleinen Details“ – eine Sackgasse ist. Durch die Schaffung eines Systems, in dem Informationen in beide Richtungen fließen, zeigt UPrompt, dass Roboter viel intelligenter und flexibler sein können. Es geht nicht nur darum, mehr zu sehen; es geht darum, zu verstehen, wie die kleinen Teile in die große Geschichte passen.

Die Forscher weisen vorsichtig darauf hin, dass das System zwar ein riesiger Schritt nach vorne ist, aber dennoch Grenzen hat. Sie können noch keine unendlichen Detailstufen modellieren, und die Tiefe ihres „U-Shapes“ ist derzeit begrenzt. Aber für den Moment bietet UPrompt einen klaren, fundierten Weg, um unseren digitalen Freunden zu helfen, die Welt mit beiden Augen weit offen zu sehen.

Technisches Resümee: U-förmiges Multi-Granularitäts-Lernen für Vision-Language-Modelle (UPrompt)

1. Problemstellung

Vision-Language-Modelle (VLMs), die mittels Prompt-Learning angepasst werden, stehen vor einem grundlegenden Granularitäts-Dilemma. Bestehende Methoden optimieren typischerweise auf einer einzigen, festen Granularität, was einen inhärenten Zielkonflikt erzeugt:

Globale Prompts: Strategien wie CoOp erfassen zwar einen breiten Kontext, lassen aber eine feingranulare semantische Wahrnehmung vermissen und versäumen es, die für detailliertes Schließen notwendigen lokalen Merkmale zu kodieren (z. B. mit schlechterer Leistung auf dem FGVCAircraft-Datensatz).
Lokale Prompts: Fein strukturierte Prompts bewahren lokale Details, haben jedoch Schwierigkeiten, ausreichend globalen Kontext zu integrieren oder die kompositorischen Beziehungen zwischen verschiedenen Regionen zu modellieren.

Diese Einschränkung begrenzt die Anpassungsleistung und die Generalisierung über verschiedene Aufgaben hinweg, wie etwa Cross-Modal Retrieval, Few-Shot-Klassifizierung und Base-to-Novel-Generalisierung. Obgleich hierarchische Architekturen wie U-Net erfolgreich mehrstufige Repräsentationen in Aufgaben der dichten Vorhersage (Dense Prediction) vereinigt haben (die auf räumlichen Pixelgittern operieren), ist der Transfer dieser Prinzipien auf das Prompt-Learning nicht trivial. Das Prompt-Learning operiert in einem abstrakten Embedding-Raum, in dem textuelle Prompts keine inhärente geometrische Struktur besitzen, was die Konstruktion aussagekräftiger Multi-Granularitäts-Repräsentationen und eines bidirektionalen Informationsflusses zu einer erheblichen Herausforderung macht.

2. Methodik: UPrompt

Die Autoren schlagen UPrompt vor, ein von U-Net inspiriertes, U-förmiges Multi-Granularitäts-Prompt-Learning-Framework. Es konstruiert parallele Multi-Granularitäts-Repräsentationen in sowohl der visuellen als auch der textuellen Modalität, die durch Mechanismen des bidirektionalen Informationsflusses verbunden sind.

2.1 U-förmige Multi-Granularitäts-Konstruktion

Das Framework erweitert CLIP-Encoder zu Multi-Granularitäts-Versionen ( $k \in [1, K]$ ), die von der gröbsten bis zur feinsten Ebene reichen.

Visuelle Modalität: Konstruiert verschachtelte Patch-Hierarchien durch progressive räumliche Pooling-Verfahren im Embedding-Raum. Ausgehend von den feinsten Patch-Tokens ( $E^{(K)}_{patch}$ ) werden rekursiv gröbere Repräsentationen abgeleitet ( $E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$ ). Lernbare Prompts werden mit diesen gepoolten Embeddings konkateniert, bevor sie in den Vision-Encoder eingespeist werden.
Textuelle Modalität: Konstruiert semantische Hierarchien durch progressive Anreicherung. Kernerkenntnisse werden extrahiert ( $T^{(1)}_{embed}$ ), und nachfolgende Ebenen werden durch iteratives Hinzufügen granularitätsspezifischer Ausarbeitungen generiert ( $T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$ ). Diese werden unter Verwendung von Large Language Models (LLMs) instanziiert, um hierarchische Textbeschreibungen zu generieren (z. B. von abstrakten Konzepten bis hin zu detaillierten Beschreibungen).

2.2 Bidirektionale Verbindungsmechanismen

Um Konsistenz über die Ebenen hinweg und komplementäres Lernen zu gewährleisten, führt UPrompt zwei Schlüsselmechanismen ein, die analog zu den Skip-Connections von U-Net funktionieren:

Kaskadierte Verfeinerung von grob nach fein (Coarse-to-Fine Cascaded Enhancement, CE):
- Ziel: Adressierung des Kontextmangels, wenn feingranulare Embeddings keine globale Führung erhalten.
- Mechanismus: Injiziert grobkörnige kontextuelle Informationen in feingranulare Embeddings mittels Cross-Granularity-Attention. Das verbesserte Embedding $\hat{X}^{(k)}$ wird berechnet, indem auf die verbesserte Repräsentation der gröberen Ebene $\hat{X}^{(k-1)}$ geachtet wird.
- Effekt: Ermöglicht es feingranularen Merkmalen, kontextuell relevante Informationen aus globalen Repräsentationen zu extrahieren, was die lokale Modellierung verbessert.
Hierarchische Supervision von fein nach grob (Fine-to-Coarse Hierarchical Supervision, HS):
- Ziel: Adressierung von Optimierungsinkonsistenzen und semantischem Drift auf groben Granularitäten.
- Mechanismus: Nutzt die feinsten Merkmale (die über die optimale Cross-Modal-Korrespondenz verfügen) als „Lehrersignale“, um gröbere Ebenen mittels Knowledge Distillation zu überwachen. Die KL-Divergenz zwischen der Ähnlichkeitsverteilung der groben Ebene und der abgelösten feinen Verteilung wird minimiert.
- Effekt: Gewährleistet die semantische Konsistenz über alle Skalen hinweg und verhindert, dass grobe Repräsentationen driften, während ihr komplementärer Charakter erhalten bleibt.

2.3 Gesamtziel

Das Trainingsziel kombiniert den kontrastiven Alignment-Loss über alle $K$ Granularitätsstufen mit dem hierarchischen Supervision-Loss ( $L_{guide}$ ). Während der Inferenz kann das System die Granularitätsstufen flexibel auswählen, um Leistung und Effizienz abzuwägen, wobei standardmäßig die feine Ebene für optimale Genauigkeit gewählt wird.

3. Zentrale Beiträge

UPrompt-Framework: Ein von U-Net inspiriertes Framework, das eine strukturierte Hierarchie in die Vision-Language-Adaption einführt und die Einschränkungen einzelner Skalen durch parallele Multi-Granularitäts-Pfade überwindet.
Bidirektionaler Informationsfluss: Die Einführung der kaskadierten Verfeinerung von grob nach fein (Injektion globalen Kontext in lokale Details) und der hierarchischen Supervision von fein nach grob (Regularisierung grober Granularitäten durch feine Alignment-Signale), um semantische Konsistenz und komplementäres Lernen zu gewährleisten.
Umfassende Validierung: Nachweis überlegener Leistungen in 17 Benchmarks, einschließlich Cross-Modal Retrieval, Few-Shot-Klassifizierung, Base-to-Novel-Generalisierung und Out-of-Distribution-Szenarien.

4. Experimentelle Ergebnisse

Umfangreiche Experimente validieren die Effektivität von UPrompt:

Cross-Modal Retrieval:
- Auf MSCOCO übertrifft UPrompt MAMET und VPKE um jeweils 4,1 bzw. 7,3 rSum.
- Auf Flickr30K erreicht es ein rSum von 571,1 und übertrifft damit jüngste Fine-Tuning-Methoden wie DoPL, MAMET und VPKE.
Base-to-Novel-Generalisierung:
- Erreicht einen harmonischen Mittelwert (HM) von 82,12 % über 11 Datensätze hinweg, was CoCoA-Mix um 5,09 % übertrifft und besser als TAP und SurPL-G ist.
- Bemerkenswerte Gewinne werden auf anspruchsvollen Datensätzen wie FGVCAircraft (+0,79 % HM) beobachtet.
Few-Shot-Klassifizierung:
- Erreicht eine durchschnittliche Genauigkeit von 85,13 % auf 11 Datensätzen bei 16-Shot, womit es GalLoP, ProVP-Ref und MMA übertrifft.
Effizienz und Adaptivität:
- Adaptive Inferenz: Durch eine kaskadierte Early-Exit-Strategie erreicht UPrompt eine vergleichbare Genauigkeit wie die feingranulare Version, reduziert jedoch die Rechenkosten auf 48 %, was einer 2,1-fachen Beschleunigung entspricht.
- Kosten-Leistungs-Verhältnis: Die mittlere Konfiguration (UPrompt-M) erreicht die Genauigkeit von PSRC mit nur 1/3 der FLOPs.
Robustheit:
- Zeigt eine starke Out-of-Distribution (OOD) Generalisierung (61,22 % im Durchschnitt bei ImageNet-Varianten) und übertrifft Methoden wie GalLoP und HiCroPL.
- Die Leistung bleibt stabil über verschiedene für die Text-Hierarchie-Generierung verwendete LLMs (Qwen3, Llama3) hinweg.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass UPrompt eine fundierte Lösung für die Vision-Language-Adaption bietet, indem es die Prinzipien des hierarchischen Repräsentationslernens von U-Net auf Prompt-basierte VLMs überträgt.

Lösung von Zielkonflikten: Es löst erfolgreich die Einschränkung von Single-Granularitäts-Ansätzen durch die Etablierung eines vereinheitlichten Frameworks, das durch bidirektionalen Informationsfluss sowohl globales Verständnis als auch lokale Präzision erreicht.
Semantische Konsistenz: Das Framework stellt sicher, dass die semantische Konsistenz über die Repräsentationsskalen hinweg gewahrt bleibt, was den Degradationsprozessen entgegenwirkt, die oft bei isolierten Multi-Granularitäts-Modulen auftreten.
Flexibilität: Das hierarchische Design ermöglicht flexible Abwägungen zwischen Leistung und Effizienz, sodass das Modell an Ressourcenbeschränkungen angepasst werden kann, ohne signifikante Einbußen bei der Genauigkeit hinzunehmen.

Die Autoren räumen ein, dass trotz der Effektivität die aktuelle hierarchische Tiefe begrenzt ist und zukünftige Arbeiten tiefere Multi-Granularitäts-Architekturen untersuchen werden, um reichere semantische Strukturen zu modellieren.