🤖 machine learning

Neutral-Reference Prompting for Vision-Language Models

Das Papier schlägt NeRP vor, eine Plug-and-Play-Strategie zur Korrektur von Prompts, die den Trade-off zwischen Basis- und neuen Klassen in Vision-Language-Modellen mildert, indem neutrale Text-Prompts und Referenzbilder genutzt werden, um asymmetrische, durch Vorwissen dominierte Fehlklassifikationen bei unbekannten Klassen zu identifizieren und zu korrigieren, ohne Modellparameter zu verändern.

Ursprüngliche Autoren: Senmao Tian, Xiang Wei, Shunli Zhang

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Senmao Tian, Xiang Wei, Shunli Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine sehr kluge, viel gereiste Bibliothekarin (das Vision-Language-Modell), die Millionen von Büchern gelesen und Millionen von Bildern gesehen hat. Diese Bibliothekarin ist hervorragend darin, Dinge zu erkennen, die sie bereits gesehen hat, wie „Apfel" oder „Auto". Doch wenn Sie ihr etwas leicht Neues oder aus einem anderen Winkel zeigen, gerät sie manchmal ins Wanken.

Die Studie identifiziert ein spezifisches Problem: den „Base–New Trade-off" (Grundlagen–Neu-Abwägung).
Stellen Sie es sich so vor: Wenn Sie versuchen, dieser Bibliothekarin ein paar neue Tricks beizubringen (wie das Erkennen einer bestimmten Art seltener Blume), konzentriert sie sich oft so sehr auf den neuen Trick, dass sie beginnt, die Erkennung der gewöhnlichen Dinge zu vergessen, die sie zuvor perfekt beherrschte. Es ist eine „Verlierer-Verlierer"-Situation.

Das versteckte Problem: Einseitige Verwirrung

Die Autoren stellten ein seltsames Phänomen fest. Normalerweise, wenn ein Modell zwischen zwei Dingen verwirrt ist (sagen wir, ein „Hund" und ein „Wolf"), verwechselt es sie gleichermaßen. Doch oft ist die Verwirrung einseitig.

Symmetrische Verwirrung: Das Modell hält einen Hund 50 % der Zeit für einen Wolf und einen Wolf 50 % der Zeit für einen Hund. Es ist einfach schwer, sie zu unterscheiden.
Asymmetrische Verwirrung (die Entdeckung der Studie): Das Modell verwechselt einen „Wolf" immer mit einem „Hund", verwechselt aber fast nie einen „Hund" mit einem „Wolf".

Warum? Während des ursprünglichen Trainings (Pre-Training) der Bibliothekarin sah sie weitaus mehr Bilder von Hunden als von Wölfen, oder die Textbeschreibungen für Hunde waren häufiger. Dies schuf eine versteckte „Verzerrung" oder eine Standardeinstellung im Gehirn der Bibliothekarin. Wenn sie einen Wolf sieht, schreit ihr Gehirn: „Das ist wahrscheinlich ein Hund!", weil dies der Weg des geringsten Widerstands ist.

Die Lösung: NeRP (Neutral-Reference Prompting)

Die Autoren schufen eine Lösung namens NeRP. Es ist wie ein „Plug-and-Play"-Werkzeug, das Sie am Gehirn der Bibliothekarin anbringen können, ohne deren Gedächtnis tatsächlich umzuschreiben oder sie neu zu trainieren.

So funktioniert NeRP, anhand einer einfachen Analogie:

1. Der „Neutrale Referenzpunkt" (Die leere Tafel)
Stellen Sie sich ein Foto eines generischen „Objekts" und einen Satz vor, der einfach nur „ein Foto von etwas" lautet. Dies beschreibt kein spezifisches Tier oder Gegenstand.

Die Autoren verwenden dieses „leere" Bild und diesen Text, um die Bibliothekarin zu fragen: „Wenn ich Ihnen nichts Spezifisches zeige, zu welcher Kategorie neigen Sie natürlich?"
Dies enthüllt die versteckte Verzerrung der Bibliothekarin. Wenn die Bibliothekarin auch ohne spezifische Beweise stark zu „Hund" neigt, weiß NeRP: „Ah, diese Bibliothekarin hat eine starke Verzerrung zugunsten von Hunden."

2. Der „Beweis-Check"
Nun zeigen Sie der Bibliothekarin ein Foto eines Wolfs.

Der Beweis: Das Bild sieht ein wenig wie ein Wolf aus, ist aber vielleicht nicht zu 100 % klar.
Die Verzerrung: Das Gehirn der Bibliothekarin schreit „HUND!", wegen dieser versteckten Verzerrung.
Der Konflikt: Der Beweis (das Bild) ist schwach, aber die Verzerrung (die Standardeinstellung) ist stark.

3. Der „Lokale Flip"
NeRP agiert wie ein kluger Schiedsrichter. Es erkennt, dass die Bibliothekarin eine Entscheidung hauptsächlich aufgrund ihrer Verzerrung trifft und nicht aufgrund des tatsächlichen Bildes.

Wenn die Bibliothekarin „Hund" sagt, der Beweis aber schwach ist, und NeRP weiß, dass die Bibliothekarin zu „Hund" verzerrt ist, greift NeRP ein und sagt: „Warten Sie, Sie sind zu selbstsicher. Lassen Sie uns dies auf die andere wahrscheinliche Option (Wolf) umdrehen."
Es tut dies nur, wenn die Bibliothekarin offensichtlich „faul" ist und sich auf alte Gewohnheiten verlässt, anstatt das neue Beweismaterial zu betrachten.

Warum dies eine große Sache ist

Kein Neulernen: Sie müssen der Bibliothekarin keine neuen Lektionen beibringen. Sie geben ihr einfach eine neue „Checkliste" (NeRP), die sie verwendet, wenn sie unsicher ist.
Erhalt der alten Fähigkeiten: Im Gegensatz zu anderen Methoden, die versuchen, neue Dinge zu lehren, aber versehentlich dazu führen, dass die Bibliothekarin die alten vergisst, korrigiert NeRP die neuen Fehler, ohne die alten, perfekten Ergebnisse zu beeinträchtigen.
Überall einsetzbar: Die Studie testete dies bei 15 verschiedenen Aufgabentypen (vom Erkennen von Blumen über Autos bis hin zu Satellitenbildern), und es funktionierte jedes Mal wie am Schnürchen.

Zusammenfassung

Die Studie sagt: „Vision-Language-Modelle haben oft eine einseitige Verzerrung, bei der sie Klasse A mit Klasse B verwechseln, aber nicht umgekehrt. Dies geschieht aufgrund der Art und Weise, wie sie ursprünglich trainiert wurden. Wir haben ein Werkzeug namens NeRP entwickelt, das wie ein ‚Verzerrungs-Detektor' funktioniert. Es prüft, ob das Modell eine Entscheidung auf Basis einer schwachen Vermutung oder einer starken Gewohnheit trifft. Wenn es sich nur um eine Gewohnheit handelt, korrigiert NeRP die Antwort sanft. Dies macht das Modell viel besser darin, neue Dinge zu erkennen, ohne dass es die alten Dinge vergisst."

Technische Zusammenfassung: Neutral-Referenz-Prompting für Vision-Language-Modelle (NeRP)

1. Problemstellung

Vision-Language-Modelle (VLMs) haben starke Zero-Shot-Fähigkeiten demonstriert, doch ihr effizientes Transferlernen durch Prompt-Tuning oder leichte Anpassung leidet häufig unter dem Trade-off zwischen Basis- und Neu-Klassen (BNT). Die Verbesserung der Leistung auf nicht gesehenen (neuen) Klassen führt häufig zu einer Verschlechterung der Genauigkeit auf bekannten (Basis-)Klassen.

Während die bestehende Literatur BNT primär auf Überanpassung an Basis-Klassen während des Fine-Tunings zurückführt, identifiziert diese Arbeit ein subtileres zugrundeliegendes Problem: asymmetrische Verwechslung. Im Gegensatz zur symmetrischen Verwechslung (bei der ähnliche Klassen mit vergleichbaren Raten falsch klassifiziert werden) weisen VLMs systematische, einseitige Verzerrungen auf, bei denen Proben der Klasse A häufig als Klasse B vorhergesagt werden, während das Umgekehrte (B → A) selten auftritt. Diese Verzerrung, die von Ungleichgewichten in den Vorab-Trainingsdaten herrührt, bleibt für nicht gesehene Klassen bestehen, da Standard-Fine-Tuning (unter Verwendung des Cross-Entropy-Verlusts) Verzerrungen für gesehene Klassen effektiv unterdrückt, aber die durch das Vorab-Training induzierten Priors für nicht gesehene Klassen nicht korrigieren kann.

2. Methodik: NeRP

Die Autoren schlagen NeRP (Neutral-Reference Prompting) vor, eine Plug-and-Play-Strategie, die Vorhersagen zum Inferenzzeitpunkt korrigiert, ohne Modellparameter zu ändern oder neu zu trainieren. Die Methode basiert auf der Beobachtung, dass Fine-Tuning primär den niedrigdimensionalen Unterraum deformiert, der von Prototypen der Basis-Klassen aufgespannt wird, während die Zero-Shot-Geometrie nicht gesehener Klassen relativ stabil bleibt.

Kernkomponenten:

Neutral-Referenz-Prompts: Die Methode definiert einen „neutralen" Prompt, der klassenagnostisch ist.
- Textseite: Ein generischer Prompt (z. B. „ein Foto eines Objekts"), der jede Probe ohne klassenspezifische Hinweise beschreibt.
- Bildseite: Ein „neutrales" Bild, das durch pixelweise Mittelung aller Trainingsbilder erstellt wird, wobei der Domänenstil erhalten bleibt, aber spezifische semantische Inhalte entfernt werden.
Prior-Lücken-Messung: Durch Projektion dieser neutralen Referenzen gegen Klassenprototypen berechnet die Methode neutrale Priors ( $\pi_{txt}$ und $\pi_{img}$ ). Die Differenz zwischen diesen Priors für ein Klassenpaar $(i, j)$ offenbart Richtung und Stärke der inhärenten Verzerrung des Modells (die „Prior-Lücke").
Bayes-artige Surrogat-Score: Die Methode konstruiert einen Surrogat-Score, indem sie den beobachteten Sample-Logit-Margin ( $m_{ij}$ ) mit der neutralen Prior-Lücke ( $\Sigma_{i,j}$ ) kombiniert.
$s_{ij}(x) \approx m_{ij}(x) + \Sigma_{i,j}(D) + \hat{\beta}(D)$
Entscheidungsregel (Lokales Flip): Für eine gegebene Probe wird, wenn der Prior stark eine bestimmte Klasse begünstigt (großes $\Sigma_{i,j}$ ), die beobachtete Evidenz (Logit-Margin) jedoch schwach ist, die Vorhersage als „prior-dominiert" und wahrscheinlich fehlerhaft eingestuft. In solchen Fällen führt NeRP ein lokales Flip zwischen leicht verwechselbaren Klassenpaaren durch, um die Verzerrung zu korrigieren. Sind sowohl Prior als auch Evidenz schwach, bleibt die Vorhersage unverändert.

Theoretische Begründung:
Die Arbeit liefert theoretische Beweise (Proposition 3.5 und Korollar 3.6), die zeigen, dass unter einem Niedrigrang-Deformationsmodell des Fine-Tunings die neutrale Prior-Lücke mit hoher Wahrscheinlichkeit mit dem erwarteten Logit-Margin für nicht gesehene Klassen übereinstimmt. Dies ermöglicht es dem neutralen Prior, als zuverlässiger Anker zur Erkennung und Korrektur von Verzerrungen zu dienen.

3. Hauptbeiträge

Identifikation asymmetrischer Verwechslung: Die Arbeit hebt hervor, dass BNT nicht ausschließlich durch Überanpassung verursacht wird, sondern maßgeblich durch persistente, asymmetrische Vorab-Trainingsverzerrungen bei nicht gesehenen Klassen getrieben wird.
Neutral-Referenz-Mechanismus: Die Einführung neutraler Text- und Bild-Prompts zur Messung klassenweiser Prior-Präferenzen entlang der vorab trainierten interklassischen Geometrie.
Parameterfreie Korrektur: NeRP ist eine nachgelagerte Plug-and-Play-Strategie, die kein zusätzliches Training, keine Parameteraktualisierungen oder architektonische Änderungen an bestehenden VLMs erfordert.
Theoretische Analyse: Die Arbeit stellt eine formale Verbindung zwischen neutralen Priors und der Stabilität der Zero-Shot-Geometrie her und beweist, dass diese Priors die Richtung von Verzerrungen bei neuen Klassen zuverlässig erkennen können.

4. Experimentelle Ergebnisse

Die Autoren evaluierten NeRP über 15 Benchmarks, einschließlich 11 Few-Shot-Erkennungsdatensätzen (z. B. ImageNet, Caltech101, OxfordPets) und 4 Cross-Domain-/Domain-Generalisierungsdatensätzen (z. B. ImageNet-V2, ImageNet-Sketch).

Basislinien: Die Methode wurde mit vier distincten State-of-the-Art-Prompt-Tuning- und Anpassungsmethoden integriert: CoCoOp, PromptSRC, MMA und MMRL.
Leistung:
- Basis-zu-Neu-Generalisierung: NeRP verbesserte die Genauigkeit auf nicht gesehenen (neuen) Klassen über alle Basislinien und Datensätze hinweg konsistent. Beispielsweise betrugen die Gewinne auf EuroSAT über 5 %, während Verbesserungen von 0,5–2 % auf ImageNet und Flowers102 beobachtet wurden.
- Erhaltung der Basis-Leistung: Entscheidend verbesserte NeRP die Leistung bei neuen Klassen ohne Verschlechterung der Genauigkeit auf Basis-Klassen, wodurch der BNT effektiv gemildert wurde.
- Cross-Domain & Domain-Generalisierung: NeRP erzielte unmittelbare Gewinne bei Cross-Dataset- und Domain-Generalisierungsaufgaben, mit durchschnittlichen Verbesserungen von ca. 1 % über 10 Datensätze hinweg.
Ablationsstudien: Experimente bestätigten, dass die Methode robust gegenüber verschiedenen Suchgranularitäten für Hyperparameter ist und auch mit sehr wenigen zur Kalibrierung verwendeten Proben effektiv ist.

5. Bedeutung und Behauptungen

Die Arbeit positioniert NeRP als „kostenloses Mittagessen" für effizientes Transferlernen in VLMs. Ihre primäre Bedeutung liegt darin, den Trade-off zwischen Diskriminierung (bei Basis-Klassen) und Generalisierung (bei neuen Klassen) zu entkoppeln, indem sie die Ursache asymmetrischer Verzerrungen adressiert und nicht nur das Symptom der Überanpassung.

Die Autoren behaupten, dass NeRP als universelle, modellagnostische Korrekturstrategie dient, die Diskriminierung und Generalisierung ausbalanciert. Durch die Nutzung neutraler Referenzen, um vorab trainingsinduzierte Verzerrungen aufzudecken und zu korrigieren, ermöglicht NeRP bestehenden VLM-Anpassungsmethoden, eine bessere Leistung auf nicht gesehenen Klassen zu erzielen, ohne die Rechenkosten des Neutrainings oder das Risiko einer Beeinträchtigung der Genauigkeit bekannter Klassen. Die Arbeit legt nahe, dass das Verständnis und die Korrektur „asymmetrischer Verwechslung" ein kritischer, bisher untererforschter Weg zur Verbesserung der Robustheit von VLMs ist.