💻 computer science

CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

Dieser Beitrag stellt CRoFT vor, ein einheitliches Feinabstimmungsframework für vision-sprachliche vortrainierte Modelle, das gleichzeitig die Generalisierung außerhalb der Trainingsverteilung und die Erkennung offener Mengen optimiert, indem die Gradientenstärke von Energiewerten minimiert wird, um domainskonsistente Hessische Matrizen zu erreichen.

Ursprüngliche Autoren: Lin Zhu, Yifeng Yang, Qinying Gu, Xinbing Wang, Chenghu Zhou, Nanyang Ye

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lin Zhu, Yifeng Yang, Qinying Gu, Xinbing Wang, Chenghu Zhou, Nanyang Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut gebildete Bibliothekarin namens CLIP. Diese Bibliothekarin hat Millionen von Büchern gelesen und Millionen von Bildern betrachtet. Aufgrund dessen ist sie hervorragend darin, Dinge zu erkennen, die sie bereits gesehen hat, wie etwa einen „Hund" oder ein „Auto", selbst wenn das Bild etwas unscharf ist oder aus einem seltsamen Winkel aufgenommen wurde.

Die reale Welt ist jedoch chaotisch. Manchmal sieht sich die Bibliothekarin bei Ihrer Bitte, neue Fotos zu sortieren, mit zwei spezifischen Problemen konfrontiert:

Das „Stilwechsel"-Problem (Covariate Shift): Sie zeigen der Bibliothekarin ein Bild eines Hundes, aber es ist im Skizzenstil gezeichnet, ein Schwarz-Weiß-Foto oder bei Regen aufgenommen. Die Bibliothekarin weiß, dass es ein Hund ist, aber da der Stil so stark von den Büchern abweicht, in denen sie gelernt hat, gerät sie in Verwirrung und könnte sagen: „Ich bin mir nicht sicher."
Das „Unbekanntes Tier"-Problem (Open-Set OOD): Sie zeigen der Bibliothekarin ein Bild eines Pandas. Sie hat einen Panda in ihren Trainingsbüchern noch nie gesehen. Anstatt zu sagen: „Ich weiß nicht, was das ist", versucht die Bibliothekarin, es in eine bekannte Kategorie zu zwängen, indem sie sagt: „Oh, das muss ein Bär sein!" oder „Das ist ein Hund!" Dies ist gefährlich, weil das System sich selbstbewusst irrt.

Die meisten früheren Methoden versuchten, eines dieser Probleme zu lösen, brachen dabei aber das andere. Wenn Sie der Bibliothekarin beibrachten, besser mit Skizzen umzugehen, könnte sie schlechter darin werden, unbekannte Tiere zu erkennen. Wenn Sie ihr beibrachten, unbekannte Tiere zu erkennen, könnte sie vergessen, wie man mit Skizzen umgeht.

Die Lösung: CRoFT (Die „Doppel-Check"-Bibliothekarin)

Die Arbeit stellt eine neue Methode namens CRoFT vor. Stellen Sie sich CRoFT als ein spezielles Trainingsprogramm vor, das der Bibliothekarin beibringt, beide Dinge gleichzeitig zu tun, ohne verwirrt zu werden.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Energie-Score" (Das Vertrauensmessgerät)

Die Arbeit verwendet ein Konzept namens „Energie-Score". Stellen Sie sich vor, jedes Mal, wenn die Bibliothekarin ein Bild betrachtet, hat sie ein „Vertrauensmessgerät".

Niedrige Energie: „Ich bin sehr zuversichtlich, dass dies ein Hund ist."
Hohe Energie: „Das fühlt sich seltsam an. Ich bin mir nicht sicher."

Das Ziel ist es, das Messgerät für Dinge, die die Bibliothekarin kennt (Hunde), auf niedrig und für Dinge, die sie nicht kennt (Pandas), auf hoch zu stellen.

2. Der geheime Trick: „Die Hügel flach machen"

Die Autoren entdeckten einen cleveren mathematischen Trick. Sie stellten fest, dass, wenn man der Bibliothekarin beibringt, ihr „Vertrauensmessgerät" sehr stabil zu machen (mathematisch bedeutet dies, die „Gradientenstärke" zu minimieren oder die „Hesse-Matrix" konsistent zu machen), zwei magische Dinge gleichzeitig geschehen:

Trick A: Die Bibliothekarin wird besser darin, die „seltsamen" Bilder zu erkennen (Open-Set-Erkennung). Das Messgerät zeigt beim Panda deutlich einen Ausschlag nach oben.
Trick B: Die Bibliothekarin wird robuster gegenüber Stiländerungen (OOD-Verallgemeinerung). Da ihre innere „Karte" der Welt glatter und konsistenter ist, fühlt sich eine Skizze eines Hundes für sie immer noch wie ein Hund an.

Es ist wie ein Wanderer, der lernt, auf einem flachen, glatten Pfad zu gehen. Wenn der Pfad flach ist, wird er nicht über einen kleinen Stein stolpern (eine Stiländerung), und er wird auch klar erkennen können, ob eine Klippenkante kommt (ein unbekanntes Tier).

3. Das „Adversarial Training" (Der Belastungstest)

Um sicherzustellen, dass die Bibliothekarin wirklich bereit für die reale Welt ist, erstellt CRoFT einen „Belastungstest".

Stellen Sie sich vor, die Bibliothekarin studiert ein Foto eines Hundes.
CRoFT erstellt eine „halluzinierte" Version dieses Fotos, die leicht verzerrt ist (wie eine sehr schlechte Skizze oder ein seltsamer Filter), aber immer noch wie ein Hund aussieht.
Die Bibliothekarin wird dann gezwungen, dieses „schlechte" Foto zu erkennen.
Indem sie an diesen „Worst-Case"-Szenarien übt, wird die Bibliothekarin extrem widerstandsfähig. Sie lernt, dass selbst wenn das Foto seltsam aussieht, die Idee des Hundes immer noch da ist.

Das Ergebnis

Die Arbeit behauptet, dass durch die Anwendung dieses „Doppel-Check"-Ansatzes (Flachmachen der Energielandschaft + Belastungstest) die Bibliothekarin (das KI-Modell) wird:

Besser im Erkennen von Unbekanntem: Sie hört auf zu raten, dass ein Panda ein Hund ist. Sie sagt: „Ich kenne das nicht."
Besser im Umgang mit seltsamen Stilen: Sie erkennt eine Skizze eines Hundes genauso gut wie ein Foto eines Hundes.

In ihren Tests war diese Methode deutlich besser als frühere Methoden. Sie verbesserte die Fähigkeit, unbekannte Tiere zu erkennen, um bis zu 20 % und reduzierte die Anzahl der Fälle, in denen das Modell durch Stiländerungen verwirrt wurde.

Kurz gesagt: CRoFT ist eine Trainingsmethode, die KI-Modellen beibringt, sowohl flexibel (im Umgang mit verschiedenen Stilen) als auch ehrlich (im Eingeständnis, wenn sie etwas sehen, das sie noch nie gesehen haben) zu sein, und zwar alles durch das Glätten der Art und Weise, wie das Modell über die Welt „denkt".

Technische Zusammenfassung von CRoFT: Robustes Fine-Tuning mit gleichzeitiger Optimierung für OOD-Generalisierung und Open-Set-OOD-Erkennung

Problemstellung
Neueste vision-sprachliche vortrainierte Modelle (VL-PTMs), wie CLIP, haben bemerkenswerten Erfolg bei Open-Vocabulary-Aufgaben gezeigt. Ihr Einsatz in realen Szenarien erfordert jedoch häufig ein Fine-Tuning für nachgelagerte Anwendungen. Dieser Prozess führt zu einer kritischen Herausforderung: Standard-Fine-Tuning kann das allgemeine Wissen der Modelle verzerren und ihre Fähigkeit beeinträchtigen, Verteilungsverschiebungen zu bewältigen. Reale Umgebungen weisen zwei unterschiedliche Arten von Verteilungsverschiebungen auf:

Kovariatenverschiebungen (Closed-Set OOD): Änderungen in Bildstilen oder Umgebungen, bei denen die Klassenlabels mit den Trainingsdaten übereinstimmen (z. B. ein Hund im Skizzenstil).
Semantische Verschiebungen (Open-Set OOD): Das Vorhandensein von Testklassen, die während des Trainings nicht gesehen wurden (z. B. ein Panda, wenn das Modell auf Hunden trainiert wurde).

Bestehende Fine-Tuning-Methoden konzentrieren sich typischerweise entweder auf die Verbesserung der Robustheit gegenüber Kovariatenverschiebungen (OOD-Generalisierung) oder auf die Erkennung nicht gesehener Klassen (Open-Set-OOD-Erkennung) isoliert. Oft gelingt es ihnen nicht, beide Aspekte gleichzeitig zu adressieren. Darüber hinaus stoßen energie-basierte Erkennungsmethoden häufig an Grenzen, da sich die Energieverteilungen von Closed-Set-ID-Daten und Open-Set-OOD-Daten erheblich überlappen, was eine Diskriminierung erschwert. Die Arbeit stellt die Frage: Wie können VL-PTMs so feinabgestimmt werden, dass die Generalisierung auf Closed-Set-OOD-Daten verbessert wird und gleichzeitig nicht gesehene Open-Set-Klassen effektiv erkannt werden?

Methodik
Die Autoren schlagen CRoFT vor, ein einheitliches Fine-Tuning-Framework, das die gleichzeitige Optimierung von OOD-Generalisierung und Open-Set-OOD-Erkennung ermöglicht. Die Methodik basiert auf drei Kernkomponenten:

Energy Distribution Reshaping (EDR) Loss:
Anstatt die Energiewerte direkt auf In-Distribution (ID)-Daten zu minimieren, schlagen die Autoren vor, die Gradientenstärke der Energiewerte zu minimieren. Theoretisch führt die Minimierung der Gradientenstärke der Energiewerte ( $\nabla_\theta E_\theta(x) \to 0$ ) zu domänenkonsistenten Hessischen der Klassifikationsverlustfunktion. Dieser EDR-Loss wird als Minimierung der quadrierten Norm des Gradientenvektors des Log-Sum-Exp der Energieterme formuliert. Dieser Ansatz gestaltet die Energieverteilung so um, dass bekannte Klassen besser von unbekannten zu unterscheiden sind, ohne die Klassifikationsgenauigkeit zu beeinträchtigen.
Hessische OOD-Generalisierungsschranke:
Durch theoretische Analyse stellen die Autoren einen Zusammenhang zwischen dem EDR-Loss und der OOD-Generalisierung her. Sie zeigen, dass der EDR-Loss domänenkonsistente Hessische induziert, was hilft, die Generalisierungsleistung auf Closed-Set-OOD-Testdaten unter Worst-Case-Szenarien zu begrenzen. Konkret leiten sie eine Generalisierungsschranke her, die zeigt, dass die Leistungslücke zwischen Quell- und Zieldomäne mit dem empirischen Risiko auf Worst-Case-Kovariaten-verschobenen Daten und der Krümmung (Hessische) der Risikofunktion zusammenhängt.
Gleichzeitiges Optimierungs-Framework:
Um die abgeleitete Generalisierungsschranke zu minimieren, setzt CRoFT eine adversarielle Lernstrategie ein. Es generiert „Worst-Case"-Kovariaten-verschobene Bildmerkmale, die semantische Informationen bewahren, sich jedoch von den ID-Merkmalen unterscheiden. Das Framework optimiert eine einheitliche Zielfunktion, die Folgendes umfasst:
- Standard-Klassifikationsverlust auf ID-Merkmalen.
- Einen Verlust ( $L_c$ ), der auf den generierten Worst-Case-OOD-Merkmalen optimiert wird, um die Robustheit zu erhöhen.
- Den EDR-Loss ( $L_e$ ), der sowohl auf ID- als auch auf generierten OOD-Merkmalen angewendet wird, um Energieverteilungen umzugestalten.
Das Framework nutzt ein leichtgewichtiges Fine-Tuning (Einfügen von einlagigen linearen Projektionen/Adaptern in die eingefrorenen CLIP-Encoder), um die Recheneffizienz zu gewährleisten.

Hauptbeiträge

Einheitliches Framework: CRoFT ist das erste Framework, das während des Fine-Tunings von VL-PTMs gleichzeitig Closed-Set-OOD-Generalisierung und Open-Set-OOD-Erkennung optimiert.
Theoretische Einsicht: Die Arbeit liefert einen theoretischen Beweis, dass die Minimierung der Gradientenstärke von Energiewerten (EDR-Loss) zu domänenkonsistenten Hessischen führt und damit theoretisch den OOD-Generalisierungsfehler begrenzt. Dies offenbart eine verborgene Verbindung zwischen OOD-Erkennung und OOD-Generalisierung.
Neue Verlustfunktion: Die Einführung des EDR-Loss, der Energieverteilungen durch Minimierung der Gradientenstärke statt nur der Energiewerte umgestaltet, verbessert die Trennung zwischen ID- und OOD-Daten.
Adversarielle Generierung: Die Methode generiert Worst-Case-Kovariaten-verschobene Merkmale, um das Modell explizit gegen Verteilungsverschiebungen zu trainieren und so die Robustheit zu erhöhen.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden in zwei Aufbauten durchgeführt:

Setup-I: Großskalige ImageNet-Varianten mit 40 % Closed-Set-Klassen und 60 % Open-Set-Klassen, einschließlich kovariaten-verschobener Datensätze (ImageNet-A, R, Sketch, V2).
Setup-II: Cross-Dataset-Evaluierung unter Verwendung von Domänen-Generalisierungsdatensätzen (PACS, VLCS) als Closed-Set und anderer Datensätze (Caltech101, DTD, Food101) als Open-Set.

Wichtige Erkenntnisse:

Open-Set-Erkennung: CRoFT übertrifft State-of-the-Art-Fine-Tuning-Methoden (z. B. CoOp, CoCoOp, CLIP-Adapter, Tip-Adapter-F) erheblich. In Setup-I erreichte es eine Reduktion der False-Positive-Rate bei 95 % Recall (FPR95) um bis zu 25,3 % im Vergleich zum Zero-Shot-CLIP und eine Verbesserung von bis zu 20 % bei der Erkennung nicht gesehener Open-Set-Klassen im Vergleich zu anderen Fine-Tuning-Methoden.
OOD-Generalisierung: CRoFT zeigt auf Closed-Set-OOD-Testsets (z. B. ImageNet-Sketch, ImageNet-A) eine vergleichbare oder überlegene Generalisierungsleistung im Vergleich zu bestehenden Methoden.
Ablationsstudien: Das Entfernen entweder des EDR-Loss ( $L_e$ ) oder des adversariellen Loss ( $L_c$ ) führte zu einer verschlechterten Leistung bei beiden Aufgaben, was die Notwendigkeit der gleichzeitigen Optimierung bestätigt.
Merkmalsvisualisierung: t-SNE-Visualisierungen und Energieverteilungsdiagramme zeigen, dass CRoFT die Überlappung zwischen ID- und OOD-Energieverteilungen erfolgreich reduziert und distinctere Merkmalsrepräsentationen für die Unterscheidung zwischen Open- und Closed-Set lernt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass CRoFT eine kritische Lücke im Einsatz von VL-PTMs schließt, indem es ihnen ermöglicht, sowohl bekannte Verteilungsverschiebungen als auch unbekannte Klassen gleichzeitig zu bewältigen. Die Autoren betonen, dass ihre theoretische Entdeckung – dass die Optimierung auf Open-Set-Erkennung via EDR-Loss inhärent die OOD-Generalisierung verbessert – eine neue Richtung für robustes Fine-Tuning bietet. Die Methode wird als praktische Lösung für Hochrisiko-Anwendungen (z. B. autonomes Fahren, medizinische Bildgebung) präsentiert, bei denen die Erkennung nicht gesehener Klassen ebenso entscheidend ist wie die Aufrechterhaltung der Genauigkeit bei bekannten Klassen unter Umweltveränderungen. Der Code wird bereitgestellt, um weitere Forschung zur robusten Anpassung vision-sprachlicher Modelle zu erleichtern.

Die Lösung: CRoFT (Die „Doppel-Check"-Bibliothekarin)

1. Der „Energie-Score" (Das Vertrauensmessgerät)

2. Der geheime Trick: „Die Hügel flach machen"

3. Das „Adversarial Training" (Der Belastungstest)

Das Ergebnis

Mehr davon