💻 computer science

SECOS: Semantic Capture for Rigorous Classification in Open-World Semi-Supervised Learning

Das Papier stellt SECOS vor, einen neuartigen Ansatz für das semi-überwachte Lernen in offenen Welten, der externes Wissen nutzt, um semantische Repräsentationen zu extrahieren und auszurichten, wodurch Modelle in der Lage sind, sowohl für bekannte als auch für neue Klassen direkt semantisch relevante Textlabels vorherzusagen, ohne Nachverarbeitung, und somit bestehende Methoden übertreffen.

Ursprüngliche Autoren: Hezhao Liu, Jiacheng Yang, Junlong Gao, Mengke Li, Yiqun Zhang, Shreyank N Gowda, Yang Lu

Veröffentlicht 2026-05-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hezhao Liu, Jiacheng Yang, Junlong Gao, Mengke Li, Yiqun Zhang, Shreyank N Gowda, Yang Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine Schule für eine neue Art der Tierklassifizierung. Sie haben ein Lehrbuch mit Bildern und Namen von Tieren, die Sie bereits kennen (wie Hunde und Katzen). Allerdings haben Sie auch einen riesigen Stapel mysteriöser Fotos aus einer Safari. Einige dieser Fotos zeigen Tiere, die Sie kennen, aber viele zeigen neue, unbekannte Tiere (wie eine Qualle oder ein Känguru), die nicht in Ihrem Lehrbuch stehen.

Ihr Ziel ist es, einem Schüler (dem KI-Modell) beizubringen, sich jedes Foto anzusehen und sofort zu sagen: „Das ist ein Hund", „Das ist ein Känguru" oder „Das ist eine Qualle", unter Verwendung der korrekten Namen aus einer Hauptliste.

Das Problem: Das „Raten-Spiel" alter Methoden

Frühere Methoden versuchten, dieses Problem zu lösen, spielten dabei aber ein manipuliertes Spiel.

Das Training: Sie konzentrierten sich so sehr auf die visuellen Details der Tiere, die sie kannten (das Lehrbuch), dass sie die mysteriösen Tiere ignorierten.
Der Test: Wenn der Schüler ein Bild eines Kängurus erhielt, riet er vielleicht auf „Tier #3". Da der Lehrer nicht wusste, was „Tier #3" bedeutete, benutzte er einen Trick namens Ungarische Zuordnung (Hungarian Matching). Dies ist wie ein Spiel „Musikstühle", bei dem man nach dem Test die Antworten neu anordnet, um die Punktzahl perfekt aussehen zu lassen.
- Beispiel: Der Schüler riet „Tier #3" für ein Känguru. Der Lehrer sagt: „Okay, lassen Sie uns so tun, als würde 'Tier #3' tatsächlich 'Känguru' bedeuten."
- Der Fehler: In der realen Welt kann man die Antworten nicht im Nachhinein neu anordnen. Der Schüler muss sofort den tatsächlichen Namen („Känguru") kennen. Alte Methoden gruppierten Tiere im Wesentlichen in Gruppen, ohne zu wissen, wie diese Gruppen hießen.

Die Lösung: SECOS (Der „Semantische Übersetzer")

Die Autoren entwickelten ein neues System namens SECOS (Semantic Capture for Open-World Semi-Supervised Learning). Anstatt nur Zahlen zu raten, agiert SECOS wie ein Übersetzer, der Bilder direkt mit Wörtern verbindet.

So funktioniert SECOS in drei einfachen Schritten:

1. Der „sichere Ratschlag" (Novel Class Semantic Compensation)

Da der Schüler kein Lehrbuch für die neuen Tiere hat, nutzt SECOS einen super-intelligenten, vortrainierten Lehrer (eine massive KI, die die Welt bereits kennt), um einen schnellen Blick auf die mysteriösen Fotos zu werfen.

Der Lehrer sagt: „Ich bin zu 90 % sicher, dass dies wie ein Känguru aussieht."
SECOS nimmt nur die Fotos, bei denen der Lehrer sehr sicher ist, und erstellt ein Mini-Lehrbuch für die neuen Tiere. Dies gleicht das Lernen aus, damit der Schüler die neuen Tiere nicht einfach ignoriert.

2. Die „Doppelkontrolle" (Batch-Wise Semantic Recapture)

Manchmal ist ein Foto knifflig. Ist es ein Hund oder ein Wolf?

SECOS betrachtet einen ganzen Stapel (Batch) von Fotos auf einmal. Es prüft zwei Dinge:
1. Sieht dieses Foto aus wie ein bestimmtes Tier? (Instanz-zu-Klasse)
2. Siehen andere Fotos in diesem Stapel auch wie dieses Tier aus? (Klasse-zu-Instanz)
Wenn ein Foto beide Prüfungen besteht (z. B. es sieht wie ein Känguru aus, und andere Fotos in der Gruppe sehen auch wie Kängurus aus), gibt SECOS ihm einen „Goldstern" und ein solides Label. Dies filtert die verwirrenden, unscharfen Ratschläge heraus und behält nur die klaren, hochwertigen Beispiele.

3. Die „Brücke" (Adapter for Semantic Feature Alignment)

Jetzt hat der Schüler einen Stapel Bilder und einen Stapel Namen, aber sie sprechen verschiedene Sprachen (Pixel vs. Wörter).

SECOS baut eine spezielle Brücke (einen Adapter) zwischen dem Bildteil des Gehirns und dem Wortteil.
Diese Brücke lernt zu sagen: „Wenn ich diese spezifischen Pixelmuster sehe, bedeutet das das Wort 'Känguru'."
Entscheidend ist, dass diese Brücke dem Modell ermöglicht, direkt das Wort „Känguru" auszugeben, anstatt eine zufällige Zahl wie „Klasse 5".

Warum das wichtig ist

Die Arbeit behauptet, dass SECOS das erste System ist, das das Problem der „Strengen Klassifizierung" wirklich löst.

Kein Neuordnen: Es muss die Antworten nach dem Test nicht neu mischen, um eine hohe Punktzahl zu erzielen. Es trifft den richtigen Namen auf Anhieb.
Bessere Ergebnisse: Selbst im Vergleich zu alten Methoden, denen erlaubt war, den „Musikstühle"-Trick (Ungarische Zuordnung) zu nutzen, um ihre Scores zu steigern, schlug SECOS sie mit einem signifikanten Vorsprung (bis zu 5,4 % besser).
Einsatzbereit in der realen Welt: Da es tatsächliche Namen vorhersagt, funktioniert es in realen Szenarien, in denen man nicht zurückgehen und die Labels später korrigieren kann.

Das Fazit

Stellen Sie sich alte Methoden als einen Schüler vor, der einen Stapel durcheinandergeratener Spielzeuge in ordentliche Haufen sortieren kann, aber Ihnen nicht sagen kann, wie die Spielzeuge heißen. SECOS ist ein Schüler, der die Spielzeuge sortieren und sofort die korrekten Namen herausrufen kann („Ball!", „Teddybär!", „Roboter!"), ohne dass er eine Spickzettel oder einen zweiten Ratschlag benötigt. Dies erreicht er, indem er einen klugen Lehrer nutzt, um die Lücken zu füllen, und eine spezielle Brücke, um Bilder mit Wörtern zu verbinden.

1. Problemdefinition: Die Lücke im Open-World Semi-Supervised Learning (OWSSL)

Kontext:
Open-World Semi-Supervised Learning (OWSSL), auch bekannt als Generalized Class Discovery (GCD), umfasst das Trainieren von Modellen auf gelabelten Daten aus „bekannten" Klassen und ungelabelten Daten, die sowohl „bekannte" als auch „neuartige" (bisher nicht gesehene) Klassen enthalten.

Die Kernlimitierung:
Bestehende OWSSL-Methoden versagen bei der Durchführung einer Rigorösen Klassifikation (RC-OWSSL).

Fehlende semantische Verankerung: Aktuelle Methoden konzentrieren sich stark auf das Clustering visueller Merkmale, ignorieren jedoch die latenten semantischen Informationen, die visuelle Merkmale mit linguistischen Bedeutungen verknüpfen.
Abhängigkeit von Post-Hoc-Matching: Während der Evaluation verlassen sich bestehende Methoden auf das Hungarian-Matching, um vorhergesagte Cluster-IDs mit den Ground-Truth-Klassennamen abzugleichen. Dies ist ein Nachbearbeitungsschritt, der die Genauigkeit künstlich aufbläht, indem Labels neu zugewiesen werden, um die Überlappung zu maximieren, unabhängig davon, ob das Modell tatsächlich die korrekte semantische Entsprechung gelernt hat.
Praktische Unmöglichkeit: Im realen Einsatz steht ein gelabelter Testset für das Hungarian-Matching nicht zur Verfügung. Daher können bestehende Methoden für eine neuartige Probe nicht direkt die korrekte textuelle Bezeichnung (z. B. „Hund" oder „Katze") vorhersagen; sie geben lediglich einen Cluster-Index aus.

Ziel:
Das Papier definiert RC-OWSSL, eine Aufgabe, bei der das Modell direkt die semantisch relevanteste textuelle Bezeichnung aus einem Kandidatensatz (bekannt + neuartig) ohne jegliche nachträgliche Neuzuweisung von Labels vorhersagen muss.

2. Methodik: Das SECOS-Framework

Die Autoren schlagen SECOS (SEmantic Capture for Open-world Semi-supervised learning) vor, ein Framework, das die Lücke zwischen visuellen Merkmalen und textueller Semantik unter Verwendung externen Wissens (CLIP) überbrückt. SECOS besteht aus drei Kernmodulen:

A. Semantische Kompensation neuartiger Klassen (Globaler Ebene)

Problem: Schwere Supervisions-Ungleichgewichte; bekannte Klassen haben Labels, neuartige Klassen nicht, was zu einer starken Verzerrung zugunsten bekannter Klassen führt.
Lösung: Konstruktion eines Globalen Pseudo-gelabelten Neuartigen Datensatzes ( $D_N$ ).
1. Ein eingefrorenes „Teacher"-CLIP-Modell weist harte Pseudo-Labels für ungelabelte Daten zu.
2. Proben werden nach diesen Pseudo-Labels gruppiert.
3. Die top- $\phi\%$ Proben mit der höchsten Konfidenz für jede neuartige Klasse werden ausgewählt, um $D_N$ zu bilden.
4. Semantische Erweiterung: Ein Large Language Model (LLM) generiert beschreibende Prompts für Klassennamen, um reichhaltigere semantische Repräsentationen zu erstellen, die zur Verfeinerung des Pseudo-Labeling-Prozesses verwendet werden.
Ergebnis: Dies gleicht die Supervisionsstärke zwischen bekannten und neuartigen Klassen global aus.

B. Batch-weise semantische Rückgewinnung (Lokale/Instanz-Ebene)

Problem: Die globale Kompensation ist grobmaschig; sie verpasst feinabgestimmte semantische Nuancen innerhalb spezifischer Batches und bekannter Klassen.
Lösung: Ein dual-perspektivischer Konfidenz-Filtermechanismus, der auf Batches ungelabelter Daten ( $B$ $B$ ) angewendet wird.
1. Intra-Instanz: Für eine spezifische Probe werden Konfidenzwerte über Klassen hinweg akkumuliert, bis ein Schwellenwert ( $\tau$ ) erreicht ist.
2. Inter-Instanz: Für eine spezifische Klasse wird ein Schwellenwert ( $\theta$ ) basierend auf der Konfidenzverteilung aller Proben im Batch bestimmt.
3. Auswahl: Eine Probe wird nur dann als hochwertige pseudo-gelabelte Instanz ausgewählt, wenn sie beide Kriterien erfüllt und der Schnitt der Kandidaten-Labels genau ein Label ergibt.
Ergebnis: Dies filtert mehrdeutige Proben heraus und erfasst feinabgestimmte semantische Informationen, wodurch hochpräzise Supervisionssignale bereitgestellt werden.

C. Adapter zur semantischen Merkmalsausrichtung

Problem: Selbst mit Pseudo-Labels muss das Modell seinen visuellen Merkmalsraum mit dem semantischen Raum der textuellen Bezeichnungen ausrichten, um eine direkte Klassifikation durchzuführen.
Lösung: Ein leichter Adapter-Mechanismus, der in einen eingefrorenen CLIP-visuellen Encoder eingefügt wird.
1. Architektur: Parallele Adapter werden nach Aufmerksamkeitsblöcken im visuellen Encoder eingefügt. Der Text-Encoder bleibt eingefroren.
2. Ausrichtung: Das Modell berechnet die Ähnlichkeit zwischen den visuellen Merkmalen (verarbeitet durch den Adapter) und den semantischen Merkmalen der Kandidaten-textuellen Bezeichnungen (generiert aus Klassendeskriptionen).
3. Training: Nur die Adapter- und Projektoren-Parameter werden aktualisiert. Der Verlust ist ein standardmäßiger Cross-Entropy-Verlust zwischen dem vorhergesagten Logit und dem Pseudo-Label (oder der Ground Truth).
Ergebnis: Das Modell lernt, visuelle Eingaben direkt auf textuelle Bezeichnungen abzubilden, was eine rigorose Klassifikation ohne Hungarian-Matching ermöglicht.

3. Hauptbeiträge

Definition von RC-OWSSL: Das Papier identifiziert formal die intrinsische Abweichung zwischen bestehendem OWSSL (Clustering) und der praktischen Anforderung der Rigorösen Klassifikation (direkte textuelle Vorhersage) und hebt das Versagen aktueller Methoden hervor, eine semantische Verankerung zu erreichen.
SECOS-Framework: Es wird ein neues Framework vorgeschlagen, das externes Wissen (CLIP + LLM) nutzt, um semantische Repräsentationen zu extrahieren und auszurichten. Es adressiert einzigartig den Mangel an Supervision für neuartige Klassen durch globale Kompensation und batch-weise Rückgewinnung.
Überlegene Leistung: Es wird demonstriert, dass SECOS State-of-the-Art (SOTA)-Methoden übertrifft, selbst wenn diese Methoden unter dem nachsichtigen „Post-Hoc-Matching"-Setting evaluiert werden, während SECOS unter dem strengeren „direkten Klassifikation"-Setting operiert.

4. Experimentelle Ergebnisse

Datensätze:
Evaluiert auf 7 Datensätzen: 3 generisch (CIFAR-10, CIFAR-100, ImageNet-100) und 4 feinabgestimmt (CUB, Stanford Cars, Oxford Flowers, Oxford Pets).

Leistungshighlights:

Direkter Vergleich: SECOS erzielt signifikante Verbesserungen gegenüber SOTA-Methoden (z. B. TextGCD, TP-OWSSL, SimGCD), obwohl SECOS kein Hungarian-Matching verwendet.
Quantitative Gewinne:
- Auf generischen Datensätzen verbessert SECOS die Neuartige Genauigkeit um bis zu 7,37 % und die Gesamtgenauigkeit um 5,35 % im Vergleich zu den besten bestehenden Methoden.
- Auf feinabgestimmten Datensätzen zeigt es Verbesserungen von 1,78 % (Neuartig) und 1,95 % (Gesamt) gegenüber TP-OWSSL.
- Insgesamt übertrifft SECOS bestehende Methoden um bis zu 5,4 % in Metriken der rigorosen Klassifikation.
Ablationsstudien:
- Das Entfernen entweder des Moduls für Globale Kompensation oder Batch-weise Rückgewinnung führt zu einem drastischen Abfall der Genauigkeit neuartiger Klassen (z. B. Rückgang von 82,6 % auf 14,4 % auf CIFAR-100 ohne semantische Erfassung).
- Die Methode ist robust gegenüber Variationen der Batch-Größe und Adapter-Downsampling-Dimensionen.
Selbstlernen: SECOS kann effektiv funktionieren, selbst ohne ein separates „Teacher"-Modell (unter Verwendung eines EMA-aktualisierten Schülers), wobei nur ein geringer Leistungsabfall (~0,83 %) auftritt, während es dennoch teacher-abhängige Baselines übertrifft.

5. Bedeutung und Auswirkung

Paradigmenwechsel: Das Papier fordert die Community auf, sich von einer „clustering-basierten" Evaluation (Hungarian-Matching) hin zu einer „klassifikationsbasierten" Evaluation zu bewegen, die der einzige gangbare Ansatz für den realen Einsatz ist, bei dem Ground-Truth-Labels für neuartige Klassen unbekannt sind.
Semantische Verankerung: Es etabliert, dass ein erfolgreiches OWSSL eine explizite Ausrichtung zwischen visuellen Strukturen und linguistischer Semantik erfordert, nicht nur das Clustering visueller Merkmale.
Praktische Anwendbarkeit: Durch die Ermöglichung direkter textueller Vorhersagen macht SECOS Open-World-Learning auf reale Szenarien anwendbar (z. B. autonomes Fahren, medizinische Diagnose), bei denen Modelle neue Kategorien on-the-fly identifizieren und benennen müssen, ohne den Testset neu zu labeln.
Effizienz: Die Verwendung leichter Adapter ermöglicht es dem Modell, leistungsstarkes vortrainiertes CLIP-Wissen zu nutzen, ohne die Rechenkosten einer vollständigen Feinabstimmung.

Zusammenfassend löst SECOS die kritische Engstelle im Open-World-Learning, indem es einen Mechanismus einführt, um latente Semantik zu „erfassen", wodurch Modelle in der Lage sind, neuartige Objekte rigoros direkt in ihre korrekten textuellen Kategorien zu klassifizieren.