💻 computer science

Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery

Die Arbeit stellt SSR²-GCD vor, ein neuartiges Framework für die generalisierte Kategorisierung, das durch semi-überwachtes Ratenreduktion und die Integration von Prompt-Kandidaten aus Vision-Language-Modellen sowohl inter- als auch intramodale Ausrichtungen verbessert, um bekannte und unbekannte Kategorien effektiver zu identifizieren.

Ursprüngliche Autoren: Wei He, Xianghan Meng, Zhiyuan Huang, Xianbiao Qi, Rong Xiao, Chun-Guang Li

Veröffentlicht 2026-04-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wei He, Xianghan Meng, Zhiyuan Huang, Xianbiao Qi, Rong Xiao, Chun-Guang Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv in einer riesigen, unbekannten Stadt. Sie kennen einige der Bewohner ganz genau (die bekannten Kategorien), aber die Stadt ist voll von Leuten, die Sie noch nie gesehen haben (die unbekannten Kategorien). Ihr Job ist es, alle Bewohner zu erkennen und in Gruppen einzuteilen, auch die, deren Namen Sie noch nicht kennen.

Das ist das Problem, das dieses Papier mit dem Titel "SSR2-GCD" lösen will. Hier ist die einfache Erklärung, wie sie es tun, mit ein paar bildhaften Vergleichen:

1. Das alte Problem: Nur ein Sinn reicht nicht

Bisher haben Detektive (KI-Modelle) versucht, die neuen Leute nur anhand ihres Aussehens (Bilder) zu erkennen. Das ist wie wenn Sie jemanden nur von hinten sehen und versuchen, ihn zu identifizieren. Das funktioniert okay, aber wenn zwei Leute sich sehr ähnlich aussehen (z. B. zwei verschiedene Hunderassen), wird es schwierig.

Andere Versuche haben versucht, auch Beschreibungen (Text) hinzuzuziehen. Sie haben gesagt: "Schau, das ist ein Hund, und hier ist das Wort 'Hund'." Aber das alte System war wie ein Taubenschwarm, der nur auf das Flattern der Flügel achtet (die Bilder), aber ignoriert, dass die Vögel untereinander auch eine Ordnung haben müssen. Die Verbindung zwischen Bild und Text war da, aber die innere Ordnung innerhalb der Bilder und innerhalb der Texte war chaotisch.

2. Die neue Lösung: Der "Gleichgewichtswächter" (SSR2)

Die Autoren schlagen eine neue Methode vor, die sie SSR2-GCD nennen. Man kann sich das wie einen sehr cleveren Gleichgewichtswächter vorstellen.

Das Problem mit dem alten Ansatz: Stellen Sie sich vor, Sie drängen alle bekannten Freunde in einen kleinen Raum zusammen, damit sie sich gut kennen. Aber die neuen, unbekannten Leute werden in einen riesigen, leeren Saal geschubst. Das Ergebnis ist ein Ungleichgewicht: Die alten Freunde sind zu eng gedrängt, die neuen sind zu verstreut. Wenn Sie dann versuchen, Gruppen zu bilden, klappt das nicht gut.
Die SSR2-Lösung: Unser neuer Gleichgewichtswächter sorgt dafür, dass sowohl die alten Freunde als auch die neuen Leute in der gleichen Art und Weise "gepresst" werden. Er sorgt dafür, dass alle Gruppen (ob bekannt oder unbekannt) eine faire, kompakte und gut strukturierte Form haben. Er verhindert, dass die bekannten Kategorien die neuen "erdrücken".

3. Der "Text-Sammler" (RTA)

Um die unbekannten Leute besser zu verstehen, brauchen wir mehr als nur ein Wort.

Das alte Problem: Früher haben die Systeme oft nur ein einziges, vielleicht ungenaues Wort als Beschreibung gewählt (z. B. nur "Tier" statt "kleiner brauner Hund").
Die neue Lösung (RTA): Stellen Sie sich vor, Sie fragen nicht nur einen Zeugen, sondern holen sich eine Meinungsumfrage von mehreren Zeugen. Das System sucht nach den 3 oder 4 besten beschreibenden Wörtern (Tags und Attribute), die zu einem Bild passen, und fasst diese Informationen zu einer reichen, detaillierten Beschreibung zusammen. Es ist wie ein Puzzle, bei dem man nicht nur ein Teil, sondern mehrere Teile zusammenfügt, um das Bild klarer zu sehen.

4. Wie es zusammenarbeitet: Zwei Ohren, ein Gehirn

Das System hat zwei "Ohren":

Das Bild-Ohr: Schaut auf das Foto.
Das Text-Ohr: Hört auf die gesammelten Beschreibungen.

Das Besondere an dieser Methode ist, dass sie nicht nur versucht, das Bild mit dem Text abzugleichen (damit das Bild eines Hundes zum Wort "Hund" passt). Viel wichtiger ist, dass sie sicherstellt, dass alle Bilder untereinander und alle Texte untereinander eine klare Ordnung haben.

Die Analogie:
Stellen Sie sich eine Party vor.

Früher: Man hat nur darauf geachtet, dass die Leute, die ein Foto von sich halten, zu den Leuten passen, die ein Schild mit ihrem Namen halten. Aber auf der Tanzfläche selbst war es ein Chaos; die Leute, die sich ähnlich sahen, tanzten nicht zusammen.
Jetzt (SSR2-GCD): Der DJ (das System) sorgt dafür, dass alle, die zum selben Musikstil gehören (die gleiche Kategorie), auch auf der Tanzfläche in einer geordneten Formation tanzen – egal ob sie das Lied schon kennen oder nicht. Gleichzeitig sorgt er dafür, dass die Musik (Text) und die Tanzbewegungen (Bilder) perfekt aufeinander abgestimmt sind.

Warum ist das wichtig?

In der echten Welt gibt es immer Dinge, die wir noch nicht kennen (neue Tierarten, neue Produkte, neue Krankheiten). Herkömmliche KI-Systeme scheitern oft daran, diese neuen Dinge zu erkennen, weil sie zu sehr auf das Lernen von Bekanntem fixiert sind.

Diese neue Methode SSR2-GCD ist wie ein Meister-Detektiv, der nicht nur die alten Fälle kennt, sondern auch eine super-Ordnungssystem entwickelt hat, um neue Fälle sofort in die richtige Schublade zu stecken, ohne dabei die alten Fälle zu vergessen oder zu verzerren.

Das Ergebnis: Auf vielen Tests (wie dem Erkennen von Hunden, Autos oder Blumen) war diese neue Methode deutlich besser als alle vorherigen, besonders wenn es darum ging, die ganz neuen, unbekannten Kategorien zu finden.

1. Problemstellung: Generalized Category Discovery (GCD)

Das Ziel der Generalized Category Discovery (GCD) ist es, in einem offenen Szenario sowohl bekannte als auch unbekannte Kategorien zu identifizieren.

Setting: Ein Teil der Daten ist gelabelt (bekannte Kategorien), während der andere Teil ungelabelt ist und sowohl bekannte als auch unbekannte Kategorien enthält.
Herausforderung: Herkömmliche Ansätze für GCD basieren oft auf der Feinabstimmung (Fine-Tuning) vortrainierter Modelle und anschließendem Clustering. Ein Hauptproblem besteht darin, dass Repräsentationen aus einer einzigen visuellen Modalität oft nicht ausreichend diskriminativ sind, insbesondere bei visuell ähnlichen Kategorien.
Limitierung bestehender Multi-Modal-Ansätze: Aktuelle State-of-the-Art-Methoden nutzen zwar Text-Modalitäten (z. B. über CLIP), um die Leistung zu steigern, konzentrieren sich jedoch fast ausschließlich auf die Inter-Modal-Ausrichtung (Alignment zwischen Bild und Text). Sie vernachlässigen oft die Intra-Modal-Ausrichtung (Konsistenz innerhalb der Bild- oder Text-Daten selbst). Dies führt zu einem unausgewogenen Kompressionsproblem, bei dem bekannte Kategorien übermäßig komprimiert werden, während unbekannte Kategorien schlechter behandelt werden, was die Clusterbildung erschwert.

2. Methodik: SSR2-GCD

Die Autoren schlagen SSR2-GCD (Semi-Supervised Rate Reduction for Generalized Category Discovery) vor, ein Framework, das drei Hauptkomponenten umfasst:

A. Retrieval-based Text Aggregation (RTA)

Um semantisch reiche Textrepräsentationen zu generieren, wird eine verbesserte Textaggregationsstrategie entwickelt:

Anstatt nur einen einzigen Prompt zu verwenden, werden die $c$ ähnlichsten Tags und Attribute aus einem Lexikon abgerufen.
Diese werden gewichtet (das ähnlichste Element erhält ein höheres Gewicht) und aggregiert, um eine robuste Text-Embedding zu erzeugen.
Dies überwindet die Limitierung von CLIP, lange Textprompts schlecht zu verarbeiten, indem die Informationen kompakt und gewichtet zusammengeführt werden.

B. Semi-Supervised Rate Reduction (SSR2) Modul

Dies ist das Kernstück des Papiers. Es führt eine neue Verlustfunktion ein, die auf dem Prinzip der Maximalen Codierungs-Raten-Reduktion (Maximal Coding Rate Reduction) basiert.

Ziel: Das Lernen von strukturierten Repräsentationen mit einer gewünschten Verteilungsstruktur.
Funktionsweise: Die Verlustfunktion $\mathcal{L}_{SSR^2}$ $L_{S S R^{2}}$ besteht aus drei Teilen:
1. $-R(\mathbf{Z})$ : Maximiert die gesamte Entropie/Varianz der Embeddings (Expansions-Term).
2. $R_c^s(\mathbf{Z}, \mathbf{Y}^*)$ : Minimiert die Raten-Reduktion für gelabelte Daten (bekannte Kategorien).
3. $R_c^u(\mathbf{Z}, \mathbf{Y})$ : Minimiert die Raten-Reduktion für ungelabelte Daten (unbekannte Kategorien) basierend auf pseudo-gelabelten Daten.
Innovation: Im Gegensatz zu herkömmlichen kontrastiven Verlusten, die zu einer unausgewogenen Kompression führen, erzwingt SSR2 eine ausgewogene Kompression sowohl für bekannte als auch für unbekannte Kategorien. Dies verhindert, dass das Modell nur auf bekannte Klassen „fokussiert" und unbekannte Cluster ignoriert.

C. Dual-Branch Klassifikatoren und Trainingsstrategie

Es werden zwei separate Klassifikatoren für Bild- und Text-Embeddings verwendet.
Trainingsphasen:
1. Warm-up-Phase: Nur überwachter Verlust und SSR2 für gelabelte Daten, um stabile Pseudo-Labels zu generieren.
2. Alignment-Phase: Vollständiger Verlust inklusive unüberwachter SSR2-Terme und eines „Co-Teaching"-Verlusts, um die Vorhersagen der beiden Zweige (Bild und Text) zu synchronisieren.

3. Schlüsselbeiträge

SSR2-GCD Framework: Einführung eines neuen Multi-Modal-Lernansatzes, der das Prinzip der Raten-Reduktion in ein semi-überwachtes GCD-Setting integriert.
Ausgewogene Kompression: Lösung des Problems der unausgewogenen Kompression in kontrastivem Lernen, indem sowohl bekannte als auch unbekannte Kategorien gleichmäßig komprimiert werden, was die Clusterqualität verbessert.
Intra-Modal vs. Inter-Modal: Die Arbeit zeigt, dass eine explizite Betonung der Intra-Modal-Konsistenz (innerhalb einer Modalität) entscheidend ist. Reine Inter-Modal-Ausrichtung (wie bei CLIP) kann sogar zu einer Verschlechterung der Intra-Modal-Struktur führen.
RTA-Strategie: Eine effektive Methode zur Aggregation von Textinformationen, die semantisch reichhaltigere Prompts erzeugt als bestehende Methoden.

4. Ergebnisse

Die Methode wurde auf acht Benchmark-Datensätzen getestet (4 generisch: CIFAR-10/100, ImageNet-100/1k; 4 fein-granular: CUB, Stanford Cars, Oxford Pets, Flowers102).

Überlegene Leistung: SSR2-GCD erreicht auf allen Datensätzen die besten Ergebnisse im Vergleich zu State-of-the-Art-Methoden (wie SimGCD, TextGCD, GET, CLIP-GCD).
- Beispiel: Auf Stanford Cars und Flowers102 wurden Verbesserungen von 3,1 % bzw. 6,3 % gegenüber dem besten Baseline erzielt.
Verbesserung bei unbekannten Klassen: Das Modell schließt die Genauigkeitslücke zwischen bekannten („Old") und unbekannten („New") Kategorien signifikant.
Validierung der Hypothesen:
- Experimente zeigen, dass die Kombination von Inter-Modal- und Intra-Modal-Verlusten (z. B. CLIP-Loss + Kontrastiver Loss) oft schlechter abschneidet als reiner Intra-Modal-Loss (SSR2).
- Die Analyse der numerischen Ränge (Rank) der Embeddings bestätigt, dass SSR2 eine ausgewogene Kompression erreicht, während kontrastive Verluste bekannte Klassen übermäßig komprimieren.
- Die Konsistenz-Metrik $\rho$ (Verhältnis intra- zu inter-klassen Links) ist bei SSR2 deutlich höher als bei reinem CLIP-Loss.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen theoretischen und praktischen Beitrag zum Verständnis von Multi-Modal-Lernen im Kontext von GCD.

Paradigmenwechsel: Es widerlegt die Annahme, dass Inter-Modal-Ausrichtung allein ausreicht. Stattdessen wird gezeigt, dass die Intra-Modal-Ausrichtung die fundamentale Voraussetzung für erfolgreiches Clustering und die Entdeckung unbekannter Kategorien ist.
Robustheit: Durch die Nutzung der Raten-Reduktion wird das Modell robuster gegenüber Klassenungleichgewichten und visuellen Ähnlichkeiten.
Praktische Anwendbarkeit: Die Methode ist besonders relevant für reale Szenarien, in denen Datenmengen eine Mischung aus bekannten und völlig neuen Kategorien enthalten, und bietet einen neuen Standard für die Verarbeitung von Open-Set-Erkennungsproblemen.

Zusammenfassend demonstriert SSR2-GCD, dass durch die gezielte Steuerung der geometrischen Struktur der Embeddings (via Rate Reduction) und die Stärkung der intra-modalen Konsistenz signifikant bessere Ergebnisse in der Generalized Category Discovery erzielt werden können als durch reine Inter-Modal-Alignment-Strategien.