🤖 AI

Relational Retrieval: Leveraging Known-Novel Interactions for Generalized Category Discovery

Dieser Artikel schlägt Relational Pattern Consistency (RPC) vor, ein neuartiges Framework für die Generalisierte Kategorientdeckung, das durch semantische Ausrichtung und invariante relationale Musterabgleich bidirektionale Wissensübertragung zwischen gelabelten und ungelabelten Daten nutzt, um State-of-the-Art-Leistung zu erzielen.

Ursprüngliche Autoren: Yulin Xu, Chunqi Guo, Yuanzhen Shuai, Jianyuan Ni

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yulin Xu, Chunqi Guo, Yuanzhen Shuai, Jianyuan Ni

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem neuen Schüler (dem Computer) beizubringen, verschiedene Tierarten zu erkennen. Sie haben zwei Gruppen von Fotos, die Sie ihm zeigen:

Die „Bekannte" Gruppe: Ein Fotoalbum, in dem jedes Tier klar beschriftet ist (z. B. „Das ist eine Katze", „Das ist ein Hund").
Die „Unbekannte" Gruppe: Ein riesiger Haufen von Fotos ohne Beschriftungen. Einige davon sind Katzen und Hunde, die Sie bereits gesehen haben, aber andere sind Tiere, die Sie noch nie getroffen haben (wie ein Schnabeltier oder ein Schuppentier).

Das Problem:
Die meisten bisherigen Methoden behandelten diese beiden Gruppen so, als wären sie in getrennten Räumen. Der Computer würde die beschrifteten Fotos studieren, um etwas über Katzen und Hunde zu lernen, und würde dann versuchen, allein zu erraten, was im unbeschrifteten Haufen steckt, in der Hoffnung, die neuen Tiere zu identifizieren. Die Arbeit argumentiert, dass dies eine Zeitverschwendung ist. Es ist, als hätte man einen Lehrer direkt neben dem Schüler, aber ihn nicht mit dem anderen sprechen ließe. Der Schüler verpasst die Hilfe des Lehrers, wenn er die „bekannten" Tiere im unbeschrifteten Haufen betrachtet, und der Lehrer bekommt nie die Chance, die „neuen" Tiere mit dem bestehenden Wissen des Schülers zu erklären.

Die Lösung: „Relationale Abrufung" (RPC)
Die Autoren schlagen eine neue Methode vor, die Relationale Musterkonsistenz (RPC) genannt wird. Stellen Sie sich dies als Einrichtung eines Zwei-Wege-Gesprächs zwischen den beschrifteten und den unbeschrifteten Fotos vor.

So funktioniert es, unter Verwendung von zwei einfachen Analogien:

1. Der „Schattenpuppenspiel"-Trick (Das Bekannte bekannt halten)

Das Ziel: Sicherstellen, dass der Computer nicht vergisst, wie eine „Katze" aussieht, wenn er eine Katze im unbeschrifteten Haufen sieht.

Die Analogie: Stellen Sie sich vor, die beschrifteten Fotos sind die „Meisterpuppenspieler", die genau wissen, wie man einen Katzenschatten macht. Die unbeschrifteten Fotos sind die „Lehrlinge".
Anstatt die Lehrlinge einfach nur raten zu lassen, verwendet die Methode eine spezielle „Fusions"-Technik. Sie nimmt den Schatten des Meisterpuppenspielers (die beschriftete Katze) und mischt ihn sanft mit dem Schatten des Lehrlings (die unbeschriftete Katze).

Wie es funktioniert: Der Computer prüft, wie sicher er ist, dass ein unbeschriftetes Foto ein „bekanntes" Tier ist. Wenn er ziemlich sicher ist, mischt er die Merkmale dieses Fotos mit der beschrifteten Version. Dies zwingt den Computer zu lernen, dass die unbeschriftete Katze genau wie die beschriftete Katze verhalten muss, selbst wenn das Foto unscharf ist oder aus einem seltsamen Winkel aufgenommen wurde. Es ist, als würde der Lehrling die Bewegungen des Meisters perfekt kopieren.

2. Der „Kompass"-Trick (Die neuen Tiere finden)

Das Ziel: Herausfinden, welche Tiere im unbeschrifteten Haufen neu sind und sie zusammenzufassen, obwohl der Computer sie noch nie gesehen hat.

Die Analogie: Stellen Sie sich die „bekannten" Tiere (Katzen, Hunde, Vögel) als eine Reihe von festen Kompassen oder Landmarken auf einer Karte vor.

Eine „Katze" könnte sehr nahe am „Hund"-Landmarken liegen, aber sehr weit vom „Vogel"-Landmarken entfernt sein.
Ein „neues" Tier (wie ein Schnabeltier) wurde noch nie gesehen, daher kennen wir seinen Namen nicht. Aber wenn man betrachtet, wie es sich zu den Landmarken verhält, könnte man feststellen: „Hey, dieses Schnabeltier ist auch nahe am Hund-Landmarken und weit vom Vogel-Landmarken entfernt, genau wie dieses andere Schnabeltier dort drüben!"

Die Magie:
Der Computer muss den Namen „Schnabeltier" nicht kennen, um sie zu gruppieren. Er betrachtet einfach das Muster der Beziehungen.

„Haben diese beiden unbekannten Tiere den gleichen 'Abstand' zur Katze, zum Hund und zum Vogel?"
Wenn ja, sind sie wahrscheinlich dieselbe neue Art.
Wenn nein, sind sie unterschiedlich.

Dies verwandelt ein verwirrendes Ratespiel in ein einfaches Zuordnungsspiel. Anstatt eine neue Kategorie von Grund auf neu zu erfinden, prüft der Computer einfach, ob die neuen Tiere das gleiche „Beziehungs-Signatur" mit den Tieren teilen, die er bereits kennt.

Die Ergebnisse

Die Arbeit testete diese „Zwei-Wege-Gesprächs"-Methode an vielen verschiedenen Datensätzen (von einfachen Bildern von Autos und Flugzeugen bis hin zu komplexen medizinischen Bildern).

Besseres Gedächtnis: Der Computer wurde viel besser darin, sich an die „bekannten" Tiere im unbeschrifteten Haufen zu erinnern, weil er sie ständig mit den beschrifteten verglich.
Bessere Entdeckung: Er wurde besser darin, die „neuen" Tiere zu finden und zu gruppieren, weil er die bekannten Tiere als zuverlässige Karte nutzte, um sich im Unbekannten zu orientieren.
Effizienz: Er tat all dies, ohne eine massive Menge an zusätzlicher Rechenleistung zu benötigen. Es war nur geringfügig teurer als die alten Methoden, aber viel intelligenter.

Auf den Punkt gebracht:
Die Arbeit sagt: „Hören Sie auf, beschriftete und unbeschriftete Daten als Fremde zu behandeln. Lassen Sie sie Händchen halten." Indem die beschrifteten Daten die bekannten Teile der unbeschrifteten Daten leiten und die bekannten Daten als Karte verwendet werden, um die neuen Teile zu finden, lernt der Computer schneller und macht weniger Fehler.

Technische Zusammenfassung: Relationale Abrufverfahren für generalisierte Kategorienentdeckung

Problemdefinition

Die Arbeit adressiert die Generalized Category Discovery (GCD), eine Aufgabe, die die traditionelle Klassifikation auf Open-World-Szenarien erweitert. Das Ziel besteht darin, bekannte Klassen unter Verwendung von gelabelten Daten ( $D_L$ ) gemeinsam zu erkennen und neue Kategorien innerhalb ungelabelter Daten ( $D_U$ ) zu entdecken. Eine kritische Herausforderung bestehender GCD-Ansätze besteht darin, dass sie gelabelte und ungelabelte Daten typischerweise als separate Lernströme behandeln: Gelabelte Daten durchlaufen überwachtes Lernen, während ungelabelte Daten auf selbstüberwachte Signale angewiesen sind. Diese Trennung führt zu zwei primären Einschränkungen, die von den Autoren identifiziert wurden:

Verschwendetes semantisches Wissen: Ungelabelte Proben, die zu bekannten Klassen gehören, verlassen sich ausschließlich auf Selbstüberwachung und ignorieren die hochdiskriminativen Merkmale, die bereits von gelabelten Proben derselben Klassen erfasst wurden.
Ineffektive Entdeckung: Die Kategoriesuche verläuft häufig ohne Berücksichtigung relationaler Muster. Proben derselben neuen Kategorie, obwohl von bekannten Klassen unterschieden, behalten konsistente Beziehungen zu Prototypen bekannter Klassen bei – ein Signal, das oft zugunsten unzuverlässiger Pseudo-Labeling-Verfahren übersehen wird.

Methodik: Konsistenz relationaler Muster (RPC)

Der vorgeschlagene Rahmen, Relational Pattern Consistency (RPC), koppelt gelabelte und ungelabelte Daten explizit durch bidirektionalen Wissenstransfer. Die Methode baut auf der SimGCD-Basis für Repräsentationslernen auf und integriert die One-vs-All (OVA)-Zerlegung von DebGCD, um zu identifizieren, ob ungelabelte Proben zu bekannten (ID) oder neuen (OOD) Klassen gehören.

Der Kern von RPC besteht aus zwei Mechanismen:

1. Erhaltung bekannter Klassen durch semantischen Transfer

Um den Verlust der semantischen Struktur in ungelabelten Proben bekannter Klassen zu verhindern, überträgt RPC robuste Muster von gelabelten auf ungelabelte Daten.

Weiche ID/OOD-Zerlegung: OVA-Klassifikatoren erzeugen weiche Gewichte ( $w_{old}$ und $w_{new}$ ), um die Wahrscheinlichkeit abzuschätzen, dass eine Probe zu bekannten oder neuen Klassen gehört.
Konfidenz-gewichtete Embedding-Fusion: Für Batches, die sowohl gelabelte als auch hochkonfidente ungelabelte (ID) Proben enthalten, konstruiert das Modell eine Fusionsmatrix. Diese Matrix führt eine zyklische Verschiebung durch, um Informationen von gelabelten Proben in ihre gepaarten ungelabelten Gegenstücke einzuspeisen. Die Fusion wird durch $w_{old}$ gewichtet, wodurch sichergestellt wird, dass nur hochkonfidente ID-Proben signifikant beeinflusst werden.
Verhaltensausrichtung: Der Rahmen erzwingt Konsistenz zwischen den durch Augmentation induzierten Verhaltensänderungen ( $\Delta$ ) gelabelter Proben und ihren fusionierten ungelabelten Gegenstücken. Dies stellt sicher, dass ungelabelte Proben bekannter Klassen robuste Repräsentationen von gelabelten Daten erben.

2. Kategoriesuche durch relationales Matching

Für die Entdeckung neuer Kategorien geht RPC über schlecht gestellte Clustering-Verfahren hinaus, indem es relationale Konsistenz nutzt.

Relationale Signaturen: Die Methode geht davon aus, dass Proben derselben neuen Kategorie invariante Beziehungen zu Prototypen bekannter Klassen aufweisen. Konkret sollten zwei Proben derselben neuen Klasse ähnliche Distanzen (Ähnlichkeitsmuster) zu allen Prototypen bekannter Klassen haben.
Musterabgleich: Jede Probe wird als Vektor von Ähnlichkeiten zu Prototypen bekannter Klassen ( $r(x)$ ) kodiert. Das Modell minimiert dann die Distanz zwischen diesen relationalen Signaturen für merkmalsähnliche Proben, gewichtet durch ihre Neuheitsscores ( $w_{new}$ ). Dies verwandelt die Entdeckungsaufgabe in ein wohldefiniertes Musterabgleichproblem innerhalb des Referenzrahmens bekannter Klassen.

Das gesamte Trainingsziel kombiniert die Basisverluste (Repräsentation und Klassifikator) mit dem neuen Ausrichtungsverlust ( $L_{align}$ ) und dem Entdeckungsverlust für neue Kategorien ( $L_{new}$ ).

Hauptbeiträge

Die Autoren umreißen drei primäre Beiträge:

Bidirektionale Kopplung: RPC ist das erste GCD-Framework, das gelabelte und ungelabelte Daten explizit durch bidirektionalen Wissenstransfer koppelt und eine weiche ID/OOD-Zerlegung nutzt, um gezielte Interaktionen zu ermöglichen, anstatt disjunkte Lernströme aufrechtzuerhalten.
Neue Mechanismen:
- Einführung einer konfidenz-gewichteten Embedding-Fusion mit Verhaltensausrichtung zur Erhaltung der Semantik bekannter Klassen.
- Entwicklung des Lernens relationaler Konsistenz, das neue Kategorien basierend auf ihren invarianten Beziehungen zu Prototypen bekannter Klassen entdeckt und dabei die Abhängigkeit von unzuverlässigen Pseudo-Labels vermeidet.
State-of-the-Art-Leistung: Umfangreiche Experimente zeigen, dass RPC auf generischen und feinabgestuften Benchmarks überlegene Leistungen erzielt, mit konsistenten Verbesserungen sowohl bei der Genauigkeit bekannter (Old) als auch neuer (New) Klassen.

Experimentelle Ergebnisse

Die Methode wurde auf sechs Benchmarks evaluiert: drei feinabgestufte Datensätze (CUB, Stanford Cars, FGVC-Aircraft) und drei allgemeine Datensätze (CIFAR-10, CIFAR-100, ImageNet-100).

Leistung: RPC erzielte auf den meisten Benchmarks State-of-the-Art-Ergebnisse. Bemerkenswert ist auf dem CUB-Datensatz eine Verbesserung der „All"-Genauigkeit auf 67,1 % (verglichen mit 66,3 % für den vorherigen Bestwert, DebGCD), mit signifikanten Gewinnen bei der „Old"-Genauigkeit (73,2 % vs. 71,8 %) und der „New"-Genauigkeit (64,8 % vs. 63,5 %).
Ablationsstudien: Das Entfernen der Embedding-Fusion oder des Ausrichtungsverlusts ( $L_{align}$ ) führte auf CUB zu einem Rückgang der Genauigkeit bekannter Klassen um etwa 3 %. Das Entfernen des relationalen Entdeckungsverlusts ( $L_{new}$ ) verursachte einen Rückgang der Genauigkeit neuer Klassen um 3,3 %, was die Notwendigkeit beider Komponenten bestätigt.
Effizienz: Die Methode führt einen minimalen rechnerischen Overhead ein und erhöht die Parameteranzahl nur um 1,40 % sowie die FLOPs um 1,82 % im Vergleich zur SimGCD-Basis.
Visualisierung: t-SNE-Visualisierungen zeigen, dass RPC einen strukturierteren latenten Raum mit engerer intra-klassischer Gruppierung und klareren inter-klassischen Grenzen im Vergleich zu Baseline-Methoden erzeugt, wodurch semantische Verstrickungen zwischen benachbarten Kategorien effektiv reduziert werden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RPC das GCD-Paradigma grundlegend von parallelem Lernen (bei dem gelabelte und ungelabelte Daten separat verarbeitet werden) zu gegenseitiger Verstärkung verschiebt. Durch die Nutzung strukturierter Interaktionen zwischen bekannten und neuen Daten ermöglicht der Rahmen, dass gelabelte Daten das Repräsentationslernen ungelabelter bekannter Klassen steuern, während gleichzeitig die kollektiven relationalen Signaturen ungelabelter Daten zur Entdeckung neuer Kategorien genutzt werden. Die Autoren betonen, dass dieser Ansatz die Hypothese validiert, dass gelabelte und ungelabelte Daten durch strukturierte Interaktionen sich gegenseitig verstärken können, was zu robusteren Merkmalsrepräsentationen und einer genaueren Kategoriesuche in Open-World-Szenarien führt.