🤖 machine learning

Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning

Die Arbeit stellt KnowCoL vor, ein Framework zur offenen visuellen Entitätserkennung, das durch kontrastives Lernen und strukturiertes Wissen aus Wikidata die Genauigkeit bei seltenen und ungesehenen Entitäten signifikant verbessert, selbst mit deutlich kleineren Modellen als der aktuelle Stand der Technik.

Ursprüngliche Autoren: Hongkuan Zhou, Lavdim Halilaj, Sebastian Monka, Stefan Schmid, Yuqicheng Zhu, Jingcheng Wu, Nadeem Nazer, Steffen Staab

Veröffentlicht 2026-03-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongkuan Zhou, Lavdim Halilaj, Sebastian Monka, Stefan Schmid, Yuqicheng Zhu, Jingcheng Wu, Nadeem Nazer, Steffen Staab

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie gehen durch eine riesige, wilde Bibliothek, die nie fertig wird. Auf jedem Regal stehen Millionen von Büchern, und auf jedem Buchcover ist ein Bild. Ihre Aufgabe ist es, zu einem bestimmten Bild zu schauen und sofort zu sagen: „Das ist nicht nur ein Bild von einem Hund, das ist genau der Hund ‚Rex', der im Jahr 1998 in Berlin lebte und der Lieblingshund von Bürgermeister Müller war."

Das ist die Herausforderung, mit der sich die Forscher in diesem Papier beschäftigen. Sie nennen es „Open-Domain Visual Entity Recognition". Auf Deutsch: Das Erkennen von Dingen auf Bildern in einer offenen Welt, wo es keine feste Liste von Antworten gibt.

Hier ist die einfache Erklärung, wie sie das Problem gelöst haben, mit ein paar kreativen Vergleichen:

1. Das Problem: Der „Blinde" und der „Vergessliche"

Bisherige KI-Modelle waren wie ein Schüler, der nur für eine Prüfung gelernt hat. Wenn er auf dem Bild einen Hund sieht, sagt er „Hund". Wenn er einen „Golden Retriever" sieht, sagt er vielleicht „Hund". Aber wenn er einen sehr seltenen Hund sieht, den er nie gelernt hat, oder wenn zwei Dinge ähnlich aussehen (wie der Planet Merkur und das Metall Quecksilber, die beide „Merkur" heißen), wird er verwirrt.

Frühere Methoden versuchten, das Bild in einen Text umzuwandeln (z. B. „Das ist ein Turm") und dann im Internet nach diesem Text zu suchen. Das ist wie wenn Sie versuchen, jemanden am Telefon zu finden, indem Sie nur sagen: „Er trägt eine Brille". Da gibt es Millionen von Leuten mit Brille. Das funktioniert nicht gut.

2. Die Lösung: KnowCoL – Der „Wissens-Coach"

Die Autoren (von Bosch und verschiedenen Universitäten) haben eine neue Methode namens KnowCoL entwickelt. Stellen Sie sich KnowCoL wie einen super-intelligenten Bibliothekar vor, der nicht nur Bilder sieht, sondern auch ein riesiges, strukturiertes Wissensnetzwerk (Wikidata) im Kopf hat.

Statt nur zu schauen „Was sehe ich?", fragt KnowCoL: „Was weiß ich über das, was ich sehe?"

Hier ist, wie der „Trick" funktioniert:

Der gemeinsame Raum: Stellen Sie sich einen großen Tanzsaal vor. Früher tanzten Bilder auf der einen Seite und Texte auf der anderen Seite, und sie verstanden sich nicht. KnowCoL bringt alle – Bilder, Texte und Fakten – auf dieselbe Tanzfläche.
Das Wissensnetzwerk (Wikidata): Das ist wie ein riesiges Adressbuch der Welt. Es sagt nicht nur: „Das ist ein Turm." Es sagt: „Das ist Big Ben. Big Ben ist Teil des Parlaments. Big Ben ist in London. London ist in Großbritannien."
Der Vergleich (Kontrastives Lernen): Das Modell lernt, indem es vergleicht. Es nimmt ein Bild, liest die Beschreibung und schaut ins Adressbuch. Dann fragt es: „Passt dieses Bild zu ‚Big Ben' oder eher zu einem anderen Turm?" Es lernt die feinen Unterschiede, indem es die Verbindungen im Adressbuch nutzt.

3. Warum ist das so genial? (Die Analogie vom Detektiv)

Stellen Sie sich vor, Sie sind ein Detektiv.

Der alte Weg: Sie sehen einen Mann mit einem roten Hut. Sie rufen: „Das ist der Mann mit dem roten Hut!" Aber es gibt 10.000 Männer mit roten Hüten.
Der KnowCoL-Weg: Sie sehen den Mann. Sie schauen in Ihr Notizbuch (das Wissensnetzwerk). Sie merken: „Aha, er steht vor dem Eiffelturm, er trägt eine Uniform der Pariser Polizei und sein Name ist Jean."
- Dank des Wissensnetzwerks kann das Modell den Mann genau identifizieren, auch wenn es ihn noch nie gesehen hat. Es nutzt die Umgebung und die Fakten, um den Namen zu erraten.

4. Das Ergebnis: Schnell und schlau

Das Beste an KnowCoL ist, dass es nicht riesig und schwerfällig sein muss.

Die Forscher haben gezeigt, dass ihr kleinstes Modell (das nur ein Zehntel der Größe der großen KI-Modelle hat) besser ist als die riesigen, teuren Modelle der Konkurrenz.
Es ist wie ein kleiner, aber extrem gut ausgebildeter Detektiv, der seine Umgebung kennt, im Gegensatz zu einem riesigen, aber dicken Riesen, der nur grobe Dinge sieht.
Bei Dingen, die das Modell noch nie gesehen hat (die „unseen entities"), hat es die Trefferquote um 10,5 % gesteigert. Das ist enorm!

Zusammenfassung

Dieses Papier sagt im Grunde: „Um Bilder wirklich zu verstehen, reicht es nicht, nur hinzusehen. Man muss auch wissen, wie die Welt zusammenhängt."

Sie haben eine KI gebaut, die Bilder nicht nur als Pixel betrachtet, sondern sie in ein riesiges Netz aus Fakten und Beziehungen einordnet. So kann sie Dinge erkennen, die sie nie gelernt hat, und Verwechslungen vermeiden. Es ist der Unterschied zwischen einem Menschen, der nur ein Foto sieht, und einem Experten, der das Foto sieht und sofort weiß: „Das ist nicht irgendein Turm, das ist genau dieser eine Turm in London."

1. Problemstellung

Das Paper adressiert die Herausforderung der Open-Domain Visual Entity Recognition (OVEN). Im Gegensatz zu herkömmlichen Klassifizierungsaufgaben mit festen Label-Sets muss OVEN Bilder und begleitende Textabfragen (Queries) mit einer riesigen, sich ständig erweiternden Menge realer Welt-Entitäten (z. B. aus Wikidata) verknüpfen.

Die Hauptprobleme sind:

Open-Set-Bedingungen: Die meisten Ziel-Entitäten sind während des Trainings nicht sichtbar (Zero-Shot-Szenario).
Long-Tail-Verteilung: Die Label-Space umfasst Millionen von Entitäten, wobei viele extrem selten sind.
Semantische Mehrdeutigkeit: Visuelle Ähnlichkeit reicht oft nicht aus, um Entitäten zu unterscheiden (z. B. „Mercury" als Planet vs. Metall).
Limitationen bestehender Ansätze:
- Dual-Encoder-Modelle (wie CLIP) behandeln Entitäten oft als isolierte Labels und ignorieren strukturelles Wissen.
- Generative Zwei-Schritt-Ansätze (z. B. Bild $\to$ Text-Label $\to$ Suche) führen zu Informationsverlust und semantischer Mehrdeutigkeit, da komplexe visuelle Inhalte auf einfache Textlabels reduziert werden.

2. Methodik: KnowCoL (Knowledge-guided Contrastive Learning)

Die Autoren schlagen KnowCoL vor, ein Framework, das visuelle, textuelle und strukturierte Wissensdaten aus einem Knowledge Graph (Wikidata) in einen gemeinsamen semantischen Raum integriert.

Kernkomponenten:

Dual-Encoder-Architektur:
- Input-Encoder: Ein CLIP-basierter Encoder verarbeitet das Eingabebild ( $x_p$ ) und die Textabfrage ( $x_t$ ). Diese werden durch einen Fuser-Modul (standardmäßig eine Addition) zu einem gemeinsamen Eingabe-Embedding ( $z_{input}$ ) fusioniert.
- Entity-Encoder: Für jede Kandidaten-Entität werden deren Wikipedia-Beschreibung ( $t_e$ ) und Lead-Bilder ( $I_e$ ) ebenfalls durch die CLIP-Encoder verarbeitet.
- Knowledge Graph Embeddings (KGE): Ein separates Modul kodiert die strukturellen Beziehungen der Entitäten aus Wikidata (z. B. „ist ein", „Teil von", „Unterklass von").
Lernziele (Loss Functions):
Das Training basiert auf drei kontrastiven Verlustfunktionen, die einen gemeinsamen latenten Raum schaffen:
1. Alignment Loss ( $L_a$ ): Bringt die Eingabe-Embeddings ( $z_{input}$ ) und die Embeddings der korrekten Ziel-Entitäten ( $\phi(e_i)$ ) näher zusammen und drückt falsche Paare auseinander.
2. Proxy Loss ( $L_p$ ): Sichert die Konsistenz zwischen den Node-Embeddings der Entitäten und deren multi-modalen Repräsentationen (Text + Bild). Die Node-Embeddings dienen als „Proxies" für die semantische Information.
3. Knowledge Graph Loss ( $L_{KE}$ ): Nutzt die Triplets des Knowledge Graphs (Head, Relation, Tail), um die strukturellen Beziehungen zwischen Entitäten im Embedding-Raum abzubilden. Hier wird eine translationsbasierte Methode (ähnlich TransE) mit Kosinus-Ähnlichkeit verwendet.
Inferenz:
Die gesuchte Entität wird durch Maximierung der Ähnlichkeit zwischen dem Eingabe-Embedding und dem gemittelten Embedding der Text- und Bildrepräsentation der Kandidaten-Entitäten bestimmt.

3. Wichtige Beiträge

Neuer Ansatz für Open-Domain Recognition: Einführung eines Dual-Encoder-Modells, das externe Wissensquellen (Wikidata und Wikipedia) nutzt, um Bilder und Texte besser zu repräsentieren, ohne auf generative Zwei-Schritt-Verfahren angewiesen zu sein.
Analyse von Wissensarten: Untersuchung des Einflusses verschiedener Wissensformen (Lead-Bilder, hierarchische Relationen wie „Instance of" oder „Subclass of") auf die Erkennungsleistung.
Starke Zero-Shot-Generalisierung: Demonstration, dass die Integration von strukturiertem Wissen die Genauigkeit für ungesehene Entitäten signifikant steigert, selbst bei deutlich kleineren Modellen.

4. Ergebnisse

Die Evaluation erfolgte auf dem OVEN-Benchmark, der 14 Bilddatensätze mit Wikidata-IDs als Label-Space kombiniert.

Leistung: Das Modell KnowCoL-bigG erreicht einen harmonischen Mittelwert (HM) von 38,8 % (36,1 % bei ungesehenen Entitäten).
Vergleich mit State-of-the-Art:
- KnowCoL-bigG übertrifft große generative Modelle wie Auto-VER-14B (28,9 % HM) und PaLI-17B (16,0 % HM), obwohl es 7-mal weniger Parameter hat.
- Im Vergleich zu reinen CLIP-basierten Ansätzen (z. B. CLIP2CLIP mit 11,4 % HM) zeigt KnowCoL-L (gleiche Backbone-Größe) eine 2,8-fache Verbesserung (31,5 % HM).
Effizienz: Das kleinste Modell (KnowCoL-L) verbessert die Genauigkeit bei ungesehenen Entitäten um 10,5 % gegenüber dem State-of-the-Art, ist dabei aber 35-mal kleiner als einige der generativen Baselines.
Ablationsstudien:
- Der Wegfall von Lead-Bildern oder hierarchischem KG-Wissen führt zu einem deutlichen Leistungsabfall, besonders bei ungesehenen Entitäten.
- Einfache Fusionsmethoden (Addition) generalisieren besser als komplexe Transformer-basierte Fusionen, die zu Overfitting auf bekannte Entitäten neigen.
- Die Wahl von TransE mit Kosinus-Ähnlichkeit als KGE-Methode erwies sich als optimal.

5. Bedeutung und Ausblick

Das Paper zeigt, dass die Integration von strukturiertem Weltwissen (Knowledge Graphs) entscheidend ist, um die Lücke zwischen visueller Wahrnehmung und semantischem Verständnis in offenen Domänen zu schließen.

Paradigmenwechsel: Statt reiner Text-Matching-Verfahren (die bei Mehrdeutigkeiten versagen) ermöglicht KnowCoL ein kontextuelles Reasoning durch die Nutzung von Entitätsbeziehungen.
Skalierbarkeit: Der Ansatz ist effizienter als generative Methoden und eignet sich besser für Anwendungen, die Echtzeit-Verarbeitung und hohe Genauigkeit bei seltenen Entitäten erfordern.
Zukunft: Die Autoren planen die Erforschung nicht-euklidischer Räume (z. B. hyperbolische Räume), um die hierarchische Struktur von Knowledge Graphs noch besser abzubilden.

Zusammenfassend stellt KnowCoL einen robusten, skalierbaren und effizienten Ansatz dar, der durch die Kombination von Contrastive Learning und Knowledge Graphs die Grenzen der visuellen Entitätserkennung in der realen Welt erweitert.