Modern Computer Vision from CNNs to Foundation Models: A Unified Framework for Representation Learning

Stellen Sie sich vor, Sie versuchen, einem Roboter das Sehen der Welt beizubringen. Lange Zeit war der beste Weg dafür, dem Roboter eine sehr spezifische, starre Menge von Regeln zu geben, wie ein Koch, der einem Rezept Schritt für Schritt folgt. Aber die Welt ist chaotisch, farbenfroh und voller Überraschungen. Vor kurzem haben Wissenschaftler versucht, „Foundation Models“ zu bauen – massive, superintelligente Gehirne, die nicht einfach nur einem Rezept folgen, sondern tatsächlich lernen, wie Dinge aussehen, indem sie Millionen von Bildern studieren, genau wie ein Kind lernt, indem es sich in seiner Umgebung umschaut. Diese Modelle sind mittlerweile so leistungsfähig, dass sie eine Katze in einem Foto nicht nur identifizieren, sondern sie auch beschreiben, eine neue von Grund auf zeichnen oder sogar verstehen können, wie sie klingt. Die große Frage, die sich Forscher stellen, ist: Sind all diese verschiedenen Arten von intelligenten Robotern eigentlich nur unterschiedliche Versionen desselben Dings? Versuchen sie alle, dieselbe Art von internem „Modell“ der Welt aufzubauen, nur mit unterschiedlichen Werkzeugen, um dorthin zu gelangen?

Dieses Papier, geschrieben von einem Team von Forschern, fungiert wie ein großer Reiseführer durch diese sich schnell verändernde Landschaft des Computer Vision. Anstatt verschiedene Arten von KI als separate Stämme zu behandeln, schlagen die Autoren einen „vereinheitlichten Rahmen“ vor. Sie legen nahe, dass es keinen Unterschied macht, ob ein Modell die klassische Methode der Convolutional Layers verwendet (die kleine Bildausschnitte betrachten), moderne „Transformer“ (die das ganze Bild auf einmal betrachten) oder generative Modelle (die neue Bilder erschaffen) – sie alle erledigen im Grunde denselben Job: den Aufbau und die Manipulation einer verborgenen „latenten Repräsentation“ der Welt. Denken Sie an diese Repräsentation als eine geheime, komprimierte Sprache, die die KI nutzt, um die Realität zu verstehen. Das Papier argumentiert, dass die Grenzen zwischen Modellen, die Dinge erkennen, Modellen, die über sie sprechen, und Modellen, die sie zeichnen, verschwimmen. Sie konvergieren alle zu einer einzigen, allgemeineren Intelligenz, die Wahrnehmung, logisches Denken und Kreation gleichzeitig bewältigen kann.

Die Evolution der Augen des Roboters

Um zu verstehen, wo wir stehen, müssen wir uns ansehen, wie sich die „Augen“ des Roboters verändert haben. Über ein Jahrzehnt lang war das dominierende Werkzeug das Convolutional Neural Network (CNN). Man kann sich ein CNN wie einen kleinen, lokalen Detektiv vorstellen. Es besitzt eine kleine Lupe (einen Filter), die es über ein Bild gleiten lässt, um nach einfachen Mustern wie Kanten oder Ecken zu suchen. Es ist sehr gut in dieser lokalen Arbeit und eignet sich hervorragend zum Lernen aus kleinen Datenmengen, da es eingebaute Regeln (induktive Biases) darüber hat, wie die Welt funktioniert, wie zum Beispiel: „Objekte haben normalerweise Teile, die nah beieinander liegen.“ Dieser Detektiv hat jedoch einen blinden Fleck: Er hat Schwierigkeiten, die Verbindung zwischen Dingen herzustellen, die weit voneinander entfernt im Bild liegen. Er sieht vielleicht das Ohr eines Hundes und den Schwanz eines Hundes, erkennt aber nicht, dass sie zu demselben Hund gehören, wenn sie sich auf gegenüberliegenden Seiten des Fotos befinden.

Dann kam der Vision Transformer (ViT). Wenn das CNN ein lokaler Detektiv ist, dann ist der ViT ein globaler Klatschmaul-Gossip. Anstatt eine Lupe gleiten zu lassen, zerlegt der ViT das Bild in kleine Puzzleteile (Patches) und lässt jedes Teil gleichzeitig mit jedem anderen Teil kommunizieren. Dies geschieht durch einen Mechanismus namens „Self-Attention“. Plötzlich kann der Roboter das ganze Bild auf einmal sehen. Er kann sofort das Ohr und den Schwanz miteinander verbinden, egal wie weit sie voneinander entfernt sind. Dies machte die KI unglaublich leistungsfähig, brachte aber einen Preis mit sich: Diese „Klatsch“-Modelle sind hungrig. Sie benötigen massive Mengen an Daten, um zu lernen, da sie nicht über die gleichen eingebauten Regeln wie die CNNs verfügen; sie müssen die Regeln der Welt von Grund auf neu lernen.

Die Große Konvergenz: Das Mischen der Werkzeuge

Das Papier hebt einen faszinierenden Trend hervor: Die beiden Ansätze beginnen zu verschmelzen. Forscher erkannten, dass der lokale Detektiv und der globale Klatsch jeweils Stärken besitzen, die dem anderen fehlen. Also begannen sie, hybride Architekturen zu bauen. Stellen Sie sich ein Team vor, in dem der lokale Detektiv die erste Scannung übernimmt, um Kanten zu finden, und dann der globale Klatsch übernimmt, um die gesamte Szene zu verstehen. Modelle wie CoAtNet und MaxViT machen genau das. Sie nutzen Convolutional Layers, um die lokalen Details effizient zu erfassen, und wechseln dann zu Attention-Mechanismen, um das große Ganze zu verstehen. Das Papier legt nahe, dass dies nicht nur eine zufällige Mischung ist, sondern eine notwendige Evolution, um das Beste aus beiden Welten zu erhalten: die Dateneffizienz von CNNs und die starke Argumentationskraft von Transformern.

Der Aufstieg des „Foundation“-Gehirns

Der nächste große Sprung, der im Papier beschrieben wird, ist der Übergung hin zu Foundation Models. Dies sind die „Supergehirne“ der KI-Welt. Anstatt einen Roboter nur darauf zu trainieren, Katzen zu erkennen, begannen Wissenschaftler, sie mit Milliarden von Bildern ohne Beschriftungen zu trainieren (Self-Supervised Learning). Modelle wie DINO und DINOv2 sind Beispiele hierfür. Sie lernen, die Struktur der Welt zu verstehen, indem sie einfach nur Bilder betrachten. Wenn man ihnen ein Bild einer Katube von vorne und dann von der Seite zeigt, lernen sie, dass dies dasselbe Objekt ist, selbst ohne dass jemand ihnen sagt: „Das ist eine Katze“.

Das Papier erklärt, dass diese Modelle so gut darin werden, visuelle Repräsentationen zu verstehen, dass sie für fast alles verwendet werden können. DINOv3 beispielsweise erstellt so detaillierte Karten eines Bildes, dass man sie verwenden kann, um spezifische Teile eines Objekts zu finden oder ähnliche Objekte über verschiedene Fotos hinweg abzugleichen, ohne dafür ein spezielles Training zu benötigen. Es ist, als hätte der Roboter die „Grammatik“ des Sehens gelernt, sodass er jede beliebige „Dialekt“ (Aufgabe) sprechen kann, die man ihn verlangt.

Sprechen und Zeichnen: Multimodale und generative Modelle

Die Geschichte wird noch spannender, wenn diese visuellen Gehirne anfangen zu sprechen und zu zeichnen. Multimodale Modelle wie CLIP und ImageBind verbinden die visuelle Welt mit der Welt der Wörter und Klänge. CLIP lernt, Bilder mit Textbeschreibungen abzugleichen. Es ist, als würde man dem Roboter beibringen, dass das Bild eines „Sonnenuntergangs“ und die Worte „Sonnenuntergang“ dasselbe bedeuten. ImageBind geht noch weiter und verbindet Bilder mit Audio, Tiefe und sogar Bewegungssensoren, wodurch ein einzener gemeinsamer Raum entsteht, in dem all diese verschiedenen Sinne zusammenleben.

Dann sind da die Generativen Modelle, speziell die Diffusion Models. Das sind die Künstler. Sie erkennen nicht nur ein Bild; sie erschaffen eines. Sie beginnen mit einer Leinwand voller zufälligem Rauschen (Noise) und entfernen Schritt für Schritt das Rauschen, um ein klares Bild zu enthüllen. Das Papier stellt fest, dass diese Modelle nun dieselben „Transformer“-Gehirne verwenden, die auch für die Erkennung genutzt wurden. Diffusion Transformers (DiT) ersetzen die alten konvolutionalen Künstler durch die neuen globalen Klatsch-Gehirne, was die Bildgenerierung schneller und konsistenter macht. Sogar neuere Methoden wie Rectified Flow versuchen, diesen Prozess noch direkter zu gestalten, indem sie die langsame, verrauschte Reise in eine gerade, glatte Linie verwandeln.

Das Große Ganze: Eine vereinheitlichte Sprache

Die Kernerkenntnis dieses Papiers ist, dass all diese verschiedenen Ansätze – CNNs, Transformer, Self-Supervised Learning, multimodale Systeme und generative Kunst – keine separaten Inseln sind. Sie konvergieren alle auf eine einzige, vereinheitlichte Art des visuellen Denkens. Die Autoren argumentieren, dass wir aufhören sollten, sie als verschiedene Werkzeuge zu betrachten, und stattdessen anfangen sollten, sie als verschiedene Wege zu sehen, eine latente Repräsentation aufzubauen und zu nutzen.

Denken Sie an diese latente Repräsentation als eine geheime, komprimierte Sprache, die die KI nutzt, um die Welt zu beschreiben.

• CNNs bauen diese Sprache unter Verwendung lokaler Regeln auf.
• Transformer bauen sie auf, indem sie alles mit allem kommunizieren lassen.
• Foundation Models lernen diese Sprache, indem sie die gesamte Bibliothek des Internets lesen.
• Generative Modelle nutzen diese Sprache, um neue Geschichten zu schreiben (Bilder zu erschaffen).

Das Papier legt nahe, dass die Zukunft des Computer Vision nicht darin besteht, einen Gewinner zu wählen. Stattdessen geht es darum, eine allgemeine visuelle Intelligenz (General-Purpose Visual Intelligence) zu bauen. Diese zukünftigen Systeme werden in der Lage sein, zu sehen, zu verstehen, zu sprechen und zu erschaffen – alles innerhalb desselben Rahmens. Sie werden in der Lage sein, ein Foto anzusehen, zu erklären, was passiert, Fragen dazu zu beantworten und sogar eine neue Version davon zu zeichnen, weil sie alle dasselbe zugrunde liegende „Gehirn“ für das Verständnis der Welt teilen.

Der Weg nach vorn: Herausforderungen und Träume

Obwohl das Papier optimistisch über diese Konvergenz ist, weist es auch darauf hin, dass wir noch nicht am Ziel sind. Es gibt noch einige große Hürden.

• Effizienz: Diese massiven Modelle sind hungrig nach Rechenleistung. Sie auf kleinen Geräten (wie Telefonen oder Robotern) laufen zu lassen, ist nach wie vor eine Herausforderung.
• Vertrauen und Sicherheit: Da diese Modelle so komplex sind, ist es schwer zu wissen, warum sie bestimmte Entscheidungen treffen. Wenn eine medizinische KI sagt, dass ein Patient eine Krankheit hat, müssen wir wissen, ob sie recht hat oder ob sie nur rät. Das Papier betont die Notwendigkeit eines „vertrauenswürdigen Einsatzes“, was bedeutet, dass Modelle zuverlässig sein und sich selbst erklären können müssen.
• Daten: Diese Modelle benötigen riesige Mengen an qualitativ hochwertigen Daten. Genug gute Daten zu finden, ohne alles aus dem Internet zu kopieren, ist ein wachsendes Problem.

Zusammenfassend lässt sich sagen, dass dieses Papier ein Bild eines Feldes zeichnet, das reif wird. Wir bewegen uns weg vom Bau spezialisierter Roboter für einzelne Aufgaben (wie das bloße Zählen von Autos) hin zum Bau universeller visueller Assistenten, die lernen, schlussfolgern und erschaffen können. Die Werkzeuge ändern sich, aber das Ziel wird klarer: Maschinen zu erschaffen, die die Welt nicht nur als eine Sammlung von Pixeln sehen, sondern als eine reiche, vernetzte Realität, die sie verstehen und mit der sie interagieren können.