DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

Stellen Sie sich eine Welt vor, in der ein Computer ein Bild eines roten Apfels und ein Bild eines grünen Apfels betrachten kann, lernt, was „rot“ und „grün“ bedeuten, und dann augenblicklich einen „grünen Apfel“ erkennt, den er noch nie gesehen hat, selbst wenn er nur auf rote Äpfel trainiert wurde. Dies ist die Herausforderung des kompositorischen Zero-Shot-Learnings, eines spezifischen Zweigs der künstlichen Intelligenz, der fragt, wie Maschinen verstehen können, wie einfache Konzepte zu neuen, komplexen Ideen kombiniert werden. Seit Jahrzehnten versuchen Forscher, Computern diese Fähigkeit beizubringen, indem sie ihnen tausende Beispiele zeigen, aber die Maschinen haben oft Schwierigkeiten, wenn sie gebeten werden, diese Ideen auf eine Weise zu mischen und zu kombinieren, die sie nicht geübt haben. Sie erkennen vielleicht das Objekt, wie eine Banane, und den Zustand, wie „reif“, scheitern aber daran zu verstehen, dass eine „reife Banane“ eine spezifische visuelle Realität ist, die sich von einem bloßen „reifen“ Ding oder einer „Banane“ im Allgemeinen unterscheidet. Die Kernschwierigkeit liegt darin, der Maschine beizubringen, die Beziehung zwischen den Teilen zu sehen, nicht nur die Teile selbst.

Ein Forschungsteam an der Hong Kong University of Science and Technology hat einen neuen Weg gefunden, um diesen Maschinen zu helfen, diese Fähigkeit zu erlernen – nicht indem man ihnen mehr Beispiele beibringt, sondern indem man sich eine andere Art von Intelligenz ausleiht. Sie entdeckten, dass Standard-KI-Modelle zwar exzellent darin sind, ein Bild von einem anderen zu unterscheiden, aber manchmal unbeholfen darin sind, zu verstehen, wie Konzepte miteinander verschmelzen. Um dies zu beheben, führte das Team einen „generativen“ Helfer in den Trainingsprozess ein. Betrachten Sie diesen Helfer als ein Modell, das ursprünglich gebaut wurde, um Bilder aus Textbeschreibungen zu erstellen, statt sie nur zu identifizieren. Indem das Team die KI die internen Abläufe dieses bildschaffenden Modells beobachten ließ, während sie lernte, konnten die Forscher den Lernprozess zu einem tieferen Verständnis darüber lenken, wie Attribute und Objekte zusammenpassen.

Das Team unter der Leitung von Hangyu Tian und Kollegen baute ein System, das sie DIFFCZSL nennen. Ihr Ansatz beginnt mit einem leistungsstarken, bereits existierenden KI-Modell namens CLIP, das sehr gut darin ist, Bilder Begriffen zuzuordnen. Das Team stellte jedoch fest, dass CLIP eine „reife Banane“ manchmal nur als eine Banane behandelt, die zufällig in der Nähe des Wortes „reif“ steht, anstatt als ein einheitliches Konzept, bei dem die Reife das Aussehen der Frucht verändert. Um dies zu korrigieren, fügten sie während der Trainingsphase einen zweiten Schritt hinzu. Sie nahmen ein vortrainiertes Bildgenerationsmodell – die Art von Modell, die ein Bild zeichnen kann, wenn man eine Textbeschreibung eingibt – und baten es, dieselben Bilder zu betrachten, die die Haupt-KI gerade studierte. Dieses Generationsmodell hat eine einzigartige Art, die Welt zu sehen; da es lernen muss, ein Bild basierend auf Text von Grund auf neu zu rekonstruieren, achtet es sehr genau darauf, wie spezifische Details, wie etwa die Textur einer Bananenschale oder die Farbe eines Apfels, mit dem Objekt selbst interagieren.

Das Team ersetzte das Haupt-KI-Modell nicht durch dieses Generationsmodell. Stattdessen nutzte es das Generationsmodell als Lehrer. Während die Haupt-KI versuchte zu lernen, gab das Generationsmodell zusätzliche Hinweise über die Struktur des Bildes. Es flüsterte der Haupt-KI im Grunde zu: „Schau, wenn du eine Banane siehst, ist das Konzept ‚reif‘ nicht nur ein separates Etikett; es verändert die visuelle Form und Farbe der Banane.“ Die Forscher extrahierten diese internen Hinweise aus dem Generationsmodell und brachten sie mit dem Verständnis der Haupt-KI in Einklang. Dieser Prozess fand nur statt, während der Computer lernte. Sobald das Training abgeschlossen war, wurde das Generationsmodell entfernt, und die Haupt-KI blieb mit ihrer ursprünglichen Geschwindigkeit und Struktur zurück, besaß nun aber eine viel schärfere Fähigkeit, neue Kombinationen zu erkennen.

Die Ergebnisse dieses Experiments wurden anhand von drei verschiedenen Bildersätzen gemessen, die von Schuhen über Früchte bis hin zu Alltagsgegenständen reichten. In jedem Fall schnitten die KI-Modelle, die diese zusätzliche Anleitung erhielten, besser ab als jene, die dies nicht taten. Auf einem Datensatz von Schuhen namens UT-Zappos sah das Team einen signifikanten Sprung in der Genauigkeit; die Modelle identifizierten ungesehene Kombinationen viel häufiger korrekt. Zum Beispiel war es für die geführten Modelle weita viel weniger wahrscheinlich, verwirrt zu werden, wenn sie nach einer „aufgeschnittenen Apfel“ oder einer „reifen Banane“ in einem neuen Kontext gefragt wurden. Die Verbesserung war konsistent, egal ob das Testen auf bekannte Kategorien beschränkt war oder sich zu einer riesigen Anzahl möglicher Kombinationen öffnete. Die Forscher fanden heraus, dass die Modelle besser darin wurden, ihr Wissen über das, was sie zuvor gesehen hatten, mit ihrer Fähigkeit zu balancieren, das zu erraten, was sie noch nie gesehen hatten – eine entscheidende Fähigkeit für reale Anwendungen, in denen ständig neue Situationen entstehen.

Eines der beeindruckendsten Ergebnisse war, dass diese Verbesserung eintrat, ohne den Computer zu verlangsamen oder schwerfälliger zu machen. Da das Generationsmodell nur als Leitfaden während der Lernphase verwendet und danach verworfen wurde, lief das endgültige System genauso schnell wie das ursprüngliche. Das Team testete auch, ob die spezifische Art des Generationsmodells entscheidend war, und fand heraus, dass neuere, fortschrittlichere Versionen eine bessere Anleitung boten als ältere. Sie verglichen ihre Methode sogar mit anderen Arten leistungsstarker KI-Modelle und stellten fest, dass die einzigartige Fähigkeit des Generationsmodells, wie Konzepte miteinander verschmelzen, der entscheidende Faktor war – und nicht bloß die Tatsache, dass es sich um ein großes, vortrainiertes System handelte. Die Studie legt nahe, dass die Art und Weise, wie diese Generationsmodelle lernen, Bilder aus Text zu erschaffen, eine verborgene Struktur der Welt einfängt, die perfekt dazu geeignet ist, Maschinen beizubringen, wie sie Ideen kombinieren.

Diese Arbeit unterstreicht einen vielversprechenden Weg für die künstliche Intelligenz. Anstatt zu versuchen, ein einziges, massives Modell zu bauen, das alles perfekt beherrscht, zeigten die Forscher, dass die Kombination der Stärken verschiedener Arten von Modellen zu besseren Ergebnissen führen kann. Indem sie ein Modell, das Bilder erstellt, ein Modell lehren ließen, das sie erkennt, überbrückten sie eine Lücke in der Art und Weise, wie Computer die Welt verstehen. Die Erkenntnisse legen nahe, dass die Zukunft der KI in diesen Kollaborationen liegen könnte, in denen generative und diskriminative Modelle zusammenarbeiten, um Systeme zu schaffen, die nicht nur präzise, sondern auch tiefgreifend das Verständnis für die komplexe, zusammengesetzte Natur der Realität besitzen. Der Ansatz bietet einen einfachen, effektiven Weg, Maschinen intelligenter darin zu machen, wie Dinge zusammenpassen, ohne ihnen zusätzliche Last bei ihren täglichen Aufgaben aufzuerlegen.