Rethinking Pretraining for Specialized Design Data: Evidence from the JONES-19 Cultural Design Dataset
Diese Arbeit zeigt, dass für spezialisierte Designbereiche wie den JONES-19-Kulturdatensatz das Training von faltungsneuronalen Netzen von Grund auf mit lokalen Sampling-Strategien effektiv die Leistung von auf ImageNet vortrainierten Modellen erreichen kann, was darauf hindeutet, dass sorgfältig kuratierte, kleinere Datensätze, die spezifische Designprinzipien erfassen, effektiver sein können als das Vertrauen auf massive, allgemeingültige Vortrainierungen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Dinge zu erkennen. Normalerweise lehren wir Roboter, indem wir ihnen Millionen von Fotos der realen Welt zeigen – Katzen, Autos, Bäume und Kaffeetassen. Das ist so, als würde man dem Roboter eine riesige Bibliothek mit allgemeinem Wissen geben, damit er einen „visuellen gesunden Menschenverstand“ entwickelt. Er weiß dann, wie ein „Stuhl“ in einem Wohnzimmer aussieht oder wie ein „Hund“ in einem Park rennt. Dies nennt man Pretraining (Vortraining), und es ist der Standardweg, um heute intelligente Computer-Vision-Systeme aufzubzunehmen. Aber was passiert, wenn man einen Roboter etwas sehr Spezifisches und Seltsames lehren möchte, wie etwa antike dekorative Muster, die nicht wie Objekte der realen Welt aussehen? Benötigt man dann immer noch diese riesige Bibliothek mit allgemeinem Wissen, oder kann man den Roboter lehren, indem man ihm einfach nur ein paar hundert Beispiele des spezifischen Dings zeigt, um das es geht? Diese Frage liegt an der Schnittstelle zwischen Maschinellem Lernen (dem Lehren von Computern durch Daten) und Design (der Untersuchung, wie Menschen Kunst und Architektur erschaffen). Es ist wichtig, denn wenn wir Roboter dazu bringen können, spezialisierte menschliche Schöpfungen zu verstehen, ohne Millionen von generischen Fotos zu benötigen, können wir die Geheimnisse von Geschichte, Kunst und Kultur viel schneller und genauer entschlüseln.
Diese Arbeit mit dem Titel „Rethinking Pretraining for Specialized Design Data“ (Überdenken des Vortrainings für spezialisierte Design-Daten) taucht genau in diese Frage ein und nutzt dafür eine winzige, schatzkistenähnliche Datensatz namens JONES-19. Dieser Datensatz enthält nur 1.901 Bilder von Ornamenten aus 19 verschiedenen Kulturen, entnommen aus einem berühmten Buch von 1857 namens The Grammar of Ornament. Dies sind keine Fotos aus dem echten Leben; es sind komplizierte, handgezeichnete Muster aus Linien, Farben und geometrischen Formen. Die Forscher wollten sehen, ob ein Computermodell das „visuelle Verständnis der Welt“ aus Millionen von realen Fotos (ImageNet) benötigt, um diese abstrakten Designs zu verstehen, oder ob es genauso gut lernen kann, indem es nur auf den Ornamenten selbst starrt, vorausgesetzt, man zeigt sie auf die richtige Weise.
Um dies zu testen, ließen die Forscher einen freundschaftlichen Wettbewerb zwischen zwei Trainingsstrategien unter Verwendung zweier verschiedener Arten von KI-Gehirnen (genannt ResNet-18 und ResNet-50) austragen. Die erste Strategie war der „Große Bibliotheks“-Ansatz: Sie nahmen ein Modell, das bereits Millionen von realweltlichen Bildern auswendig gelernt hatte, und versuchten, ihm die Ornamente beizubringen. Die zweite Strategie war der „Deep Dive“-Ansatz (Tieftauchen): Sie begannen mit einem Blanko-Modell, das nichts wusste, und trainierten es nur auf den 1.901 Ornamenten. Sie fügten dem „Deep Dive“-Verfahren jedoch einen cleveren Kniff hinzu. Da es so wenige Bilder gab, verwendeten sie eine Technik namens Multi-Crop. Stellen Sie sich vor, man nimmt ein Bild eines Musters und schneidet es in sieben verschiedene Teile, zoomt in verschiedene Bereiche hinein und zeigt diese Teile dem Roboter, als wären sie sieben verschiedene Bilder. Dieser Trick verwandelte ihren kleinen Stapel von 1.901 Bildern effektiv in einen viel größeren Trainingsdatensatz von etwa 13.300 Ansichten.
Die Ergebnisse waren überraschend und änderten die üblichen Spielregeln. Wenn die Forscher das „Große Bibliotheks“-Modell mit Standardtraining verwendeten, schnitt es sehr gut ab und erkannte etwa 77 % bis 79 % der Designs korrekt. Dies bestätigte, dass allgemeines Wissen hilft. Aber hier kommt die Wendung der Handlung: Als die Forscher das „Deep Dive“-Modell mit dem Multi-Crop-Trick verwendeten, holte es fast auf! Das von Grund auf trainierte Modell mit Multi-Crop-Sampling erreichte etwa 75 % bis 78 % Genauigkeit, was sehr nah an dem Modell liegt, das mit dem Vorsprung durch allgemeines Wissen startete. Tatsächlich war die „Deep Dive“-Methode für das kleinere KI-Gehirn (ResNet-18) fast so gut wie die „Große Bibliotheks“-Methode.
Die Arbeit legt nahe, dass für hochstrukturierte, abstrakte Designs wie diese Ornamente die „lokalen“ Details wichtiger sind als das „globale“ allgemeine Verständnis. Es ist, als ob der Roboter nicht wissen müsste, wie ein „Baum“ aussieht, um ein „Blattmuster“ zu verstehen; er musste lediglich das Blattmuster aus jedem möglichen Winkel und auf jeder Zoomstufe sehen. Die Autoren fanden heraus, dass das allgemeine Wissen aus der großen Bibliothek zwar immer noch einen leichten Vorteil bot (insbesondere beim größeren KI-Gehirn, ResNet-50), der Gewinn aber viel kleiner war als erwartet. Die „Deep Dive“-Methode holte den Großteil des verlorenen Bodens allein dadurch zurück, dass sie die Daten kreativer betrachtete.
Die Arbeit weist jedoch vorsichtig darauf hin, dass dies kein Allheilmittel ist, das alles löst. Selbst mit den besten Tricks hatten die Modelle Schwierigkeiten mit bestimmten Kulturen, die nur sehr wenige Beispiele aufwiesen, oder mit Designs, die sich sehr ähnlich sahen (wie etwa Stile, die zwischen verschiedenen Ländern entlehnt wurden). Die Forscher maßen diese Ergebnisse sorgfältig, indem sie ihre Experimente 10 Mal durchführten, um sicherzustellen, dass die Zahlen echt waren und nicht bloß Glück. Sie fanden heraus, dass der „Deep Dive“-Ansatz darauf hindeutet, dass wir in spezialisierten Designbereichen vielleicht nicht nach massiven Datensätzen mit Milliarden von Bildern streben müssen. Stattdessen könnten wir bessere Ergebnisse erzielen, indem wir kleinere, hochwertige Sammlungen sorgfältig kuratieren und der KI beibringen, sie aus jedem möglichen Winkel zu betrachten. Die Arbeit kommt zu dem Schluss, dass für diese spezifischen, menschengemachten Muster ein fokussiertes, lokales Verständnis genauso leistungsstark sein kann wie ein breites, allgemeines – was die Vorstellung infrage stellt, dass wir Roboter immer mit der gesamten Fotobibliothek der Welt füttern müssen, um sie über Kunst zu lehren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.