Rethinking Pretraining for Specialized Design Data: Evidence from the JONES-19 Cultural Design Dataset
Dit artikel toont aan dat voor gespecialiseerde ontwerpdomeinen zoals de JONES-19 culturele dataset, het vanaf nul trainen van convolutionele neurale netwerken met lokale bemonsteringsstrategieën effectief de prestaties van op ImageNet voorgetrainde modellen kan evenaren, wat suggereert dat zorgvuldig samengestelde, kleinere datasets die specifieke ontwerpprincipes vastleggen effectiever kunnen zijn dan het vertrouwen op massale, algemene pretraining.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij dingen moet herkennen. Meestal leren we robots door ze miljoenen foto's van de echte wereld te laten zien—katten, auto's, bomen en koffiekopjes. Dit is alsof je de robot een enorme bibliotheek met algemene kennis geeft, zodat hij "visueel gezond verstand" leert. Hij weet hoe een "stoel" eruitziet in een woonkamer of hoe een "hond" rent in een park. Dit wordt pretraining genoemd, en dit is de standaardmanare om tegenwoordig slimme computer vision-systemen te bouwen. Maar wat gebeurt er als je een robot iets heel specifieeks en vreemds wilt leren, zoals oude decoratieve patronen die niet lijken op objecten uit de echte wereld? Heb je dan nog steeds die gigantische bibliotheek met algemene kennis nodig, of kun je de robot leren door hem simpelweg een paar honderd voorbeelden van het specifieke ding te laten zien waar je om geeft? Deze vraag bevindt zich op het snijvlak van Machine Learning (computers leren leren van data) en Design (de studie van hoe mensen kunst en architectuur creëren). Het is belangrijk omdat als we robots kunnen leren om gespecialiseerde menselijke creaties te begrijpen zonder dat ze miljoenen generieke foto's nodig hebben, we de geheimen van geschiedenis, kunst en cultuur veel sneller en nauwkeuriger kunnen ontsluiten.
Dit artikel, getiteld "Rethinking Pretraining for Specialized Design Data", duikt precies in die vraag met behulp van een kleine, schatkist-achtige dataset genaamd JONES-19. De dataset bevat slechts 1.901 afbeeldingen van ornamentale ontwerpen uit 19 verschillende culturen, afkomstig uit een beroemd boek uit 1857 genaamd The Grammar of Ornament. Dit zijn geen foto's van het echte leven; het zijn ingewikkelde, handgetekende patronen van lijnen, kleuren en geometrische vormen. De onderzoekers wilden zien of een computermodel de "visuele algemene kennis" van miljoenen foto's uit de echte wereld (ImageNet) nodig had om deze abstracte ontwerpen te begrijpen, of dat het net zo goed kon leren door alleen naar de ornamenten zelf te staren, mits ze op de juiste manier werden getoond.
Om dit te testen, zetten de onderzoekers een vriendelijke competitie op tussen twee trainingsstrategieën met gebruik van twee verschillende soorten AI-hersenen (genaamd ResNet-18 en ResNet-50). De eerste strategie was de "Grote Bibliotheek"-aanpak: ze namen een model dat al miljoenen afbeeldingen uit de echte wereld uit het hoofd had geleerd en probeerden de ornamenten aan te leren. De tweede strategie was de "Deep Dive"-aanpak: ze begonnen met een model met een blanco blad dat niets wist en trainden het alleen op de 1.901 ornamenten. Echter, ze voegden een slimme draai toe aan de "Deep Dive"-methode. Omdat er zo weinig plaatjes waren, gebruikten ze een techniek genaamd multi-crop. Stel je voor dat je één foto van een patroon neemt en deze in zeven verschillende stukken snijdt, inzoomt op verschillende delen, en die stukken aan de robot laat zien alsof het zeven verschillende foto's zijn. Dit trucje veranderde hun kleine stapel van 1.901 afbeeldingen effectief in een veel grotere trainingsset van ongeveer 13.300 weergaven.
De resultaten waren verrassend en veranderden de gebruikelijke regels van het spel. Wanneer de onderzoekers het "Grote Bibliotheek"-model met standaardtraining gebruikten, deed het het erg goed en kreeg het ongeveer 77% tot 79% van de ontwerpen goed. Dit bevestigde dat algemene kennis helpt. Maar hier komt de plotwending: wanneer ze het "Deep Dive"-model met de multi-crop-truc gebruikten, haalde het bijna in! Het model dat vanaf nul werd getraind met multi-crop sampling bereikte ongeveer 75% tot 78% nauwkeurigheid, wat heel dicht bij het model dat de voorsprong had van algemene kennis lag. Sterker nog, voor de kleinere AI-hersenen (ResNet-18) was de "Deep Dive"-methode bijna even goed als de "Grote Bibliotheek"-methode.
Het artikel suggereert dat voor zeer gestructureerde, abstracte ontwerpen zoals deze ornamenten, de "lokale" details belangrijker zijn dan de "globale" algemene kennis. Het is alsof de robot niet hoefde te weten hoe een "boom" eruitziet om een "bladpatroon" te begrijpen; hij moest alleen het bladpatroon vanuit elke mogelijke hoek en zoomniveau zien. De auteurs ontdekten dat hoewel de algemene kennis van de grote bibliotheek nog steeds een lichte voorsprong gaf (vooral voor de grotere AI-hersenen, ResNet-50), de winst veel kleiner was dan verwacht. De "Deep Dive"-methode herstelde het grootste deel van het verloren terrein door simpelweg creatiever naar de data te kijken.
Het artikel waarschuwt echter voorzichtig dat dit geen wondermiddel is dat alles oplost. Zelfs met de beste trucjes hadden de modellen nog steeds moeite met bepaalde culturen die zeer weinig voorbeelden hadden of met ontwerpen die erg veel op elkaar leken (zoals stijlen die tussen verschillende landen werden geleend). De onderzoekers maten deze resultaten zorgvuldig door hun experimenten 10 keer uit te voeren om er zeker van te zijn dat de cijfers echt waren en niet toeval. Ze kwamen tot de conclusie dat de "Deep Dive"-benadering suggereert dat we voor gespecialiseerde designvelden misschien niet de jacht moeten maken op enorme, miljarden-afbeeldingen-datasets. In plaats daarvan kunnen we betere resultaten behalen door zorgvuldig gecureerde, hoogwaardige collecties te selecteren en de AI te leren om vanuit elke mogelijke hoek naar deze collecties te kijken. Het artikel concludeert dat voor deze specifieke, door mensen gemaakte patronen, een gefocuste, lokale benadering net zo krachtig kan zijn als een brede, algemene benadering, wat de gedachte uitdaagt dat we robots altijd de volledige fotobibliotheek van de wereld moeten voeren om hen iets over kunst te leren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.