Learning visual representations for compositional analysis of artworks and photographs
Dit artikel vergelijkt een mens-geïnspireerde, interpreteerbare benadering gebaseerd op perceptuele groepering met gefinetunede fundamentele modellen voor compositionele analyse, waarbij wordt geconstateerd dat hoewel dat laatste superieure prestaties levert bij voldoende data, het eerste competitieve resultaten biedt met een betere interpreteerbaarheid en generalisatie wanneer encoders bevroren zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een schilderij of een foto kijkt. Je brein ziet niet alleen een platte wand van kleuren; het organiseert de scène onmiddellijk tot een verhaal. Het groepeert dingen, merkt op hoe een persoon ten opzichte van een boom staat, en voelt een gevoel van balans of spanning. Dit "verhalende" deel van het zicht wordt compositie genoemd. Het is het geheime ingrediënt dat een afbeelding mooi, dramatisch of gewoon precies goed laat aanvoelen. Lange tijd waren computers erg slecht in het begrijpen hiervan. Ze zijn geweldig in het herkennen van wat er in een plaatje zit (een hond, een auto, een zonsondergang), maar ze worstelen met het begrijpen van hoe die dingen zijn gerangschikt om betekenis te creëren. Dit artikel duikt in die kloof en stelt een grote vraag: moeten we om een computer te leren "zien" als een kunstenaar een brein te bouwen dat denkt als een mens, of kunnen we simpelweg een superintelligente computer genoeg voorbeelden voeren totdat hij het zelf uitzoekt?
De onderzoekers, Fatemeh Behrad, Tinne Tuytelaars en Johan Wagemans van de KU Leuven in België, zetten zich af tegen twee zeer verschillende manieren om computers iets over compositie te leren. Denk eraan als het leren van een student om een puzzel op te lossen.
De Twee Benaderingen
De eerste benadering is de "Menselijke Methode". In plaats van naar de hele afbeelding te kijken als een wazige bende pixels, probeert deze methode de afbeelding onder te verdelen in duidelijke, betekenisvolle brokken—zoals het scheiden van de lucht, de berg en de persoon in een foto. Het gebruikt een speciale techniek genaamd Object-Centric Learning om deze brokken automatisch te vinden, een beetje zoals een slimme sorteerder die zegt: "Deze vlek is een persoon, die vlek is een boot." Vervolgens gebruikt het een Graph Attention Network om onzichtbare lijnen tussen deze brokken te trekken en te analyseren hoe ze zich tot elkaar verhouden. Het is als een detective die een plaats delict onderzoekt en noteert dat het pistool nabij het slachtoffer ligt en het raam boven de tafel zit. Deze methode is ontworpen om transparant te zijn; we kunnen precies zien naar welke delen van de afbeelding de computer kijkt en hoe hij ze met elkaar verbindt.
De tweede benadering is de "Big Data"-methode. Deze maakt gebruik van enorme, vooraf getrainde AI-modellen (genaamd foundation models) die al miljoenen afbeeldingen hebben gezien. De onderzoekers "fine-tunen" deze reuzen simpelweg op een specifieke dataset van foto's en schilderijen, in de hoop dat de computer met genoeg oefening de regels van compositie zelfstandig zal leren. Dit is als het in een bibliotheek gooien van een student met elk boek over kunstgeschiedenis en tegen hen zeggen: "zoek het zelf maar uit." Het is krachtig, maar het is ook een "black box"—we weten niet echt hoe de computer zijn beslissingen neemt, en het kan zijn dat hij vertrouwt op het herkennen van de objecten in de foto in plaats van het begrijpen van de rangschikking.
Wat Ze Vonden
Het team testte beide methoden op twee grote uitdagingen: het voorspellen van de "stijl" van een foto (zoals "gecentreerd" of "diagonaal") en het geven van een score aan hoe goed een afbeelding gecomponeerd is. Ze controleerden ook of de computers de belangrijkste delen van een afbeelding konden vinden (saliency) en of ze vergelijkbare afbeeldingen konden vinden op basis van hun lay-out.
Hier komt de wending: het hangt ervan af hoeveel data je hebt.
Toen de onderzoekers de grote AI-modellen bevroren (niet lieten leren van nieuwe dingen) en alleen de "Menselijke Methode" gebruikten, deed deze verrassend goed. Het was in staat om objecten te groeperen en hun relaties te begrijpen, en versloeg vaak de bevroren grote modellen. Het beste eraan? Het was gemakkelijk te begrijpen waarom het een beslissing nam. Je kon letterlijk de "graaf" van verbindingen zien die het bouwde.
Echter, wanneer ze genoeg data hadden om de grote foundation models volledig te "fine-tunen", namen die reuzen de leiding. Ze werden aanzienlijk beter in het voorspellen van scores en categorieën. Maar er was een addertje onder het gras. De grote modellen waren minder interpreteerbaar (moeilijker te begrijpen) en hadden meer moeite met het overschakelen tussen verschillende soorten afbeeldingen, zoals van foto's naar schilderijen. Ze leken sterk te vertrouwen op het herkennen van de objecten (bijv. "dit is een kat") in plaats van de rangschikking (bijv. "de kat zit in een driehoeksvorm").
Het Eindoordeel
Het artikel suggereert dat als je een enorme hoeveelheid gelabelde data hebt en gewoon de best mogelijke score wilt, de "Big Data"-benadering wint. Maar als je een systeem nodig hebt dat efficiënt is, werkt over verschillende soorten kunst (van foto's tot schilderijen) en daadwerkelijk uitlegt waarom het vindt dat een afbeelding goed gecomponeerd is, dan is de "Menselijke Methode" de winnaar.
Interessant genoeg vonden de onderzoekers dat de "Menselijke Methode" uitstekend was in het opsporen van de belangrijkste delen van een afbeelding. Door naar de verbindingen in de graaf te kijken, kon het zeggen: "Deze persoon is het belangrijkste deel omdat deze met alles verbonden is," wat goed overeenkwam met waar menselijke ogen daadwerkelijk naar kijken. De grote modellen, hoewel krachtig, waren in dit opzicht wat minder transparant.
Uiteindelijk verklaart het artikel niet één kant als de absolute winnaar. In plaats daarvan laat het zien dat hoewel grote AI-modellen ongelooflijk krachtig zijn wanneer ze met voldoende data worden gevoed, er nog steeds een unieke waarde is in het bouwen van systemen die nabootsen hoe mensen van nature visuele elementen groeperen en met elkaar in verband brengen. Het is een herinnering dat je soms, om de kunst te begrijpen, de manier van kijken van de kunstenaar moet begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.