Art2Mus: Artwork-to-Music Generation via Visual Conditioning and Large-Scale Cross-Modal Alignment

Deze paper introduceert ArtToMus, een nieuw raamwerk dat direct muziek genereert op basis van kunstwerken zonder tussenkomst van tekst, ondersteund door de grote ArtSound-dataset van 105.884 kunst-muziekparen.

De kern

Art2Mus: Hoe een schilderij direct een symfonie wordt (zonder tussenkomst van woorden)

Stel je voor dat je naar een prachtig schilderij kijkt. Je ziet de kleuren, de penseelstreken en de sfeer. Je voelt een bepaalde emotie: misschien is het een rustig landschap dat klinkt als een zacht pianoconcert, of een chaotisch abstract werk dat klinkt als een stormachtige jazzband.

Tot nu toe hadden computers een probleem: ze konden dit niet goed begrijpen. Ze waren als een vertaler die eerst een schilderij moet beschrijven in woorden, en pas daarna die woorden omzet in muziek. Maar dat is als proberen een schilderij te maken door alleen te lezen over de verf. Je mist de geur van de verf, de ruwheid van het doek en de subtiele nuances.

De onderzoekers van dit paper (Art2Mus) hebben een slimme oplossing bedacht. Laten we het uitleggen met een paar creatieve metaforen.

1. Het oude probleem: De "Vertaler" die te veel weggooit

Vroeger deden computers het zo:

1. Kijken: De computer kijkt naar een schilderij.
2. Vertalen: Een slimme taalcomputer (een AI) beschrijft het schilderij in een zinnetje: "Dit is een donker, melancholisch landschap met veel blauw."
3. Maken: Een muziekcomputer leest die zin en maakt muziek die bij die woorden past.

Het probleem: De computer heeft nu alleen de woorden gehoord, niet het schilderij zelf. Als twee heel verschillende schilderijen dezelfde beschrijving krijgen (bijvoorbeeld "een bos"), klinken de muziekstukken ook hetzelfde. De unieke "ziel" van het schilderij gaat verloren in de vertaling. Het is alsof je een boek probeert te schrijven door alleen de samenvatting te lezen; je mist de details.

2. De nieuwe oplossing: Art2Mus (De "Directe Telepathie")

Art2Mus doet het anders. Het slaat de tussenstap met de woorden volledig over.

• De brug: Stel je voor dat de computer een speciale brug bouwt die rechtstreeks van het oog (het beeld) naar het oor (de muziek) loopt.
• De techniek: Ze gebruiken een enorm groot "trainingsboek" genaamd ArtSound. Dit is een bibliotheek met bijna 106.000 paren van een schilderij en een muziekstuk die goed bij elkaar passen.
• De leerling: De computer (het model) leert niet om te vertalen, maar om te voelen. Het kijkt naar de kleuren en vormen van een schilderij en leert direct: "Ah, deze rode vlekken en scherpe lijnen horen bij een snelle, energieke drumbeat."

Het is alsof je een chef-kok bent die proeft aan een gerecht en direct weet welke kruiden erin zitten, zonder dat iemand je eerst een recept voorleest.

3. De grote database: ArtSound

Om dit te leren, hadden ze veel voorbeelden nodig. Ze hebben twee enorme verzamelingen samengevoegd:

• Kunst: Duizenden digitale schilderijen uit musea (van oude meesters tot moderne kunst).
• Muziek: Duizenden muziekstukken.

Ze hebben deze twee verzamelingen niet zomaar gemengd. Ze hebben slimme algoritmes gebruikt om te kijken welke muziek het beste bij welk schilderij past, gebaseerd op de "sfeer" en niet op wat er op het schilderij staat geschreven. Het resultaat is ArtSound, een gigantische database die als een soort "woordenboek" dient, maar dan zonder woorden: alleen beelden en geluiden die bij elkaar horen.

4. Hoe werkt het in de praktijk?

Het systeem heet Art2Mus.

1. Je uploadt een foto van een schilderij.
2. Het systeem pakt de "essentie" van dat beeld (de kleuren, de vorm, de emotie) en stopt die direct in de muziek-machine.
3. De machine maakt direct muziek die bij dat beeld past, zonder dat er ook maar één woord is gebruikt om het schilderij te beschrijven.

Waarom is dit belangrijk?

• Meer creativiteit: Omdat de computer niet beperkt wordt door woorden, kan het muziek maken die bij de onuitsprekelijke gevoelens van een schilderij past.
• Kwaliteit: De muziek klinkt vaak beter en meer "op maat" gemaakt dan wanneer je eerst een beschrijving moet schrijven.
• Toekomst: Dit opent de deur voor nieuwe vormen van kunst. Denk aan een museumbezoek waar elke schilderij een unieke, live gegenereerde soundtrack heeft die perfect bij het werk past, of een app die je eigen foto's omzet in persoonlijke muziekstukken.

Kort samengevat:
Art2Mus is als een kunstenaar die niet eerst een beschrijving schrijft van een schilderij voordat hij muziek maakt, maar die direct naar het schilderij kijkt en de muziek in zijn hoofd "hoort". Het is een directe verbinding tussen oog en oor, waarbij de computer leert de taal van de kunst te spreken zonder woorden te gebruiken.

Technische samenvatting

Probleemstelling

Bestaande systemen voor muziekgeneratie op basis van afbeeldingen kampen met twee fundamentele beperkingen:

1. Beperkte trainingsdata: De meeste modellen zijn getraind op natuurlijke foto's, wat hun vermogen beperkt om de rijke semantische, stijl- en culturele inhoud van kunstwerken (zoals schilderijen) te vangen.
2. Tussenliggende tekstlaag: Bestaande pipelines gebruiken vaak een "image-to-text" conversiestap. Hierbij wordt de afbeelding eerst omgezet naar een tekstbeschrijving, die vervolgens als input dient voor een tekst-naar-muziek model. Dit creëert een semantische bottleneck: subtiele visuele nuances, texturen en stijlkenmerken die moeilijk in woorden te vatten zijn, gaan verloren. Dit belemmert het leren van directe relaties tussen visuele structuren en muzikale patronen.

Het doel van dit onderzoek is om een systeem te ontwikkelen dat direct muziek genereert op basis van gedigitaliseerde kunstwerken, zonder tussenkomst van taal of tekstuele beschrijvingen.

Methodologie

De auteurs introduceren een tweeledige aanpak: het creëren van een nieuw dataset en het ontwikkelen van een nieuw generatief raamwerk.

1. De ArtSound Dataset

Om het gebrek aan data te verhelpen, hebben de auteurs ArtSound ontwikkeld, een groot multimodaal dataset met 105.884 paren van kunstwerken en muziekstukken.

• Bronnen: Kunstwerken zijn afkomstig van ArtGraph (gebaseerd op WikiArt/DBpedia) en muziek van de Free Music Archive (FMA).
• Captioning: Het dataset is verrijkt met dubbelmodale bijschriften (voor zowel afbeelding als audio) gegenereerd door Large Multimodal Models (zoals LLaVA en Qwen3).
• Kwaliteitscontrole: Er zijn nieuwe metrics ontwikkeld om de kwaliteit van de bijschriften te valideren:
  • ICScore: Een gewogen combinatie van CLIP-Score en PAC-Score voor afbeeldingstext.
  • ACScore: Een combinatie van ROUGE-1 en BERT-Score voor audio-tekst.
• Koppeling: Paren zijn gemaakt op basis van cosine-sequentie tussen embeddings van afbeeldingen en audio, gebruikmakend van het ImageBind-model, dat een gedeelde ruimte creëert voor verschillende modaliteiten.

2. Het Art2Mus Framework

Art2Mus is het eerste framework dat expliciet is ontworpen voor directe kunst-naar-muziek generatie. Het is gebaseerd op de latent diffusion architectuur van AudioLDM 2, maar fundamenteel herschikt om visuele conditioning te ondersteunen zonder tekst.

• Architectuur:
  • Visual Conditioning Extractor: Haalt embeddings uit een kunstwerk (via CLIP of ImageBind).
  • Image Aligner: Een module die deze visuele embeddings projecteert naar de "Language of Audio" (LoA) ruimte van GPT-2. Dit is cruciaal omdat de diffusion-model achtergrond (AudioLDM 2) oorspronkelijk is getraind op tekst-tokens. De Image Aligner vertaalt visuele informatie naar een formaat dat de diffusion-model kan begrijpen als conditionering.
  • Generatieproces: Het model gebruikt een Latent Diffusion Model (UNet) dat start met ruis en deze stap voor stap ontdoet van ruis, geleid door de geprojecteerde visuele embeddings.
• Training: Alleen de parameters van de Image Aligner worden bijgewerkt; de onderliggende AudioLDM 2-componenten (denoiser, VAE, vocoder) blijven bevroren (frozen). Dit zorgt voor een stabiele generatieve prior terwijl het systeem leert visuele patronen te koppelen aan muzikale structuren.

Belangrijkste Bijdragen

1. ArtSound Dataset: Een schaalbaar, multimodaal dataset van 105k kunst-muziek paren, verrijkt met geautomatiseerde bijschriften en validatiemetrics.
2. Directe Visual-to-Audio Conditioning: Het eerste framework dat kunstwerken direct omzet naar muziek zonder tekstuele tussenkomst, waardoor het model leert om complexe, niet-taalgebonden visuele kenmerken direct te vertalen naar geluid.
3. Visuele-to-LoA Interface: Een nieuwe architecturale component die visuele embeddings succesvol mapt naar de latent space van audio-modellen, waardoor bestaande diffusion-modellen kunnen worden hergebruikt voor visuele conditioning.
4. Benchmark: Het stellen van een nieuwe standaard voor cross-modale creatieve generatie, waarbij de moeilijkheid van het verwijderen van taalkundige supervisie wordt erkend en gemeten.

Resultaten

De prestaties van Art2Mus zijn geëvalueerd met objectieve en subjectieve metrics:

• Objectieve Metrics:
  • FAD (Fréchet Audio Distance): Art2Mus (met ImageBind) behaalde een FAD van 13, wat beter is dan de baselines AudioLDM 2 (14) en Mozart's Touch (19), wat wijst op een hogere perceptuele realisme.
  • KL-Divergence: De waarden waren vergelijkbaar met de beste baselines, wat aangeeft dat de verdeling van de gegenereerde muziek dicht bij de grondwaarheid ligt.
  • IBSc (ImageBind Score): Hoewel de scores lager waren dan bij tekst-gestuurde systemen (zoals Mozart's Touch met 0.216 vs. Art2Mus met 0.203), is dit resultaat opmerkelijk gezien de afwezigheid van tekstuele supervisie. Het toont aan dat er een betekenisvolle cross-modale correlatie wordt geleerd.
• Subjectieve Evaluatie:
  • Een evaluatie door 15 deelnemers (muzikanten, kunstenaars en leken) toonde aan dat Art2Mus een goed evenwicht bereikt tussen audio-kwaliteit en semantische uitdrukking.
  • Varianten met ImageBind scoorden iets hoger op audio-kwaliteit, terwijl CLIP-varianten iets beter scoorden op expressiviteit en relevantie.
• Vergelijking: Hoewel tekst-gestuurde systemen over het algemeen hogere alignement-scores halen (vanwege de expliciete semantische supervisie), presteert Art2Mus competitief in een strikt moeilijker setting. Het vermijdt de informatieverlies die optreedt bij het comprimeren van kunst naar tekst.

Betekenis en Impact

Dit werk markeert een belangrijke stap in multimodale AI en creatieve technologie:

• Paradigmaverschuiving: Het beweegt weg van tekst-gemedieerde generatie naar directe visuele conditioning, wat essentieel is voor het behoud van artistieke nuance die taal niet kan vatten.
• Toepassingen: De technologie biedt nieuwe mogelijkheden voor multimediale kunst, het digitaliseren van cultureel erfgoed (bijv. het genereren van muziek bij historische schilderijen) en AI-ondersteunde creatieve praktijken.
• Toekomstgericht: Het bewijst dat het mogelijk is om complexe cross-modale relaties te leren zonder tussenkomst van taal, en opent de deur voor verdere onderzoek naar interactieve, visueel-gestuurde creatieve systemen.

Kortom, Art2Mus demonstreert dat directe vertaling van visuele kunst naar muziek haalbaar is en dat dit een waardevol, zij het uitdagender, onderzoeksgebied is dan de huidige tekst-gestuurde benaderingen.