Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping

Dit paper introduceert Venus, een tweestapsframework dat multimodale grote taalmodellen verbetert voor esthetische begeleiding en het bijsnijden van foto's door gebruik te maken van het nieuwe AesGuide-dataset en CoT-rationales om professionele kwaliteitsverbeteringen mogelijk te maken.

De kern

Stel je voor dat je een prachtige foto maakt met je smartphone, maar iets voelt "niet helemaal goed". Misschien staat het onderwerp te ver naar links, of is de achtergrond te druk. Een professionele fotograaf zou je direct kunnen zeggen: "Houd je camera iets lager, en wacht tot die vogel in het midden vliegt." Maar de meeste kunstmatige intelligenties (AI) die we nu hebben, zijn als een te vriendelijke vriend: ze zeggen alleen maar "Wat een mooie foto!" zonder te vertellen wat er mis is of hoe je het kunt verbeteren.

Dit papier introduceert Venus, een slimme nieuwe AI die precies dat doet: hij is niet alleen een fotograaf, maar ook een creatieve coach.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Te Vriendelijke" AI

Vroeger waren AI's zoals GPT-4o of speciale fotomodeltjes als een complimentenmachine. Als je een slechte foto liet zien, zeiden ze: "De kleuren zijn levendig!" of "Het is een interessante compositie." Ze zagen de fouten niet en gaven geen bruikbaar advies. Ze konden ook niet goed "knippen" (croppen) om de foto te verbeteren, omdat ze niet snapten waarom iets mooi of lelijk is.

2. De Oplossing: De "Fotocoach" (Venus)

De onderzoekers van de Universiteit van Peking hebben een systeem gebouwd dat twee dingen doet, net als een echte fotoleraar:

• Stap 1: De Foto Coachen (tijdens het maken)
  In plaats van alleen te zeggen "mooi", leert Venus je kritisch kijken. Hij kan zeggen: "Je onderwerp staat te veel in de hoek, en die lantaarnpaal in de achtergrond steelt de aandacht. Draai je camera iets naar links en gebruik een grotere opening om de achtergrond wazig te maken."

  • Analogie: Het is alsof je een fotocoach hebt die naast je staat en zegt: "Nee, niet zo! Probeer het van deze kant, dan komt de zonnetje precies achter je hoofd."

• Stap 2: De Foto Redden (na het maken)
  Als je foto al gemaakt is en hij is niet perfect, kan Venus hem knippen en herschikken. Maar hij doet dit niet zomaar. Hij geeft een uitleg (een "reden") waarom hij die knip heeft gekozen.

  • Analogie: Stel je voor dat je een schilderij hebt dat een beetje scheef hangt. Een gewone AI zou het willekeurig bijsnijden. Venus is als een kunstrestaurator die zegt: "Ik snij hier de randen eraf omdat dat de lijn van de horizon recht maakt en de aandacht naar het gezicht van de persoon trekt." Hij legt uit waarom hij dat doet.

3. Hoe hebben ze dit gebouwd? (Het Geheim)

Om Venus zo slim te maken, moesten ze twee dingen doen:

1. Een nieuwe "Leerboeken" verzamelen (AesGuide):
   Ze hebben duizenden foto's verzameld en ze laten beoordelen door echte fotografen. Deze fotografen schreven niet alleen cijfers, maar ook gedetailleerde kritieken: "Wat is er mis?" en "Hoe maak je het beter?". Dit is het eerste keer dat er zo'n groot "leren van fouten"-boekje bestaat voor AI.

   • Vergelijking: Het is alsof ze een school hebben gebouwd waar AI's niet alleen leren wat "mooi" is, maar ook leren kritisch te zijn en oplossingen te bedenken.

2. Twee Trappen van Leren (Het Venus-systeem):

   • Trap 1: De AI leert eerst hoe een mens denkt over fotografie. Hij leert eerst het probleem te zien, dan de analyse te geven, en pas daarna het advies. Dit heet "Aesthetic Guidance".
   • Trap 2: Vervolgens leert de AI om foto's te knippen, maar dan met redenering. Hij moet eerst uitleggen waarom hij een stukje weg wil snijden voordat hij het doet. Dit heet "Chain-of-Thought" (gedachteketen).
   • Vergelijking: Het is alsof je eerst iemand leert rekenen (de theorie van fotografie) voordat je hem laat bouwen (de foto knippen). Als je de theorie niet kent, bouw je een scheve muur.

4. Waarom is dit belangrijk?

Venus is een doorbraak omdat hij de kloof overbrugt tussen "gewone mensen met een telefoon" en "professionele fotografen".

• Interactief: Je kunt tegen Venus zeggen: "Ik vind die boot niet leuk, focus op de bergen." En hij past de foto aan.
• Uitlegbaar: Hij vertelt je niet alleen wat hij doet, maar waarom.
• Resultaat: De foto's worden niet alleen mooier, maar je leert ook zelf beter fotograferen.

Kortom:
Venus is niet zomaar een filter die je foto's kleurrijk maakt. Het is een intelligente fotomentor die je helpt om je foto's te verbeteren, zowel terwijl je ze maakt als erna, en die je altijd een goede reden geeft voor zijn advies. Het maakt fotografie voor iedereen toegankelijker en professioneler.

Technische samenvatting

Probleemstelling

Hoewel fotografie door smartphones overal aanwezig is, bestaat er een groot gat tussen gewone gebruikers en professionele fotografen. Professionals kunnen esthetische problemen (zoals onbalans in compositie of verkeerde belichting) direct identificeren en actiegericht advies geven tijdens het nemen van de foto. Huidige Multimodale Large Language Models (MLLM's) missen deze capaciteit.

• Gebrek aan Kritisch Oordeel: Bestaande MLLM's (zoals GPT-4o of gespecialiseerde esthetische modellen) geven vaak te positieve, vleiende feedback ("flattery") en falen in het identificeren van echte fouten.
• Gebrek aan Actiegericht Advies: Ze kunnen geen concreet advies geven over hoe een foto opnieuw genomen moet worden (bijv. "verander het perspectief" of "pas de belichting aan").
• Beperkte Cropping: Zonder dit esthetische inzicht kunnen ze ook geen effectieve "aesthetic cropping" (het bijsnijden van een foto na het nemen) uitvoeren. Bestaande modellen voor cropping zijn vaak klein, gebrek aan interpretatievermogen en kunnen niet reageren op gebruikersvoorkeuren.

Er is een dringende behoefte aan Aesthetic Guidance (AG): het vermogen om subjectieve esthetische inzichten om te zetten in objectieve, uitvoerbare aanpassingen.

Methodologie

De auteurs introduceren Venus, een tweestapsframework dat MLLM's eerst leert om esthetische begeleiding te geven en vervolgens hun vermogen tot het bijsnijden van foto's activeert.

1. Nieuwe Dataset en Benchmark: AesGuide

Om het gebrek aan data op te lossen, hebben de auteurs AesGuide ontwikkeld, de eerste dataset specifiek voor Aesthetic Guidance.

• Omvang: 10.748 real-world foto's.
• Annotatie: Elke foto is voorzien van een esthetische score, een analyse en concreet begeleidingsadvies (issue identification + shooting guidance).
• Data Generatie: Een "Aesthetic Guidance Generation Framework" (AGGF) werd gebruikt. Dit combineert MLLM's (GPT-4o, Qwen2.5-VL) voor het samenvatten van ruwe comments met een tweede fase van expert annotatie door 20 professionele fotografen en experts om de kwaliteit en nauwkeurigheid te garanderen.
• Benchmarks: De dataset bevat drie evaluatiemetrics: Volledigheid, Precisie en Relevantie, beoordeeld door zowel een GPT-assistent als menselijke experts.

2. Het Venus Framework

Venus bestaat uit twee fasen:

• Fase 1: Opbouwen van Aesthetic Guidance Capabilities (AG)

  • Open-source MLLM's worden gesuperviseerd gefinetuned op de AesGuide dataset.
  • Progressieve Vragen: Het model wordt getraind om eerst een algemene indruk te geven, daarna een gedetailleerde analyse te maken en tot slot actiegericht advies te geven. Dit bootst het menselijke redeneringsproces na.
  • Het doel is om het model te leren niet alleen te beschrijven, maar ook oorzaken van visuele problemen te identificeren en oplossingen voor te stellen.

• Fase 2: Activeren van Aesthetic Cropping Vermogen

  • Het in Fase 1 getrainde model wordt verder getraind om foto's te bijsnijden.
  • Chain-of-Thought (CoT) Rationales: In tegenstelling tot eerdere methoden die alleen coördinaten voorspellen, leert Venus om esthetische rationales (verklaringen) te genereren voor elke crop.
  • Data Generatie: Het systeem genereert zowel "goede" crops als "slechte" crops (willekeurig gegenereerd) en laat een MLLM (GPT-4o) uitleggen waarom de ene beter is dan de andere. Deze uitleggen worden gevalideerd door een ander model.
  • Het model leert zo de ruimtelijke beslissingen te koppelen aan esthetische logica, waardoor het resultaat interpreteerbaar en interactief wordt.

Kernbijdragen

1. Definitie van Aesthetic Guidance (AG): Het formeel definiëren van een nieuw domein dat subjectieve esthetiek koppelt aan objectieve, uitvoerbare aanpassingen.
2. AesGuide Benchmark: De eerste grote dataset en benchmark voor AG, met 10.748 foto's, expert-annotaties en drie nieuwe evaluatiemetrics.
3. Venus Framework: Een tweestapsarchitectuur die MLLM's eerst esthetisch inzicht geeft en vervolgens dit inzicht gebruikt om interpreteerbare en interactieve cropping uit te voeren via CoT.
4. State-of-the-Art (SOTA) Prestaties: Demonstration dat dit framework zowel in het geven van advies als in het bijsnijden van foto's de beste resultaten behaalt.

Resultaten

• Aesthetic Guidance (AG): Op de AesGuide benchmark presteren de Venus-modellen (gebaseerd op verschillende basismodellen zoals Qwen, InternVL, LLaVA) significant beter dan proprietary modellen (GPT-4o, Gemini) en bestaande esthetische modellen. Ze scoren hoger op het identificeren van problemen en het geven van relevant advies.
• Aesthetic Cropping: Op de FLMS benchmark (een standaard voor cropping) behaalt Venus-Q een IoU (Intersection over Union) van 87,01%, wat een verbetering is van +1,50% ten opzichte van de vorige SOTA en +15,4% ten opzichte van GPT-4o.
• Interpretatie en Interactie: In tegenstelling tot "black box" cropping-modellen, kan Venus-Q uitleggen waarom een crop beter is en reageren op gebruikersfeedback (bijv. "ik wil de boten niet, focus op de bergen").
• Ablatie Studies: De studies bevestigen dat zowel de progressieve vragen in Fase 1 als de CoT-rationales in Fase 2 essentieel zijn voor de hoge prestaties. Zonder AG-pretraining of zonder rationale-validatie daalt de prestatie aanzienlijk.

Betekenis

Dit werk verlegt de grenzen van computationele esthetica van passieve beoordeling naar actievere, mensgerichte visuele verbetering.

• Het sluit de kloof tussen amateurfotografen en professionals door AI-gestuurde, real-time begeleiding mogelijk te maken.
• Het introduceert een nieuwe standaard voor hoe MLLM's esthetische taken moeten aanpakken: niet alleen door te scoren, maar door te redeneren, kritisch te zijn en actiegericht advies te geven.
• Het maakt fotobewerking toegankelijker en persoonlijker, waarbij het model niet alleen het resultaat levert, maar ook de "waarom" erachter uitlegt, wat vertrouwen en bruikbaarheid in de praktijk vergroot.

De code en dataset zijn beschikbaar gesteld voor de gemeenschap, wat verdere ontwikkeling in dit onderbelichte domein stimuleert.