HanMoVLM: Large Vision-Language Models for Professional Artistic Painting Evaluation

Dit paper introduceert HanMoVLM, een gespecialiseerd Vision-Language Model dat Chinese schilderijen op professioneel niveau beoordeelt door middel van door experts gevalideerde Chain-of-Thought redenering, en zo dient als een hoogwaardige verifier om de kwaliteit van gegenereerde kunstwerken te verbeteren.

De kern

Stel je voor dat je een kunstexpert bent die al 40 jaar Chinese schilderkunst bestudeert. Je kent de subtiele nuances van inkt, de betekenis van een leeg stuk papier, en hoe een penseelstreek een gevoel van "leven" kan uitstralen. Nu zet je een moderne kunstmatige intelligentie (een AI) voor je neer. Die AI kan een berg of een boom herkennen, maar als je haar vraagt: "Is dit een meesterwerk of gewoon een aardige tekening?", schudt ze haar hoofd. Ze ziet de details, maar mist de ziel van het kunstwerk. Ze is letterlijk "blind" voor de kunst.

Dit is het probleem dat het onderzoeksteam achter HanMoVLM probeert op te lossen. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Kunst-Blindheid"

Stel je voor dat je een AI vraagt om een Chinees landschapschilderij te beoordelen. De AI kijkt er naar en zegt: "Ik zie bergen, bomen en water. Het is mooi." Maar een echte expert kijkt naar de geest van het werk. Kijkt de AI naar de "adem" van de berg? Naar de "flow" van de inkt?
De huidige AI's zijn als een toerist die voor het eerst in China is: ze zien de gebouwen, maar ze begrijpen niet de diepe cultuur of de filosofie erachter. Ze kunnen een schilderij niet beoordelen zoals een museumcurator dat doet.

2. De Oplossing: HanMoVLM (De "Gevleugelde Expert")

De onderzoekers hebben een nieuwe AI ontwikkeld genaamd HanMoVLM. De naam "HanMo" betekent letterlijk "pen en inkt" en staat symbool voor de Chinese kunsttraditie.
In plaats van de AI te laten gissen, hebben ze haar een speciale denkwijze geleerd. Dit noemen ze een "Chain-of-Thought" (een keten van gedachten).

De Analogie van de Chef-kok:
Stel je voor dat je een kok wilt leren hoe hij een gerecht moet beoordelen.

• Gewone AI: Zegt: "Het is warm en het smaakt naar kip."
• HanMoVLM (De Chef): Volgt een strak recept:
  1. Kijken: Wat zie ik precies? (Is het kip of eend?)
  2. Zoeken: Waar zit het beste stuk? (Kijk naar de randen, de saus).
  3. Beoordelen: Is de textuur goed? Is de balans tussen zout en zuur perfect? Past dit bij de traditie?
  4. Conclusie: Geef een score van 0 tot 5.

Deze AI leert stap voor stap, net als een leerling die jarenlang bij een meester in de leer is geweest. Ze leert eerst het onderwerp te herkennen (bijv. "dit is een landschapschilderij"), dan de belangrijke delen te vinden, en pas daarna een oordeel te vellen op basis van specifieke Chinese regels (zoals "Inkt & Pensel", "Geestelijke Resonantie" en "Kunstzinnige Sfeer").

3. De "School" en de "Examentrainer"

Om deze AI zo slim te maken, hebben ze twee dingen gedaan:

• De Leerboeken (HanMo-Bench): Ze hebben een enorme verzameling van echte, beroemde Chinese schilderijen (uit veilinghuizen) en ook AI-gemaakte schilderijen verzameld. Maar ze hebben niet zomaar willekeurige mensen gevraagd om te beoordelen. Ze hebben echte experts ingeschakeld om deze werken te beoordelen en de AI te leren hoe ze moeten denken. Het is alsof je een student niet alleen de theorie geeft, maar ook de antwoorden van de beste docenten laat zien.
• De Trainers (Beloningssysteem): Tijdens het trainen krijgt de AI een "score" voor elk onderdeel van haar antwoord. Als ze het juiste onderwerp noemt, krijgt ze een punt. Als ze het juiste stuk van het schilderij aanwijst, krijgt ze een punt. Als haar eindoordeel overeenkomt met dat van de menselijke expert, krijgt ze een grote beloning. Als ze hallucineert (droomt dingen die er niet zijn), krijgt ze een straf. Zo wordt ze steeds slimmer.

4. Het Gebruik: De "Kwaliteitscontroleur"

Waarom is dit nuttig? Stel je voor dat een andere AI (een "schilder-AI") 8 verschillende versies van een Chinees schilderij maakt op basis van één opdracht.

• Vroeger: We moesten wachten tot een menselijk expert die 8 schilderijen bekeek om te zeggen welke het beste was. Dat kostte tijd en geld.
• Nu: HanMoVLM fungeert als een super-snelle, onfatsoenlijke kwaliteitscontroleur. Hij kijkt naar de 8 opties, beoordeelt ze allemaal in een seconde volgens de strenge regels van de Chinese kunst, en kiest de winnaar.

Conclusie

Kortom, HanMoVLM is als het geven van een eeuwenoude kunstgeschiedenisopleiding aan een robot. Het resultaat is een AI die niet alleen "ziet", maar ook "begrijpt" en "beoordeelt" op het niveau van een menselijke meester. Hierdoor kunnen we nu automatisch de mooiste Chinese schilderijen maken en selecteren, zonder dat we urenlang hoeven te wachten op een menselijke expert. Het is een brug tussen de koude logica van computers en de warme, complexe wereld van Chinese kunst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HanMoVLM: Large Vision-Language Models for Professional Artistic Painting Evaluation" in het Nederlands.

Titel: HanMoVLM: Groot Visueel-Taalmodellen voor Professionele Beoordeling van Artistieke Schilderijen

1. Het Probleem

Hoewel Large Vision-Language Models (VLM's) indrukwekkende algemene visuele vaardigheden hebben, blijken ze "kunstzinnig blind" te zijn wanneer het gaat om de professionele evaluatie van kunstwerken binnen specifieke culturele domeinen, met name de Chinese schilderkunst.

• Kunstzinnige Misalignering: Generieke VLM's missen de diepgaande culturele en esthetische kennis nodig om niet-westerse kunst te beoordelen. Ze kunnen elementen herkennen (bijv. bergen, rivieren), maar begrijpen niet de onderliggende esthetische principes.
• Kloof tussen Begrip en Evaluatie: Modellen kunnen de inhoud van een schilderij beschrijven, maar zijn niet in staat om een professionele kwaliteitsbeoordeling te geven die overeenkomt met die van menselijke experts.
• Gebrek aan Kwaliteitsdata: Er is een tekort aan hoogwaardige, door experts geannoteerde datasets die de complexe beoordelingscriteria van Chinese kunst weerspiegelen.
• Specifieke Uitdagingen: Chinese schilderkunst wordt niet beoordeeld op realisme of lineair perspectief, maar op abstracte concepten zoals "Qi Yun" (geestelijke resonantie) en "Yi Jing" (artistieke conceptie), wat jarenlange training vereist om te beoordelen.

2. Methodologie

De auteurs stellen HanMoVLM voor, een model dat is getraind om te fungeren als een expert in Chinese schilderkunst. De aanpak bestaat uit drie hoofdbestanddelen:

• HanMo-Bench (Nieuwe Dataset):

  • Een dataset van 13.000+ Chinese schilderijen, inclusief authentieke meesterwerken (van veilingen) en synthetische werken (gegenereerd door AI).
  • De data is gestructureerd in drie categorieën: Landschap (Shanshui), Bloemen & Vogels (Huaniao), en Figuren (Renwu).
  • Labels zijn geschaald van 0 tot 5 op basis van expertbeoordeling, waarbij een unificatie is gemaakt tussen de waarde van historische werken en AI-generaties.

• Expert-Level Chain-of-Thought (CoT):

  • In plaats van een directe score te geven, wordt het model getraind om een gestructureerd redeneringsproces te volgen dat lijkt op dat van een menselijke expert:
    1. Inhoudsidentificatie: Beschrijving van het onderwerp en de compositie.
    2. Thema-classificatie: Bepalen of het landschap, bloemen/vogels of figuren betreft.
    3. RoI-localisatie (Region of Interest): Identificeren van specifieke gebieden in het schilderij die verdere analyse vereisen.
    4. Drie-traps Evaluatie: Toepassing van de traditionele Chinese beoordelingscriteria:
       • Bi Mo (Pen en Inkt): Kwaliteit van de penseelstreken en inktlagen.
       • Qi Yun (Geestelijke Resonantie): De levenskracht en dynamiek van het werk.
       • Yi Jing (Artistieke Conceptie): De diepte van de sfeer en culturele betekenis.
    5. Eindscore: Een definitieve score (0-5) op basis van de bovenstaande analyse.

• Reinforcement Fine-Tuning (RFT) met Expert Reward:

  • Het model ondergaat eerst Supervised Fine-Tuning (SFT) met expert-geannoteerde CoT-data.
  • Vervolgens wordt Group Relative Policy Optimization (GRPO) toegepast.
  • Een nieuwe Reward-functie wordt ontworpen die drie componenten belooont:
    • Accuracy Reward: Hoe dicht de voorspelde score bij de grondwaarheid ligt.
    • BERT Reward: Semantische gelijkenis tussen de gegenereerde redenering en de expert-antwoorden.
    • IoU Reward: De nauwkeurigheid van de gelokaliseerde gebieden (RoI) ten opzichte van de grondwaarheid.

• Test-time Scaling voor Generatie:

  • HanMoVLM wordt gebruikt als externe "verifier" voor Text-to-Image (T2I) modellen.
  • Bij generatie worden meerdere beelden gegenereerd (Best-of-N strategie), en selecteert HanMoVLM het beeld met de hoogste artistieke kwaliteit, zonder dat het generatieve model zelf opnieuw getraind hoeft te worden.

3. Belangrijkste Bijdragen

1. HanMo-Bench: De eerste benchmark specifiek gericht op de professionele evaluatie van Chinese schilderijen, inclusief zowel authentieke als AI-generaties, met expert-gevalideerde labels.
2. HanMoVLM: Een VLM dat gespecialiseerd is in Chinese kunst, aangedreven door een gestructureerde expert-CoT die globale en lokale analyse combineert met cultureel specifieke criteria.
3. Nieuwe Reward-mechanisme: Een granulaire beloningsfunctie die de redeneerprocessen (thema, RoI, redelijkheid van de score) van het model verfijnt, wat leidt tot hogere betrouwbaarheid.
4. Validatie voor Artistieke Generatie: Demonstratie dat HanMoVLM als kwaliteitsfilter kan dienen om de artistieke kwaliteit van gegenereerde Chinese schilderijen aanzienlijk te verbeteren via test-time scaling.

4. Resultaten

• Prestaties op HanMo-Bench: HanMoVLM (8B parameters) bereikte een nauwkeurigheid van 46,67% bij het voorspellen van de juiste score, wat een significante verbetering is ten opzichte van state-of-the-art modellen zoals Qwen3-VL (18,53%) en GPT-4 (17,41%).
• Metingen: Het model toonde de laagste Mean Absolute Error (MAE: 0,6310) en Root Mean Square Error (RMSE: 0,8912), wat aangeeft dat de voorspellingen dichter bij de expert-scores liggen.
• Menselijke Consistentie: In een human study met 43 experts bleek HanMoVLM een hoge correlatie te hebben met menselijke beoordelingen (Kendall's τ = 0,758 en Spearman's ρ = 0,845).
• Generatiekwaliteit: Wanneer HanMoVLM werd gebruikt om de beste uitkomsten te selecteren uit T2I-modellen, resulteerde dit in visueel superieure Chinese schilderijen die minder "AI-artefacten" vertoonden en beter aansloten bij de esthetische principes van de Chinese kunst.

5. Betekenis

Dit onderzoek overbrugt de kloof tussen algemene visuele herkenning en gespecialiseerde culturele kunstbeoordeling. Het toont aan dat VLM's kunnen worden getraind om complexe, abstracte culturele concepten te begrijpen en toe te passen, mits ze worden geleid door expert-gebaseerde redeneerstructuren (CoT) en gerichte beloningssystemen.

De implicaties zijn tweeledig:

1. Evaluatie: Het biedt een geautomatiseerd, schaalbaar instrument voor het beoordelen van Chinese kunst, wat de afhankelijkheid van tijdrovende menselijke expertbeoordelingen vermindert.
2. Generatie: Het opent nieuwe wegen voor het verbeteren van AI-generatie in cultureel specifieke domeinen door het gebruik van gespecialiseerde verifiers, waardoor de kwaliteit van gegenereerde kunstwerken dichter bij menselijke standaarden komt.

Samenvattend introduceert HanMoVLM een nieuwe standaard voor cultureel georiënteerde multimodale AI, waarbij het niet alleen "ziet", maar ook "begrijpt" en "beoordeelt" volgens de diepgaande tradities van de Chinese kunstgeschiedenis.