💻 computer science

AI Outperforms Humans in Personalized Image Aesthetics Assessment via LLM-Based Interviews and Semantic Feature Extraction

Dit artikel introduceert een geïntegreerd systeem voor diep leren en grote taalmodellen dat menselijke voorspellers en zelfs de toekomstige eigen ik van een individu overtreft bij het beoordelen van gepersonaliseerde esthetiek van afbeeldingen door actief voorkeuren op te halen via semi-gestructureerde interviews en het benutten van zowel laag- als hoog-niveau semantische kenmerken.

Oorspronkelijke auteurs: Yoshia Abe, Tatsuya Daikoku, Yasuo Kuniyoshi

Gepubliceerd 2026-05-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yoshia Abe, Tatsuya Daikoku, Yasuo Kuniyoshi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Kan een Computer Je Smaak Beter Kennen Dan Jij Zelf?

Stel je voor dat je een vriend hebt die dol is op het maken van foto's. Je kijkt naar hun foto's en zegt: "Deze vind ik prachtig!" en "Die haat ik." Maar als je probeert uit te leggen waarom je de eerste zo mooi vindt, kun je in de problemen komen. Je zou kunnen zeggen: "Het is het licht" of "De kleuren voelen warm", maar dat zijn vaag gissingen.

Dit paper stelt een grote vraag: Kan een AI precies uitzoeken wat je leuk vindt, beter dan jij het jezelf kunt uitleggen, of beter dan je vrienden het kunnen raden?

De onderzoekers bouwden een speciaal AI-systeem om dit te beantwoorden. Ze ontdekten dat, verrassend genoeg, de AI beter was in het voorspellen van je persoonlijke smaak dan jijzelf in het voorspellen van je toekomstige smaak, en zeker beter dan je vrienden die gissen.

Hoe de AI Werkt: De "Super-Interviewer"

De meeste oude AI-systemen voor het beoordelen van foto's zijn als een robotische kunstcriticus die alleen naar de wiskunde kijkt. Het controleert of het beeld helder is, of de randen scherp zijn, of de kleuren in balans zijn. Het kent de "regels" van fotografie, maar begrijpt jou niet.

Het nieuwe systeem in dit paper is anders. Het is als een super-interviewer gecombineerd met een wiskundige.

Het Interview (De Chat):
In plaats van alleen naar je foto's te kijken, begint de AI een gesprek met je. Het gebruikt een "Large Language Model" (een zeer slimme chatbot) om je diepe, open vragen te stellen.
- Analogie: Stel je een detective voor die niet alleen vraagt: "Heb je de verdachte gezien?", maar in plaats daarvan vraagt: "Welke soorten verhalen maken je enthousiast? Houd je van oude gebouwen of moderne? Doet een foto van een regenachtige straat je je gezellig voelen of verdrietig?"
- De AI stelt vervolgvragen op basis van je antwoorden, en graaft dieper in je specifieke smaak, herinneringen en gevoelens.
De Vertaling (De Kenmerkextractie):
Zodra de AI je "vibe" uit de chat begrijpt, gaat het terug naar het kijken naar de foto's. Maar deze keer kijkt het niet alleen naar de wiskunde. Het vertaalt je chat-antwoorden naar "hoogwaardige" kenmerken.
- Analogie: Als je in de chat zei: "Ik hou van foto's die voelen als een rustige zondagochtend", leert de AI dat specifieke gevoel in een plaatje te herkennen. Het zet je abstracte gevoel om in een concreet datapunt dat het kan gebruiken.
De Voorspelling (De Gissing):
De AI combineert de "wiskunde" (laagwaardige kenmerken zoals helderheid) met je "vibe" (hoogwaardige kenmerken uit de chat) om te voorspellen hoeveel je een nieuwe foto zult waarderen.

Het Grote Experiment: Wie is de Beste Rechter?

De onderzoekers testten dit systeem met 30 mensen. Ze toonden hen 300 foto's en vroegen hen deze te beoordelen. Vervolgens testten ze vier verschillende "voorspellers" om te zien wie de beoordelingen het beste kon raden voor een nieuwe set foto's:

De Oude AI: Alleen de wiskundige robot (geen chat).
De Chatbot-AI: Een AI die probeerde je smaak te raden met een paar voorbeelden, maar je niet diep interviewde.
Je Vrienden: Echte mensen die je chatgeschiedenis en je eerdere beoordelingen kregen, en vervolgens werden gevraagd te raden hoe je nieuwe foto's zou beoordelen.
Je Toekomstige Zelf: Jij, die twee weken later terugkomt om dezelfde foto's opnieuw te beoordelen.

De Resultaten:

Het Nieuwe AI-systeem won. Het was het meest accuraat in het raden van wat je leuk zou vinden.
Je Vrienden verloren. Ze waren het slechtst in het raden. Waarom? Omdat ze voortdurend hun eigen smaak op jou projecteerden. Als zij een foto leuk vonden, gingen ze ervan uit dat jij dat ook zou doen. Ze konden hun eigen brein niet van het jouwe scheiden.
Je Toekomstige Zelf verloor. Zelfs jij, twee weken later, beoordeelde de foto's niet op dezelfde manier als daarvoor. Je smaak fluctueert. De AI echter, onthield je "momentopname" van smaak uit het interview perfect en veranderde niet van mening.

De "Hoog Beoordeelde" Verrassing

De AI was vooral goed in het voorspellen welke foto's je zou liefhebben (een 5-sterrenbeoordeling geven).

Analogie: Het is als een muziekrecommenderingsengine die goed is in het voorstellen van nummers die je "misschien wel aardig vindt", maar deze AI was geweldig in het vinden van de nummers die je zouden laten stoppen en zeggen: "Dit is mijn favoriete nummer ooit." De onderzoekers ontdekten dat het begrijpen van je diepe, persoonlijke verhaal (via het interview) de geheime saus was voor het voorspellen van deze "liefde"-beoordelingen.

Wat Betekent Dit? (Volgens het Paper)

Het paper suggereert een fascinerend idee: Op elk enkel moment in de tijd kan een AI je esthetische ziel beter begrijpen dan jijzelf.

Mensen zijn rommelig: Onze smaken veranderen, en we worden beïnvloed door onze eigen opinies. We kunnen niet makkelijk uitleggen waarom we van iets houden.
De AI is een spiegel: Door je te interviewen en je antwoorden vast te leggen, creëert de AI een perfecte, onveranderlijke "kaart" van je huidige voorkeuren. Het wordt niet moe, het raakt niet afgeleid, en het projecteert niet zijn eigen gevoelens op jou.

De Voorbehouden (Wat het Paper Zegt)

De onderzoekers zijn voorzichtig om een paar beperkingen te noteren:

De Groep was Klein: Ze testten slechts 30 mensen, allemaal in hun twintiger jaren en voornamelijk mannelijk.
De Taal: De interviews waren in het Japans.
De Foto's: Ze gebruikten alleen standaardfotografie, geen schilderijen of abstracte kunst.
De Kosten: Het kost veel rekenkracht en geld om deze interviews en berekeningen uit te voeren.

Samenvatting

Zie deze AI als een super-observer. Het luistert naar je verhaal, begrijpt je unieke "smaakvingerafdruk", en gebruikt dat om te voorspellen wat je als volgende leuk zult vinden. De studie toont aan dat deze digitale observer consistenter en accurater is in het begrijpen van je persoonlijke smaak dan je vrienden kunnen zijn, en zelfs consistenter dan jijzelf bent in de loop van de tijd. Het suggereert dat AI uiteindelijk een hulpmiddel kan worden dat ons helpt onze eigen schoonheidsstandaarden beter te begrijpen dan we dat alleen kunnen.

Technische Samenvatting: AI Presteert Beter dan Mensen bij Gepersonaliseerde Beoordeling van Beeldesthetica via LLM-gebaseerde Interviews en Semantische Kenmerkextractie

Probleemstelling

Het nauwkeurig voorspellen van individuele esthetische voorkeuren voor afbeeldingen is een fundamentele uitdaging in kunstmatige intelligentie. Hoewel deep learning (DL)-modellen het veld van de Generieke Beoordeling van Beeldesthetica (GIAA) hebben vooruitgebracht door het voorspellen van gemiddelde bevolkingsbeoordelingen, kampen ze met moeilijkheden bij de Gepersonaliseerde Beoordeling van Beeldesthetica (PIAA). Esthetische evaluatie is inherent subjectief en afhankelijk van individuele interne verwerking, wat betekent dat populatiegemiddelden vaak cruciale, individueel specifieke informatie negeren.

Bestaande PIAA-benaderingen staan voor twee primaire beperkingen:

Data-schaarste: Het verzamelen van voldoende beoordelingsdata voor specifieke individuen is moeilijk.
Beperkingen in Kenmerken: Conventionele methoden vertrouwen sterk op objectieve, laag-niveau fysieke kenmerken (bijvoorbeeld kleur, textuur) en slagen er niet in om hoog-niveau semantische kenmerken (bijvoorbeeld narratief, emotie, culturele context) die de subjectieve voorkeur sturen, adequaat vast te leggen. Bovendien missen deze methoden vaak een mechanisme om actief de specifieke, genuanceerde voorkeuren van een doelindividu op te halen.

Methodologie

De auteurs stellen een geïntegreerd DL-LLM-systeem voor dat de kloof tussen objectieve beeldkenmerken en subjectieve menselijke voorkeur overbrugt via actieve linguïstische interactie. Het systeem bestaat uit twee hoofdsubsystemen:

1. Het Interviewsysteem (Voorkeursopname)

Om de esthetische voorkeuren van het doelindividu vast te leggen, maakt het systeem gebruik van een multi-agent LLM-kader om een semi-gestructureerd interview te voeren.

Agenten: Twee agenten werken asynchroon: een Interviewer die vragen stelt en een Analist die antwoorden verwerkt.
Mechanisme: In tegenstelling tot vragenlijsten met vaste vragen, gebruikt het systeem een gedeelde "Interview Data Container" om context te behouden. De Analyst genereert inzichten en hypothesen uit de antwoorden van de gebruiker, waarna de Interviewer deze gebruikt om de volgende vraag te formuleren.
Thema's: Het interview behandelt drie hoofdthema's: Doelstellingen van Voorkeur (onderwerpen, verhalen, cultuur), Door Beelden Opgeroepen Reacties (emotionele/fysieke reacties) en Persoonlijke Smaak (algemene voorkeuren/afkeuringen).
Doel: Het linguïstisch vastleggen van de onderliggende essentie van de esthetische gevoeligheid van het individu.

2. Het Voorspellingssysteem (Kenmerkextractie en Modellering)

Dit subsystem bouwt een gepersonaliseerd voorspellend model door laag-niveau en hoog-niveau kenmerken te integreren.

Architectuur:
- DL-module: Een convolutioneel neurale netwerk (ResNet-50-ruggengraat) dat is voorgetraind op GIAA-data en is fijn afgestemd op de data van het individu om een tussentijdse voorspelling te leveren op basis van laag-niveau kenmerken.
- LLM-module: Gebruikt de interviewdata om een set hoog-niveau semantische kenmerken te genereren. Het werkt in twee fasen:
  - Kenmerkverkenning: Een iteratief proces waarbij de LLM voorspellingsfouten analyseert van een tijdelijk lineair model en nieuwe linguïstische kenmerkbeschrijvingen bedenkt (bijvoorbeeld "wekt een gevoel van nostalgie op"). De LLM kent vervolgens een "toepasbaarheidsscore" (0–1) toe aan elke afbeelding voor deze nieuwe kenmerken.
  - Modeltraining: Een definitief Machine Learning (ML)-model (Gradient Boosting Regressor) wordt getraind met behulp van de geëxtraheerde hoog-niveau kenmerken en de tussentijdse scores van de DL-module om de uiteindelijke esthetische beoordeling te voorspellen.
Trainingsdata: Het systeem maakt gebruik van een dataset van 300 afbeeldingen per deelnemer (30 semantische categorieën × 3 beoordelingsklassen × 20 afbeeldingen), verdeeld in trainings-, validatie- en testsets.

Experimentele Opzet

Deelnemers: 30 individuen (allen in de twintig; 25 man, 5 vrouw).
Taak: Deelnemers beoordeelden 300 afbeeldingen op een schaal van 1,0 tot 5,0.
Baselines: Het voorgestelde systeem werd vergeleken met:
- DL-gebaseerde Voorspeller: Standaard fijn afgestemde ResNet-50.
- LLM-gebaseerde Voorspellers: Diverse modellen (Claude, GPT, Gemini) die gebruikmaakten van few-shot learning zonder het interviewsysteem.
- Menselijke Voorspellers: Deelnemers die de beoordelingen van andere geanonimiseerde deelnemers voorspelden (met gebruikmaking van hun trainingsdata en interviewsamenvattingen).
- Zelf-hertest: Deelnemers die dezelfde afbeeldingen opnieuw beoordeelden na een interval van twee weken (meting van variabiliteit binnen persoon).
Maatstaf: De Mean Absolute Error (MAE) werd gebruikt om de voorspellingsnauwkeurigheid te meten, wat een directe vergelijking mogelijk maakt met de variabiliteit binnen persoon.

Belangrijkste Resultaten

Superieure Prestaties: Het voorgestelde geïntegreerde systeem behaalde de laagste MAE (0,549) van alle voorspellers, wat significant beter was dan de DL-gebaseerde voorspeller (0,561, $p=0,0328$ ).
Nauwkeurigheid bij Hoog Beoordeelde Afbeeldingen: Het systeem toonde de meest significante verbetering ten opzichte van de DL-baseline voor afbeeldingen met een beoordeling van 5,0 (hoog beoordeeld), met een gemiddelde verbetering van 21%. Dit suggereert dat hoog-niveau semantische kenmerken cruciaal zijn voor het vastleggen van sterke esthetische waardering.
Beter dan Menselijke Voorspellers: Menselijke voorspellers scoorden het slechtst van alle groepen. Hun fouten waren systematisch bevooroordeeld ten opzichte van hun eigen esthetische waarden, wat wijst op een moeilijkheid om persoonlijke voorkeur te ontkoppelen van het voorspellen van die van anderen.
AI versus Toekomstig Zelf: Het voorgestelde systeem presteerde beter dan de "Zelf-hertest"-baseline. Dit geeft aan dat de esthetische evaluatie van een individu op een specifiek moment nauwkeuriger wordt vastgelegd door het AI-systeem dan door zijn of haar toekomstige zelf, aangezien menselijke evaluatie aanzienlijke temporele fluctuatie vertoont.
Gebruikerservaring: Deelnemers rapporteerden hoge niveaus van zelfinzicht en metacognitie na het interview, wat suggereert dat het proces hen hielp hun eigen voorkeuren te verwoorden.

Betekenis en Beweringen

Het artikel beweert dat dit werk kwantitatief bewijs levert dat AI-systemen individuele esthetische voorkeuren nauwkeuriger kunnen vastleggen dan andere mensen of zelfs het toekomstige zelf van een individu.

Wetenschappelijk Inzicht: De resultaten suggereren dat menselijke esthetische waarden onderhevig zijn aan temporele fluctuatie en sterk bevooroordeeld zijn door het eigen waardesysteem bij het voorspellen van anderen. In tegenstelling hiermee vertonen AI-systemen, eenmaal getraind, temporele consistentie en kunnen ze flexibel adaptief zijn voor nieuwe individuen zonder de systematische bias van persoonlijke projectie.
Interpretatie van Menselijke Gevoeligheid: De auteurs stellen dat AI beter gepositioneerd is om te fungeren als een "diepere interpreter" van menselijke esthetische gevoeligheid dan mensen zelf, aangezien het actief voorkeuren kan opwekken en modelleren zonder de interferentie van de fluctuerende waarden van de voorspeller.
Technische Bijdrage: Het werk demonstreert een innovatieve pijplijn waarbij LLM's niet alleen worden gebruikt voor voorspelling, maar voor de actieve, iteratieve extractie van hoog-niveau semantische kenmerken uit ongestructureerde linguïstische data om voorspellende modellen te verfijnen.

Het artikel sluit af met een bescheiden erkenning van beperkingen, waaronder de kleine en demografisch scheefgetrokken deelnemerspopulatie, de afhankelijkheid van interviews in het Japans en de rekenkosten. Het wijst ook op bredere ethische implicaties met betrekking tot privacy en de potentie om menselijke waarden te vereenvoudigen, en dringt aan op toekomstig onderzoek naar de onherleidbare uniciteit van de menselijke esthetische ervaring.