Predicting semantic consistency between images and Korean hashtags on Instagram
Dit artikel stelt een vijfwaardig ordinaal classificatiekader voor voor het voorspellen van de semantische consistentie tussen afbeeldingen en Koreaanse Instagram-hashtags, waarbij wordt aangetoond dat een op het Koreaans aangepast en gefinetuned CLIP-model zowel zijn Engelse tegenhanger als klassieke classificatoren overtreft op een door GPT-4o geannoteerde dataset, terwijl tegelijkertijd de intrinsieke ambiguïteit van de taak en het cruciale belang van linguïstische geschiktheid in multimodale begripsvorming worden benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Op platforms zoals Instagram is een foto zelden slechts een plaatje. Het is een statement, een stemming en tegelijkertijd een stukje culturele conversatie. Wanneer een gebruiker een foto van een simpele kop koffie plaatst, wordt deze misschien getagd met een letterlijke beschrijving zoals "ochtendbrouwsel", maar vaker nog gebruiken ze een hashtag die een gevoel overbrengt, zoals "healing" of "Monday blues". Deze tags beschrijven niet enkel wat er zichtbaar is; ze drukken emotie, slang en gedeeld cultureel begrip uit. Om sociale media werkelijk te kunnen begrijpen, moet een computer leren om deze subtiele, niet-letterlijke verbindingen tussen een afbeelding en de bijbehorende woorden te lezen. Dit is een moeilijke taak omdat de relatie tussen een foto en haar hashtag geen eenvoudige ja-of-nee-match is. In plaats daarvan bestaat deze op een spectrum, variërend van volkomen ongerelateerd tot diep betekenisvol, en deze betekenis leunt vaak op een context die een machine niet gemakkelijk kan zien.
Onderzoekers aan de Seoul National University en de Sungshin Women's University zetten zich in om computers te leren hoe ze door dit complexe landschap kunnen navigeren. Ze richtten zich specifiek op Koreaanse Instagram-posts, waar taal vol zit met afkortingen, memes en cultuurspecifieke uitdrukkingen die zelfs voor vloeiend sprekende mensen lastig kunnen zijn. Het team behandelde het probleem niet als een binaire keuze, maar als een vijfpuntsschaal. Ze vroegen hun modellen om te beslissen of een hashtag zeer inconsistent, laag, gemiddeld, hoog of zeer consistent was met de afbeelding. Hiervoor bouwden ze een dataset van meer dan 12.000 beeld- en hashtagparen uit publieke posts. Omdat het handmatig labelen van duizenden subjectieve verbindingen traag is en gevoelig voor menselijke onenigheid, gebruikten ze eerst een krachtige kunstmatige intelligentie-tool om initiële labels te genereren op basis van strikte richtlijnen. Vervolgens valideerden ze deze labels door vier menselijke experts een steekproef van de data te laten beoordelen, om er zeker van te zijn dat de oordelen van de computer dicht genoeg bij het menselijk begrip lagen om nuttig te zijn.
De onderzoekers testten verschillende benaderingen om te zien welke methode het beste werkte. Ze begonnen met bestaande, algemene modellen die getraind waren op miljoenen beeld- en tekstparen van het internet. Deze modellen waren goed in het matchen van foto's aan letterlijke beschrijvingen, zoals een hond bij het woord "hond", maar ze worstelden met de abstracte, emotionele tags die gebruikelijk zijn op sociale media. Wanneer het team simpelweg de wiskundige afstand tussen de afbeelding en de tekst in het geheugen van de computer mat, waren de resultaten slecht. De modellen konden de vijf niveaus van consistentie niet onderscheiden. Echter, toen de onderzoekers een eenvoudige besluitvormingslaag bovenop deze bevroren modellen voegden, verbeterde de prestatie. Dit toonde aan dat hoewel de basismodellen de algemene inhoud begrepen, ze een specifieke gids nodig hadden om de gegradeerde, subjectieve aard van de tags te interpreteren.
De meest significante ontdekking kwam toen het team probeerde de modellen specifiek voor deze taak te onderwijzen door hun interne instellingen aan te passen, een proces dat bekend staat als fine-tuning. Ze testten twee verschillende basismodellen: één ontworpen voor algemeen gebruik en een andere die specifiek was aangepast voor de Koreaanse taal. De resultaten waren opmerkelijk. Wanneer ze het algemene model fine-tunden, verslechterde de prestatie eigenlijk. Het leek erop dat het proberen te dwingen van een algemeen systeem om een specifieke, cultureel genuanceerde taak te leren zonder een sterke basis in die taal, ervoor zorgde dat het de weg kwijtraakte. In contrast hiermee bloeide het Koreaanse-aangepaste model op bij fine-tuning. Het behaalde de hoogste nauwkeurigheid en werd bovendien veel beter in het identificeren van de moeilijke, minder voorkomende tags, in plaats van simpelweg de meest frequente tags te raden. Dit suggereerde dat het hebben van een model dat de taal en cultuur al begreep, een vereiste was om het succesvol te leren de nuance van sociale media-expressie te begrijpen.
Om te zien of deze verbetering werkelijk noodzakelijk was, vergeleken de onderzoekers hun beste fine-tuned model met krachtige, traditionele computerprogramma's die simpelweg naar de bevroren data keken zonder het model zelf te veranderen. Ze ontdekten dat deze traditionele programma's de algehele nauwkeurigheid van het fine-tuned model konden evenaren. Echter, het fine-tuned model was superieur op één cruciaal punt: het was evenwichtiger. Het negeerde de zeldzame of moeilijke gevallen niet. Terwijl de traditionele programma's goed waren in het juist krijgen van de gemakkelijke, veelvoorkomende antwoorden, faalden ze vaak bij de randgevallen die er het meest toe doen voor het filteren van irrelevante inhoud. Het fine-tuned model, dat had geleerd om zijn eigen interne begrip van de afbeeldingen en woorden samen aan te passen, bood een stabielere en eerlijkere beoordeling over alle soorten tags heen.
De studie benadrukte ook de inherente moeilijkheid van de taak zelf. Zelfs onder de menselijke experts die de data valideerden, was er geen perfecte overeenstemming. Ze kwamen slechts in ongeveer de helft van de gevallen exact overeen op de vijfpuntsschaal, waarbij de meeste meningsverschillen slechts één stap uiteen lagen. Dit suggereert dat de ambiguïteit niet alleen een falen van de computer is, maar een kenmerk van menselijke communicatie. Wanneer een hashtag een stemming of een culturele grap uitdrukt, is er vaak geen enkel "correct" antwoord. Het beste computermodel slaagde erin om het juiste antwoord of een nabijgelegen antwoord ongeveer 72 procent van de tijd te geven. Dit prestatieniveau, hoewel niet perfect, vertegenwoordigt een significante stap voorwaarts in het leren van machines om de emotionele en culturele lagen van menselijke expressie te begrijpen, waardoor ze dichter bij een punt komen waarop ze werkelijk de volledige betekenis van een sociale media-post kunnen vatten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.