Predicting semantic consistency between images and Korean hashtags on Instagram
Cet article propose un cadre de classification ordinale à cinq niveaux pour prédire la cohérence sémantique entre les images et les hashtags Instagram en coréen, démontrant qu'un modèle CLIP affiné et adapté au coréen surpasse à la fois son homologue anglais et les classificateurs classiques sur un ensemble de données annoté par GPT-4o, tout en soulignant l'ambiguïté intrinsèque de la tâche et l'importance critique de l'adéquation linguistique dans la compréhension multimodale.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Sur des plateformes comme Instagram, une photographie est rarement une simple image. C'est une déclaration, une ambiance et un fragment de conversation culturelle, tout cela à la fois. Lorsqu'un utilisateur publie la photo d'une simple tasse de café, il peut l'accompagner d'une description littérale comme « infusion du matin », mais plus souvent, il utilise un hashtag qui transmet un sentiment, tel que « guérison » ou « blues du lundi ». Ces balises ne décrivent pas seulement ce qui est visible ; elles expriment une émotion, de l'argot et une compréhension culturelle partagée. Pour qu'un ordinateur comprenne véritablement les réseaux sociaux, il doit apprendre à lire ces connexions subtiles et non littérales entre une image et les mots qui lui sont attachés. C'est une tâche difficile car la relation entre une photo et son hashtag n'est pas une simple correspondance de type oui ou non. Au contraire, elle existe sur un spectre, allant de totalement sans rapport à profondément significatif, et ce sens repose souvent sur un contexte que une machine ne peut pas facilement percevoir.
Des chercheurs de l'Université nationale de Séoul et de l'Université des femmes de Sungshin ont cherché à enseigner aux ordinateurs comment naviguer dans ce paysage complexe. Ils se sont concentrés spécifiquement sur les publications Instagram coréennes, où la langue est remplie d'abréviations, de mèmes et d'expressions culturellement spécifiques qui peuvent être délicates même pour des locuteurs fluents. L'équipe a traité le problème non pas comme un choix binaire, mais comme une échelle à cinq niveaux. Ils ont demandé à leurs modèles de décider si un hashtag était hautement incohérent, faible, moyen, élevé ou hautement cohérent avec l'image. Pour ce faire, ils ont construit un ensemble de données de plus de 12 000 paires image-hashtag provenant de publications publiques. Comme l'étiquetage manuel de milliers de connexions subjectives est lent et sujet au désaccord humain, ils ont d'abord utilisé un outil d'intelligence artificielle puissant pour générer des étiquettes initiales basées sur des directives strictes. Ils ont ensuite validé ces étiquettes en demandant à quatre experts humains de réviser un échantillon des données, s'assurant que les jugements de l'ordinateur étaient suffisamment proches de la compréhension humaine pour être utiles.
Les chercheurs ont testé plusieurs approches différentes pour voir quelle méthode fonctionnait le mieux. Ils ont commencé par des modèles existants à usage général, entraînés sur des millions de paires image-texte provenant d'Internet. Ces modèles étaient bons pour associer des images à des descriptions littérales, comme un chien avec le mot « chien », mais ils peinaient face aux tags abstraits et émotionnels courants sur les réseaux sociaux. Lorsque l'équipe a simplement mesuré la distance mathématique entre l'image et le texte dans la mémoire de l'ordinateur, les résultats ont été médiocres. Les modèles ne pouvaient pas distinguer les cinq niveaux de cohérence. Cependant, lorsque les chercheurs ont ajouté une simple couche de prise de décision au-dessus de ces modèles figés, la performance s'est améliorée. Cela a montré que si les modèles de base comprenaient le contenu général, ils avaient besoin d'un guide spécifique pour interpréter la nature graduée et subjective des tags.
La découverte la plus significative est survenue lorsque l'équipe a tenté d'enseigner spécifiquement aux modèles pour cette tâche en ajustant leurs paramètres internes, un processus appelé « fine-tuning » (ajustement fin). Ils ont testé deux modèles de base différents : l'un conçu pour un usage général et un autre spécifiquement adapté à la langue coréenne. Les résultats ont été frappants. Lorsqu'ils ont affiné le modèle général, sa performance s'est en réalité dégradée. Il semblait que tenter de forcer un système à usage général à apprendre une tâche spécifique et culturellement nuancée sans une base solide dans cette langue le faisait perdre le fil. En revanche, le modèle adapté au coréen a prospéré lors de l'ajustement fin. Il a atteint la précision la plus élevée et, plus important encore, est devenu bien meilleur pour identifier les tags difficiles et moins courants, plutôt que de simplement deviner les plus fréquents. Cela suggérait qu'avoir un modèle qui comprenait déjà la langue et la culture était un prérequis pour réussir à lui enseigner la nuance de l'expression sur les réseaux sociaux.
Pour voir si cette amélioration était réellement nécessaire, les chercheurs ont comparé leur meilleur modèle affiné contre de puissants programmes informatiques traditionnels qui se contentaient d'examiner les données figées sans modifier le modèle lui-même. Ils ont constaté que ces programmes traditionnels pouvaient égaler la précision globale du modèle affiné. Cependant, le modèle affiné était supérieur sur un point crucial : il était plus équilibré. Il n'ignorait pas les cas rares ou difficiles. Alors que les programmes traditionnels étaient bons pour obtenir les réponses faciles et communes, ils échouaient souvent sur les cas limites qui comptent le plus pour filtrer le contenu non pertinent. Le modèle affiné, ayant appris à ajuster sa propre compréhension interne des images et des mots ensemble, fournissait une évaluation plus stable et plus juste à travers tous les types de tags.
L'étude a également mis en évidence la difficulté inhérente de la tâche elle-même. Même parmi les experts humains qui ont validé les données, il n'y avait pas d'accord parfait. Ils n'ont concordé sur les scores exacts que sur environ la moitié des paires, la plupart des désaccords n'étant que d'un cran sur l'échelle de cinq niveaux. Cela suggère que l'ambiguïté n'est pas seulement un échec de l'ordinateur, mais une caractéristique de la communication humaine. Lorsqu'un hashtag exprime une humeur ou une plaisanterie culturelle, il n'y a souvent pas de réponse unique « correcte ». Le meilleur modèle informatique a réussi à donner la bonne réponse ou une réponse voisine environ 72 % du temps. Ce niveau de performance, bien qu'imparfait, représente une étape significative dans l'enseignement aux machines la compréhension des couches émotionnelles et culturelles de l'expression humaine, les rapprochant d'un point où elles peuvent véritablement saisir la pleine signification d'une publication sur les réseaux sociaux.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.