Predicting semantic consistency between images and Korean hashtags on Instagram
本文提出了一种用于预测图像与韩语 Instagram 标签之间语义一致性的五级序数分类框架，证明了经过韩语适配微调的 CLIP 模型在基于 GPT-4o 标注的数据集上优于其英语对应模型及经典分类器，同时强调了该任务固有的歧义性以及语言适用性在多模态理解中的至关重要性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在像 Instagram 这样的平台上，一张照片很少仅仅是一张图片。它同时是一种声明、一种情绪，以及一段文化对话。当用户发布一张简单的咖啡照片时，他们可能会用像“早间冲泡”这样字面的描述进行标记，但更多时候，他们会使用传达某种感觉的标签，例如“治愈”或“周一忧郁”。这些标签不仅仅是在描述肉眼可见的事物，它们还在表达情感、俚语和共享的文化理解。计算机若要真正理解社交媒体，必须学会阅读图像与所附文字之间这些微妙且非字面的联系。这是一项艰巨的任务，因为照片与标签之间的关系并非简单的“是”或“否”的匹配，而是存在于一个光谱之上，从完全无关到意义深远不等，且这种意义往往依赖于计算机难以轻易察觉的语境。
首尔大学和崇信女大的研究人员致力于教计算机如何驾驭这一复杂的领域。他们专门针对韩国 Instagram 帖子进行了研究，其中的语言充满了缩写、梗图和具有文化特性的表达方式，即使对于流利的说话者来说也可能难以捉摸。该团队并未将此问题视为二元选择，而是将其视为一个五级量表。他们要求模型判断一个标签与图像的契合程度是高度不一致、低、中、高还是高度一致。为此，他们构建了一个包含超过 12,000 个图像和标签对的公开帖子数据集。由于手动标注数千个主观联系既缓慢又容易产生人为分歧，他们首先使用了一种强大的人工智能工具，根据严格的准则生成了初始标签。随后，他们通过让四位专家对数据样本进行审核来验证这些标签，以确保计算机的判断足够接近人类理解，从而具备实用价值。
研究人员测试了几种不同的方法，以观察哪种方法效果最好。他们首先使用了现有的通用模型，这些模型是在来自互联网的数百万个图像和文本对上训练而成的。这些模型擅长匹配图像与字面描述（例如用“狗”这个词匹配狗的照片），但在处理社交媒体中常见的抽象、情感化标签时却显得力不从心。当团队仅测量计算机内存中图像与文本之间的数学距离时，结果很差。这些模型无法区分那五个等级的差异。然而，当研究人员在这些冻结的模型之上添加一个简单的决策层时，性能得到了提升。这表明，虽然基础模型理解通用的内容，但它们需要一个特定的引导，才能去解读标签中那种分级的、主观的本质。
最显著的发现出现在团队尝试通过调整模型的内部设置（即“微调”过程）来专门针对此任务进行教学时。他们测试了两种不同的基础模型：一种是用于通用用途的设计，另一种是专门为韩语适配的设计。结果令人震惊。当他们对通用模型进行微调时，其表现反而变差了。这似乎表明，如果试图在缺乏强大语言基础的情况下，强迫一个通用系统去学习一项具有特定文化细微差别的任务，会导致它迷失方向。相比之下，经过韩语适配的模型在微调后表现出色。它实现了最高的准确率，更重要的是，它在识别那些困难且不常见的标签方面变得更加出色，而不仅仅是猜测最频繁出现的标签。这表明，拥有一个已经理解了语言和文化的模型，是成功教会机器理解社交媒体表达之细微之处的前提条件。
为了验证这种提升是否真的必要，研究人员将他们表现最好的微调模型与强大的传统计算机程序进行了对比，后者仅在冻结的数据上运行而不改变模型本身。他们发现，传统程序可以达到微调模型整体准确率的水平。然而，微调模型在一个关键点上更胜一筹：它更加均衡。它不会忽略那些罕见或困难的情况。虽然传统程序在处理简单、常见的答案时表现良好，但它们往往在那些对于过滤无关内容至关重要的边缘案例上失败。微调模型通过学习如何将图像与文字结合起来调整自身的内部理解，在处理各类标签时提供了更稳定且公平的评估。
这项研究还强调了任务本身的固有难度。即使是在验证数据的专家之间，也无法达成完美的共识。他们仅在约一半的配对上达成完全一致的分数，而大多数分歧仅为一个等级之差。这表明，这种模糊性不仅是计算机的失败，更是人类交流的一个特征。当一个标签表达一种情绪或文化笑话时，往往不存在唯一的“正确”答案。表现最好的计算机模型大约能有 72% 的时间给出正确答案或相邻答案。这种水平的性能虽然称不上完美，但代表了在教机器理解人类表达的情感与文化层面方面迈出了重要一步，使它们更接近于真正领悟社交媒体帖子的完整含义。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。