See & Sniff: Learning Visuo-Olfactory Representations
本文介绍了通过将气味样本与语义对齐的图像进行合成配对而构建的可扩展视觉-嗅觉数据集 SmellNet-V，并提出了“看与闻”（See & Sniff）自监督框架，以学习能够实现气味分类、空间定位和跨模态检索的联合表示。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你拥有这样一种超能力：你看一眼苹果的照片，就能立刻知道它闻起来是什么味道。或者反过来，如果有人递给你一瓶“苹果味”的香气，你能精准地在拥挤的照片中指出那颗苹果在哪里。
长期以来，计算机非常擅长视觉和听觉，但它们在嗅觉方面完全是“嗅觉失灵”的。它们无法将气味与图像联系起来，因为从未有人教过它们如何做。这篇题为**《看与嗅》（See & Sniff）**的论文，就像是在教计算机上的第一堂嗅觉课。
以下是研究人员所做工作的简单拆解，使用了日常生活的类比。
1. 问题所在：“缺失的环节”
把计算机的大脑想象成一个学生。它有一个关于如何看（图像）的书库，还有一个关于如何听（音频）的书库。但它的嗅觉书库却是空的。
通常情况下，要教会计算机将一种气味与一张图片联系起来，你需要一个机器人去外面，闻一下草莓，拍下那颗草莓在那个精确时刻的照片，并将它们保存在一起。为成千上万种物品做这种事，成本极高且速度极慢。这就像是试图建立一本字典，却要雇佣一名翻译员坐在房间里，逐一翻译每一个说出的单词。
2. 聪明的捷径：“神奇配对”
研究人员发现了一个关于气味运作方式的聪明之处：气味不会仅仅因为物体的外观不同而改变。
- 类比： 想象一颗红苹果和一颗绿苹果。它们看起来不同，但都闻起来有“苹果味”。一颗小苹果和一颗巨大的苹果闻起来是一样的。一颗新鲜的苹果和一颗稍微有些腐烂的苹果，闻起来基本相同。
- 解决方案： 研究人员没有去拍摄新的照片和闻气味，而是利用了一个现有的仅包含气味的数据库（称为 SmellNet），并将它们与互联网上发现的这些相同原料的随机真实世界照片进行“联姻”。
- 他们创建了一个名为 SmellNet-V 的新数据集。这就像是拿一个歌曲播放列表（气味）并将其随机配对到展示同一位艺术家的音乐视频（图像）中。即使视频不是录制该歌曲时的确切视频，其“氛围”（语义类别）也是匹配的。
3. 大脑：“看与嗅”
有了这个新数据集后，他们构建了一个名为 See & Sniff 的计算机模型。可以将这个模型想象成一个带着两把放大镜的侦探：一把用于眼睛，一把用于鼻子。
- 训练过程： 模型看着一根肉桂棒的照片，闻到了一个“肉桂”信号。它试图寻找其中的联系。
- 秘诀（稠密局部对齐）： 大多数 AI 模型只是观察“整张图片”并说：“这看起来像肉桂。”但 See & Snip 更像是一个寻找线索的侦探。它逐像素扫描图像，以找到肉桂究竟在哪里。它学习到气味信号与肉桂棒的具体纹理和颜色相匹配，而不是与其放在上面的木桌子相匹配。
4. 它能做什么？（三个绝招）
论文展示了该模型学会了三个酷炫的绝招：
绝招 1：气味侦探（气味定位）
如果你给计算机一种“气味”（比如“菠萝”），它可以观察一张杂乱的厨房照片，并在菠萝周围画一个框。它会忽略掉刀具、案板或其他水果。它准确知道气味是从哪里散发出来的。- 类比： 这就像闭上眼睛，闻到了一份披萨的味道，然后无需睁眼就能用手指指向桌上那块确切的披萨。
绝招 2：翻译官（跨模态检索）
如果给它看一张芒果的照片，它可以从数据库中找到“芒果味”。如果给它一种“芒果味”，它可以找到芒果的照片。它正在学习视觉形状和化学气味是同一枚硬币的两面。绝招 3：更灵敏的嗅觉（气味分类）
令人惊讶的部分在这里：通过学习看图的同时闻味，计算机的嗅觉能力实际上变得更强了，比仅使用嗅觉的模型更出色。- 类比： 这就像在观看音乐视频的同时聆听歌曲来识别它。即使稍后你只听音乐，你的大脑也会记住视觉线索，从而帮助你更快、更准确地识别它。论文声称，与仅使用嗅觉的模型相比，这种方法将他们的准确度提高了 7%。
5. 为什么这很重要（根据论文所述）
研究人员不仅制造了一个酷炫的玩具；他们还建立了第一个嗅觉 AI 的“健身房”。
- 他们创建了第一个将气味与图像联系起来的数据集（SmellNet-V）。
- 他们创建了第一个在图片中寻找气味的测试（气味定位）。
- 他们证明了不需要昂贵且同步的机器人来教计算机闻味，你可以使用现有数据的“智能配对”。
简而言之： 这篇论文是关于教计算机如何将眼睛与鼻子连接起来。他们通过巧妙地将现有的气味数据与互联网照片进行匹配来实现这一点，从而创造出了一个不仅能识别气味，还能在照片中精准指出气味来源的模型，同时在看图的过程中变得更加擅长闻味。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。