⚡ electrical engineering

JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions

JASTIN 是一个新颖的指令驱动框架，通过将评估构建为自指令推理任务，使大语言模型与冻结的音频编码器对齐，从而实现对多样化音频和语音内容的零样本评估达到最先进水平。

原作者： Leying Zhang, Bowen Shi, Haibin Wu, Bach Viet Do, Yanmin Qian

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Leying Zhang, Bowen Shi, Haibin Wu, Bach Viet Do, Yanmin Qian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位音乐制作人或配音演员。你刚刚创作了一段新的音频片段，现在你需要知道：“这听起来好吗？”

在过去，你有两个选择：

“人类评审团”：支付费用让一群人聆听并给出评分。这是黄金标准，但昂贵、缓慢且难以扩展。
“机器人标尺”：使用带有固定规则集（像一把尺子）的计算机程序来测量声音。问题在于？这些标尺是僵化的。一把设计用来测量铅笔线条直度的尺子，如果你试图用它来测量微笑的弧度，可能会折断。同样，当从语音切换到音乐，或者当“听起来好”的“规则”发生变化时，旧有的音频工具往往会失效。

现在，JASTIN 登场了。

什么是 JASTIN？

把 JASTIN 想象成一位超级聪明、适应性强的音频评论家，它被训练得能像人类一样聆听，却能像机器一样工作。

JASTIN 不使用单一、僵硬的标尺，而是使用一场“对话”。你告诉它你想知道什么（例如：“在 1 到 10 的评分标准下，给这个人声的自然度打分”，或者“告诉我这段音乐是否听起来太嘈杂”），它会聆听音频，并完全根据这些指令给出评分。

它是如何工作的？（“翻译官”隐喻）

论文描述了一个三部分系统，就像一个专家团队在协作：

耳朵（冻结的编码器）：想象一对超级敏感的耳朵，它们已经听过数百万种声音。它们是“冻结”的，意味着它们不学习任何新东西；它们只做与生俱来的事：将声音分解成微小、详细的片段。
翻译官（适配器）：“耳朵”说着原始声波的语言，但“大脑”只说人类语言。适配器是一位翻译官，它将那些声波转换成大脑能理解的词语，同时不丢失任何细微差别。
大脑（大型语言模型）：这是一个大型语言模型（就像一个非常先进的聊天机器人）。它擅长理解指令、推理和上下文。它接收翻译后的声音和你给出的具体指令，然后利用其“常识”来决定评分。

秘诀：它们是如何训练它的

AI 评论家面临的最大挑战是，如果你改变提问的措辞，它们通常会感到困惑。如果你问“这有多嘈杂？”，它给出的答案可能与问“这有多安静？”时不同，尽管你的意思是一样的。

为了解决这个问题，研究人员构建了一个训练流程，就像 AI 的“训练教官”：

多源数据：他们向 AI 输入了来自各处的音频：人声、音乐和随机声音。
多任务：他们不仅要求它评估“质量”。他们还要求它评估“情感”、“失真”、“自然度”，甚至编造虚假任务来教导它如何思考。
“改写”技巧：这是最具创意的部分。他们选取同一个问题，让另一个 AI 用 20 种不同的方式重写它（简短、冗长、正式、随意、逻辑倒置）。他们教导 JASTIN，“评估噪音”和“告诉我信号有多清晰”是同一个请求。这使得 JASTIN 具有鲁棒性——它不会被你的提问方式所迷惑。

他们发现了什么？

论文声称 JASTIN 之所以成为游戏规则的改变者，主要有三个原因：

它是“零样本”冠军：通常，如果你想让 AI 评估音乐，你必须专门针对音乐训练它。如果你想让它评估语音，你就必须针对语音训练它。JASTIN 则不同。你可以让它评估一首它从未见过的歌曲、一段人声或一个音效，它仍然能表现出色，而无需额外训练。
它契合人类品味：当研究人员将 JASTIN 的评分与实际听众的评分进行比较时，JASTIN 比旧的“机器人标尺”甚至其他花哨的 AI 模型更接近人类观点。
它灵活多变：你可以告诉 JASTIN 使用 1 到 5 的评分标准、1 到 100 的评分标准，甚至是“通过/不通过”系统，它会立即调整其评分逻辑。

它在哪里表现挣扎？（局限性）

即使是最好的评论家也有盲点。论文承认 JASTIN 并非在所有方面都完美：

语速评估者：它在判断某人说话快慢方面表现不佳。它有时会错过节奏。
耳语（ASMR）：在评估 ASMR（耳语声）时，AI 会感到困惑。它经常将耳语的“呼吸感”误认为是技术故障或噪音，因为它习惯于评估清晰、响亮的人声。

核心结论

JASTIN 是一种评估音频的新方式。它不再强行将音频塞进单一测量的盒子里，而是将音频评估视为一场对话。通过教导 AI 理解指令并适应不同的上下文，研究人员创造了一种比任何先前工具都更灵活、更准确、更像人类听众的工具。

技术摘要：JASTIN——通过自然语言指令对齐大语言模型以实现零样本音频与语音评估

1. 问题陈述

生成式音频模型（如文本转语音、音乐生成）的快速发展已超越了稳健评估方法的发展速度。当前的评估方法面临三个关键瓶颈：

领域适用性狭窄： 传统的信号处理指标（如 PESQ、STOI）和专用神经指标（如 NISQA、UTMOS）通常具有特定的领域局限性。例如，PESQ 不适用于音乐，而弗雷歇音频距离（FAD）在语音评估上表现不佳，导致评估流程碎片化。
通用多模态大语言模型（MLLM）性能不一致： 虽然 Gemini 3 Pro 或 GPT-4o 等通用多模态大语言模型（MLLM）在零样本任务中展现出潜力，但其在专用音频评估中的表现仍不一致，且往往缺乏严谨评估所需的精度。
缺乏指令灵活性： 基于大语言模型的专用评判器通常依赖僵化的提示模板和固定的评分量表（如 1–5 分）。它们难以将零样本泛化到新任务，也无法动态适应替代的用户需求（例如将量表改为 1–100 分或重新表述指令）。

现有解决方案未能提供一个统一的、由指令驱动的框架，能够在无需针对特定任务进行重新训练的情况下，跨越语音、音乐和音效进行泛化。

2. 方法论：JASTIN 框架

JASTIN（通过自然语言指令进行指令驱动的音频与语音评估）将音频评估重新构想为一项自我指令推理任务。该框架将高分辨率声学表示与大语言模型的语言推理能力相结合。

架构

该架构由三个主要组件构成：

冻结音频编码器： 一个预训练的高性能编码器（具体为 PE-A-Frame-base）提取稳健的帧级声学特征。该编码器保持冻结状态，以保留其学习到的时间动态和声学事件表示。
可训练音频适配器： 一个轻量级投影网络（线性投影后接具有 4:1 压缩比的瓶颈残差适配器）将来自编码器的连续音频嵌入映射到大语言模型的离散文本令牌空间。
微调的大语言模型骨干： 一个语言模型（Llama-3.2-3B）作为核心推理引擎。它处理交错的多模态输入（任务指令和音频嵌入）以生成评分。

输入构建

音频评估被构建为一种上下文相关的评分任务： $s = f(T, A)$ ，其中 $s$ 是预测分数， $T$ 是自然语言任务描述， $A$ 是输入音频。输入被构建为统一的对话序列，其中任务指令和音频嵌入在聊天模板中交错排列。模型通过自回归方式训练以预测目标分数序列，仅针对响应令牌最小化负对数似然。

数据准备流程

为确保稳健的零样本泛化，JASTIN 采用了一种全面的、异质的数据准备策略，涉及四个关键维度：

多源： 聚合来自人工标注的真实数据（如 QualiSpeech、SpeechEval）、伪标签数据（由 AES 模型在 LibriTTS 和 MusicCaps 等公共数据集上生成）以及代理任务数据（如情感检测、混响检测），以防止对狭窄的“质量”定义产生过拟合。
多任务： 纳入 24 种多样化任务，涵盖语音、音乐和声音的自然度、韵律、情感、失真及制作质量。
多校准： 对训练数据应用基于模板的增强，包括动态重缩放分数（例如将 1–5 映射为 1–100）、反转语义逻辑（例如“评估噪声”与“评估清晰度”）以及将连续分数转换为二分类。
多描述： 利用教师大语言模型对任务描述进行改写，将正式请求转化为随意的问题或技术评分标准。这确保模型学习底层意图，而非死记硬背特定关键词。

3. 主要贡献

统一泛化能力： JASTIN 是一个单一模型，能够在零样本、单轮设置中评估语音、音乐和音效，无需针对特定任务进行重新训练。
全面的数据策略： 引入多源、多任务、多校准和多描述的数据流程，显著增强了模型在未见任务和领域上的泛化能力。
指令鲁棒性： 通过采用自我指令训练范式，JASTIN 在语义敏感性和词汇鲁棒性之间取得了平衡。它既能适应评估规则和评分量表的变化，又能在提示被改写时保持评分的一致性。
以人为中心的对齐： 该框架旨在与人类主观评分紧密对齐，超越静态指标，转向动态的、由指令驱动的评估。

4. 实验结果

JASTIN 在五个数据集（QualiSpeech、SpeechEval、AES（语音、声音、音乐）、AudioMOS2025 和 DeepASMR）上，与传统的非大语言模型指标（如 AES、UTMOS、NISQA）、通用多模态大语言模型（如 Gemini 系列、Qwen 系列、AudioFlamingo3）以及专用大语言模型基线进行了评估。

语音评估： 在 QualiSpeech 和 SpeechEval 数据集上，JASTIN 在与人类评分的皮尔逊（PCC）和斯皮尔曼（SRCC）相关性方面达到了最先进（SOTA）水平，始终优于传统指标和通用多模态大语言模型。例如，在 SpeechEval 整体质量任务中，JASTIN 实现了 0.662 的 PCC，超过了最佳基线（UTMOS 在可懂度上为 0.748，但在整体质量上较低）和专用模型。
声音和音乐评估： 在 AES 数据集上，JASTIN 在内容愉悦度、实用性、制作复杂度和制作质量指标上，匹配或超过了专用非大语言模型 AES 基线的性能，同时显著优于 UTMOS 和 NISQA 等以语音为中心的指标（后者在非语音任务中失效）。
零样本泛化： 在域外（OOD）任务（如音乐 - 文本对齐、ASMR MOS、合成语音 MOS）中，JASTIN 展现了卓越的泛化能力。它显著优于通用大语言模型和传统指标，后者表现出碎片化的性能或无法适应未见过的任务描述。
提示鲁棒性： 敏感性分析表明，JASTIN 在各种提示结构（缩短、重构、详细、反转）下保持稳定的性能，而基线模型则表现出显著的波动。

5. 意义与主张

本文主张 JASTIN 代表了从静态、固定指标回归向动态、指令驱动评估框架的范式转变。其意义在于：

消除针对特定任务重新训练的需求： 单一模型即可处理多样化的评估场景（语音、音乐、声音），并在无需微调的情况下适应新指令。
弥合客观与主观之间的差距： 通过利用大语言模型的推理能力，JASTIN 比传统信号处理指标更好地捕捉人类偏好的细微差别和上下文灵活性。
可扩展性与灵活性： 该框架与模型无关，允许未来替换更优质的音频编码器或大语言模型骨干，并支持动态评分量表和自定义评分标准。

作者承认了局限性，指出该模型在处理时间敏感指标（如语速）和专用美学领域（如 ASMR）方面仍存在困难，在这些领域中，艺术风格与技术退化的区分仍然具有挑战性。然而，这项工作为下一代自动化音频评估奠定了坚实的基础。