Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions

インターネット経由で送るために、音楽がとても小さなファイルへと「押しつぶされた」後、その曲がどれほど良く聞こえるかを判断しようとしている場面を想像してみてください。デジタルオーディオの世界では、この「押しつぶす」作業はコーデックと呼ばれるものによって行われます。コーデックを、巨大でジューシーなステーキ（元の音）を、ポケットに入るサイズになるまで小さく一口サイズに切り分ける、超効率的なシェフだと考えてみてください。そして、後でそれを再び組み立てようと試みます。時として、再組み立てされたステーキは素晴らしい味になりますが、他の時には少しパサついていたり、妙な食感になっていたりすることもあります。

何十年もの間、エンジニアは、そのステーキが美味しいかどうかを確認するために、主に2つの方法を使ってきました。1つ目は主観テストです。彼らは多くの人々を招いて、食べ物の味を1から5のスケールで評価させます。これは「ゴールドスタンダード（黄金基準）」ですが、時間がかかり、費用もかかり、多くの人間の忍耐を必要とします。2つ目は客観的指標です。コンピュータプログラムが音波を見て、人間が実際に聞くことなく、その評価を推測しようとするものです。これは速くて安上がりですが、長い間、これらのコンピュータの審判員は、昔ながらのオーディオの問題に基づいて訓練されてきました。今、新しい世代の「ニューラル」コーデックが登場しました。これらは人工知能を使用して音を再現するもので、まるでデジタルアーティストがゼロから絵を描くようなものです。ここで大きな疑問が生じます。古いコンピュータの審判員たちは、この新しいAIアートを正しく採点できるのでしょうか？それとも、全く違うものを見ているのでしょうか？

この論文は、その問いに答えるべく、大規模な「味覚テストの対決」を企画することで、この問題に取り組んでいます。研究者たちは、17種類の異なるニューラル・オーディオ・コーデック（それぞれ異なる速度とビットレートを持ち、1.0 kbpsという低さから8.0 kbpsに及ぶものもあります）を集め、100個のクリーンな音声サンプルを入力しました。そして、群衆にMUSHRA-1Sと呼ばれる手法を用いて品質を評価させました。これは、高品質な音の間の極めて微細な違いさえも見逃さない、超精密な定規のようなものです。次に、彼らは同じ音を45種類の異なるコンピュータ・スコアリング・プログラムに通しました。これには、元の音と比較する必要があるもの（透過型）と、結果だけを見るもの（非透過型）があります。

結果は、予想していた勝者が現れないサプライズ・パーティーのようでした。研究によると、PESQやWARPQのような旧来のコンピュータの審判員は、悪くはないものの、決して優れているとは言えませんでした。彼らは人間の意見と約0.73の相関を示しました。しかし、新しいAI搭載の指標、具体的にはScoreQ、UTMOS、Audioboxが明確なチャンピオンであり、特にScoreQは0.87の相関を叩き出しました。これは、AIのオーディオを判断するには、AIの審判が必要であることを示唆しています。

しかし、物語にはひねりがありました。研究者が最も優れた音、つまり人間がほぼ完璧だと評価した音を詳しく調べたとき、奇妙なグリッチ（不具合）に気づきました。非透過型のAI指標（元の音を必要としないもの）は、「天井」に突き当たっているようだったのです。音が非常に良くなると、人間は依然として微妙な違いを聞き取れるにもかかわらず、これらの指標はスコアを変化させるのを止めてしまいました。それは、部屋がもっと熱くなっても、100度に達すると動かなくなる温度計のようなものです。著者らは、これらの指標が、しばしば単なる「5点満点」として扱われる人間の評価に基づいて訓練されているため、コンピュータが「5」と「5.5」の違いを判別するのが難しくなっているのではないかと示唆しています。

対照的に、元の音と比較する透過型の指標は、最高品質のレベルにおいても完璧に機能し続け、より小さな誤差範囲を示し、微細な変化に対しても敏感であり続けました。論文は、実用的な経験則を結論として提示しています。もし、平均的な、あるいは多少ノイズのあるオーディオをテストしているのであれば、UTMOSやScoreQのような高速な非透過型AI指標があなたの最良の味方となります。しかし、ハイファイ・オーディオを磨き上げ、極めて微細な欠陥を見つけ出す必要がある場合は、高精細な部分でもぼやけることのない拡大鏡のように機能する、ScoreQ Refのような透過型の手法に固執すべきです。この研究は単に最高のツールを見つけただけでなく、それぞれのツールがどこで機能しなくなるのかを正確に示したことで、エンジニアが適切な仕事に対して適切な審判を選ぶ手助けをしたのです。