Technische Samenvatting: Evaluatie van Song-esthetiek met Multi-Stem Attention en Hiërarchische Onzekerheidsmodellering

1. Probleemstelling

De snelle expansie van muziekcontent gedreven door generatieve AI heeft handmatige kwaliteitscontrole en esthetische evaluatie onpraktisch gemaakt, wat een dringende behoefte creëert aan geautomatiseerde systemen. Hoewel bestaand onderzoek stappen heeft gezet in spraakkwaliteit, zangkwaliteit en specifieke muzikale attributen (bijv. timbre, memorabiliteit), blijft de evaluatie van esthetiek voor volledige liederen onderbelicht.

Huidige benaderingen kampen met twee primaire beperkingen wanneer ze worden toegepast op volledige liederen:

1. Muzikale Complexiteit: In tegenstelling tot spraak of geïsoleerde zang, bestaat een lied uit verweven vocale en begeleidende stems. Esthetische kwaliteit hangt niet alleen af van de vocale prestatie, maar ook van de arrangement, melodische structuur en productie. Het overdragen van op spraak gerichte kaders faalt in het vastleggen van deze complexe interacties tussen stems.
2. Evaluatie-onzekerheid: Conventionele modellen voorspellen direct een exacte Mean Opinion Score (MOS). Dit spreekt de menselijke expertgedrag tegen, dat doorgaans een coarse-to-fine proces volgt: experts schatten eerst een benaderd score-interval onder subjectieve onzekerheid voordat ze dit verfijnen naar een exacte score. Directe regressie worstelt met het vastleggen van deze nuances, wat leidt tot instabiliteit en verminderde nauwkeurigheid.

2. Methodologie

Het paper stelt een nieuw framework voor dat specifgens is ontworpen voor de esthetiek van volledige liederen, met twee kernmodules: Multi-Stem Attention Fusion (MSAF) en Hierarchical Granularity-Aware Interval Aggregation (HiGIA).

2.1 Modeloverzicht

Het invoersignaal van het volledige lied (meestal 3–5 minuten) ondergaat muziekbron-scheiding om vocal en accompaniment stems te extraheren. Deze worden verwerkt naast het originele mixture signaal, wat drie parallelle takken vormt.

• Feature Extractie: Elke tak wordt gecodeerd met behulp van een pretrained MuQ encoder. Een CBAM-gebaseerde attention-gewogen som aggregeert multi-layer verborgen outputs naar een enkele embedding per stem. Deze embeddings gaan door Transformer-encoders om temporele afhankelijkheden te vangen.
• Fusie & Voorspelling: De resulterende features worden verwerkt door MSAF om interacties tussen stems te modelleren, gevolgd door HiGIA om de uiteindelijke esthetische score te genereren.

2.2 Multi-Stem Attention Fusion (MSAF)

MSAF adresseert de complexiteit van muzikale structuur door de wisselwerking tussen de mixture, vocal en accompaniment stems expliciet te modelleren.

• Mechanisme: Het maakt gebruik van een bidirectioneel cross-attention mechanisme. De mixture stem dient als centrale query-bron, die queries ($Q_{mix}$) en values ($V_{mix}$) genereert. De vocal en accompaniment stems leveren keys ($K_{voc}, K_{acc}$) en values ($V_{voc}, V_{acc}$).
• Interactie: Het model berekent gedeelde gelijkenismatrices tussen de mixture en elke stem. Door deze matrices te transponeren, wordt bidirectionele interactie mogelijk zonder extra query-projecties.
• Output: De module produceert gefuseerde representaties ($Out_{mix}, Out_{voc}, Out_{acc}$) via residual connections, waarbij complementaire muzikale cues over de stems heen worden gevangen.

2.3 Hierarchical Granularity-Aware Interval Aggregation (HiGIA)

HiGIA bootst de menselijke coarse-to-fine evaluatiestrategie na om subjectieve onzekerheid te behandelen.

• Multi-Granulariteit Classificatie: Voor elke esthetische dimensie opereren drie classifiers ($C_{g1}, C_{g2}, C_{g3}$) op verschillende granulariteiten (coarse, medium, fine). Elke classifier discretiseert de continue score in bins ($K_g$), waarbij fijnere granulariteiten meer bins gebruiken (bijv. $K_{g1} < K_{g2} < K_{g3}$).
• Intervalgeneratie:
  1. Het model selecteert kandidaat score-bins op basis van een waarschijnlijkheidsdrempel ($p > 1/K_g$).
  2. Het identificeert een overlap set ($O$) van bins met overlappende score-intervallen en een isolated set ($I$) van niet-overlappende bins.
  3. Als de overlap set dominant is ($|O| > |I|$), wordt het uiteindelijke interval $[L, U]$ afgeleid door het gemiddelde van de grenzen van $O$ te nemen.
  4. Als de onenigheid hoog is ($|O| \le |I|$), wordt een conservatieve gewogen aggregatie van $O$ en $I$ gebruikt.
• Finale Regressie: Een MLP regressor voorspelt een interpolatiecoëfficiënt $\alpha \in [0, 1]$ binnen het consensus-interval $[L, U]$. De finale score wordt berekend als $\hat{y} = (1-\alpha)L + \alpha U$.
• Song-Level Aggregatie: Voor volledige liederen worden segment-niveau voorspellingen geaggregeerd met behulp van een confidence weight $w_i = 1/(U_i - L_i)$, waardoor meer invloed wordt gegeven aan segmenten met smallere (zekerdere) intervallen.

3. Experimentele Opstelling

• Datasets:
  • SongEval: 2.399 volledige liederen (voornamelijk AI-gegenereerd), geannoteerd op 5 dimensies (Musicality, Coherence, Memorability, Clarity, Naturalness) op een 5-punts schaal.
  • Interne Dataset: 1.569 volledige Chinese liederen (voornamelijk door mensen gemaakt), geannoteerd door experts op 5 dimensies (Overall, Singing, Melody, Arrangement, Audio Quality) op een 100-punts schaal.
• Baselines: Vergelijking met twee SOTA-modellen: een SSL-gebaseerd model aangepast van [27] en de UTMOS-gebaseerde ensemble [11].
• Metrieken: Mean Squared Error (MSE), Linear Correlation Coefficient (LCC), Spearman Rank Correlation (SRCC), en Kendall's Tau (KTAU).

4. Resultaten

Het voorgestelde framework presteerde beter dan beide baselines op alle vier de metrieken op beide datasets.

• SongEval: Het model behaalde de beste resultaten op Musicality, Coherence en Clarity over alle metrieken heen. Het toonde bijzondere kracht in rangorde-gebaseerde metrieken (SRCC, KTAU), wat wijst op een superieur vermogen om relatieve menselijke voorkeuren te vatten.
• Interne Dataset: Het framework toonde consistente voordelen in de dimensies Overall, Singing en Melody. Met name behaalde het de hoogste LCC, SRCC en KTAU voor Audio Quality, wat suggereert dat het beter aansluit bij perceptuele trends ondanks het niet hebben van de laagste MSE.
• Ablatie-studies:
  • Het verwijderen van MSAF degradeerde de prestaties aanzienlijk op dimensies die gevoelig zijn voor stem-interactie (bijv. Coherence, Overall), wat de rol ervan bevestigt bij het modelleren van complexe muzikale features.
  • Het verwijderen van HiGIA leidde tot prestatieverlies, met name in dimensies met een hoge subjectieve onzekerheid (bijv. Musicality), wat de effectiviteit van de coarse-to-fine interval aggregatie strategie valideert.

5. Betekenis en Claims

Het paper claimt dat de primaire bijdrage een song-georiënteerd esthetiek-evaluatieframework is dat specifiek de dubbele uitdagingen van muzikale complexiteit en subjectieve evaluatie-onzekerheid aanpakt.

• Nieuwigheid: In tegen te unlike vorige werken die zich richten op spraak of geïsoleerde attributen, is dit framework ontworpen voor volledige liederen, waarbij gebruik wordt gemaakt van bidirectionele cross-attention om mixture, vocal en accompaniment stems te fuseren.
• Mens-gecentreerd Ontwerp: Door een hiërarchische, coarse-to-fine voorspellingsstrategie (HiGIA) te adopteren, sluit het model nauwer aan bij menselijke expert-besluitvormingsprocessen, wat resulteert in stabielere en nauwkeurigere voorspellingen vergeleken met directe regressie-benaderingen.
• Robuustheid: Het framework demonstreert een robuuste prestatie over diverse datadistributies (AI-gegenereerd vs. door mensen gemaakt) en variërende beoordelingsschalen (5-punts vs. 100-punts), waarmee een nieuwe benchmark wordt gesteld voor geautomatiseerde song-esthetiek evaluatie.

De auteurs concluderen dat de combinatie van MSAF en HiGIA een robuuste oplossing biedt voor multidimensionale song-esthetiek evaluatie, wat waardevolle feedback geeft voor muziekcreatie en het verbeteren van retrieval en aanbevelingssystemen in het tijdperk van generatieve AI.