AnimeScore: A Preference-Based Dataset and Framework for Evaluating Anime-Like Speech Style

Deze paper introduceert AnimeScore, een voorkeursgebaseerd framework dat 15.000 paarwijze beoordelingen en SSL-modellen gebruikt om een objectieve maatstaf te bieden voor het evalueren van 'anime-achtige' stemmen, waarbij wordt aangetoond dat deze stijl wordt bepaald door geresoneerde klankvorming en prosodie in plaats van alleen een hoge toonhoogte.

De kern

Stel je voor dat je een nieuwe anime-figuur creëert. Je hebt een fantastisch script, prachtige tekeningen, maar de stem die uit de luidsprekers komt... die voelt net niet "echt" anime-achtig. Het klinkt misschien te saai, te serieus of gewoon als een gewone nieuwslezer.

Voorheen was het voor ontwikkelaars een enorme uitdaging om dit te meten. Ze moesten honderden mensen een headset opzetten en vragen: "Klinkt dit als een anime?" Dit is duur, tijdrovend en vaak subjectief. Iedereen heeft een ander idee van wat "anime-achtig" is.

De auteurs van dit paper, Joonyong Park en Jerry Li, hebben een oplossing bedacht genaamd AnimeScore. Laten we uitleggen hoe dit werkt, alsof we het in de keuken bespreken.

1. Het Probleem: De "Smaaktest" is lastig

Stel je voor dat je een kok bent die de perfecte "spicy" saus maakt. Je kunt niet zomaar vragen: "Is dit 7 op een schaal van 1 tot 10?" Want voor de één is 7 heel pittig, en voor de ander is 7 mild.
Bij anime-stemmen is het hetzelfde. "Anime-achtig" is geen vast getal. Het is een gevoel. Als je mensen vraagt om een stem op een cijfer te beoordelen, krijg je een rommeltje van antwoorden.

2. De Oplossing: De "Blind Taste Test" (Pairwise Ranking)

In plaats van te vragen "Hoe goed is deze stem?", hebben de onderzoekers de mensen een andere vraag gesteld: "Welke van deze twee stemmen klinkt meer als een anime?"

Dit is als een blind proefje in een supermarkt. Je hoeft niet te weten hoe pittig de saus is, je moet alleen weten welke van de twee potten het lekkerst smaakt.

• Ze hebben 187 mensen gevraagd om 15.000 keer een keuze te maken tussen twee stemmen.
• Mensen kregen ook de kans om in hun eigen woorden te schrijven waarom ze die stem kozen.

3. Wat hebben ze ontdekt? (De "Geheime Ingrediënten")

Je zou misschien denken: "Oh, anime-stemmen zijn gewoon heel hoog en schel, net als een muisje."
Fout! De data toont aan dat het veel subtieler is. Het is alsof je een gerecht maakt en denkt dat het alleen om de hoeveelheid peper gaat, terwijl het eigenlijk om de balans tussen kruiden gaat.

De onderzoekers ontdekten dat echte anime-stemmen worden bepaald door drie dingen:

1. De "Resonantie" (De klankkleur): Het is niet alleen hoog, maar het klinkt "vol" en gecontroleerd. Alsof de stem in een specifieke kamer wordt opgenomen die de klank verrijkt.
2. De "Flow" (De prosodie): De stem stroomt soepel door. Er zijn minder onnodige pauzes of haperingen. Het klinkt als een doorlopende rivier, niet als een stroompje met veel stenen erin.
3. De "Duidelijkheid" (De articulatie): De woorden worden heel bewust en scherp uitgesproken, maar toch snel. Het is als een danser die elke stap perfect zet, maar de dans snel uitvoert.

4. De Robot die het Kan (Het AI-model)

Nu hebben ze een computermodel getraind om deze keuzes na te bootsen.

• De oude manier: Ze probeerden de computer te leren met simpele regels (zoals "meet de hoogte van de stem"). Dit werkte maar voor ongeveer 69% van de tijd. De computer miste de subtiele nuances.
• De nieuwe manier (AnimeScore): Ze gebruikten een slimme AI (een "SSL-model") die eerst duizenden uren luistert naar spraak om een gevoel voor taal te krijgen, net zoals een kind dat luistert naar zijn ouders. Daarna leerden ze de AI om te vergelijken.
• Het resultaat: Deze slimme AI heeft nu 91% van de menselijke keuzes correct voorspeld.

Waarom is dit belangrijk?

Stel je voor dat je een videospel ontwikkelt. In plaats van elke keer een groep mensen te moeten bellen om te testen of de stemmen goed klinken, kun je AnimeScore gebruiken als een "automatische smaakmeter".

• Je kunt duizenden gegenereerde stemmen in seconden testen.
• Je kunt de AI die de stemmen maakt zelfs "belonen" als hij een stem maakt die de score hoog krijgt (net zoals je een hondje een snoepje geeft als hij goed zit).

Samenvatting in één zin

De onderzoekers hebben een slimme manier bedacht om "anime-achtige stemmen" te meten door mensen niet te vragen voor cijfers, maar om keuzes te maken, en hebben zo een computermodel getraind dat begrijpt dat een echte anime-stem niet alleen hoog is, maar vooral vol, vloeiend en scherp klinkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AnimeScore: A Preference-Based Dataset and Framework for Evaluating Anime-Like Speech Style", vertaald en samengevat in het Nederlands.

Probleemstelling

De evaluatie van "anime-achtige" stemmen (anime-likeness) is momenteel afhankelijk van kostbare subjectieve oordelen, terwijl er geen gestandaardiseerde objectieve metriek voor bestaat. Een fundamenteel probleem is dat "anime-achtigheid", in tegenstelling tot eigenschappen als natuurlijkheid of verstaanbaarheid, niet op een gedeelde absolute numerieke schaal kan worden gescoord. Het is een multidimensionaal concept zonder een perceptueel anker, waardoor traditionele Mean Opinion Score (MOS)-protocollen onbetrouwbaar zijn. Dit creëert een bottleneck voor ontwikkelaars van spraakgeneratiesystemen, die vaak dure luistertests moeten uitvoeren om te bepalen of gegenereerde spraak de gewenste stijl bereikt.

Methodologie

De auteurs stellen AnimeScore voor, een raamwerk dat gebaseerd is op voorkeursbeoordeling (preference-based) via paarsgewijze rangschikking (pairwise ranking). De aanpak omvat drie hoofdfasen:

1. Dataverzameling en Preprocessing:

   • Er zijn 15.000 paarsgewijze oordelen verzameld van 187 beoordelaars (met variërende leeftijd, geslacht en bekendheid met anime).
   • De dataset is samengesteld uit drie bronnen: Anim-400k (anime-georiënteerd), ReazonSpeech (TV/alledaags) en Coco-Nut (diverse YouTube-stijlen).
   • Om bias te minimaliseren, is een strikte drie-staps filteringspipeline toegepast:
     • Taalbiasreductie: Een taalmodel (Qwen3-30B) filtert teksten die te sterk lijken op anime-scripts, zodat beoordelaars zich op de akoestiek en niet op de inhoud richten.
     • Kwaliteitsfiltering: Alleen samples met een hoge spraakherkenningskwaliteit (CER), een duur van 2-10 seconden en een hoge voorspelde MOS (>3) werden behouden.
     • Spreker-matching: Met behulp van ECAPA-TDNN embeddings werd de sprekerdiversiteit gebalanceerd om te voorkomen dat bepaalde sprekers de dataset domineren.
   • Er werden 12.500 trainingsparen en 2.500 testparen gegenereerd, waarbij prioriteit werd gegeven aan paren van verschillende bronnen om contrast te maximaliseren.

2. Analyse van Akoestische Kenmerken:

   • Beoordelaars gaven naast hun keuze ook vrije tekstbeschrijvingen van hun waarneming. Deze werden geanalyseerd met een LLM (Gemini 3 Pro) en gecategoriseerd in vijf dimensies: Emotionele explicietheid, Klankkleurverschil, Prosodische salientie, Articulatiehelderheid en Temporele controle.
   • Er werd gekeken naar de correlatie tussen deze perceptuele dimensies en akoestische proxies (zoals formanten, F0, spectrale flux, pauzeratio).

3. Modelontwikkeling:

   • Baseline: Een logistische regressie op handgemaakte akoestische kenmerken (handcrafted features) om de bovengrens van traditionele methoden te bepalen.
   • SSL-Modellen: Verschillende Self-Supervised Learning (SSL) backbones (wav2vec 2.0, WavLM, HuBERT, data2vec) werden gebruikt als encoder. De output werd verwerkt door een BiLSTM en een MLP om een scalar score te voorspellen. Het model werd getraind met een RankRank-verlies (pairwise logistic loss) om de voorkeur tussen twee audiofragmenten te voorspellen.

Belangrijkste Bijdragen

• AnimeScore Dataset: Een grote, gestructureerde dataset van 15.000 paarsgewijze voorkeuren met bijbehorende vrije tekstbeschrijvingen, specifiek gericht op anime-stijl.
• Inzicht in Perceptie: De studie weerlegt het stereotype dat anime-stemmen puur gebaseerd zijn op een hoge toonhoogte (pitch). In plaats daarvan wordt de perceptie gedreven door gecontroleerde resonantie-vorming, prosodische continuïteit en bewuste articulatie.
• Objectieve Metriek: Een trainbaar, automatisch evaluatiemodel dat dienst kan doen als vervanging voor dure menselijke luistertests en als beloningssignaal (reward signal) voor Reinforcement Learning from Human Feedback (RLHF) in generatieve spraakmodellen.

Resultaten

• Akoestische Analyse:
  • De "win-rate" (hoe vaak een sample als meer anime-achtig werd gezien) was significant hoger voor anime-bronnen (Anim-400k) dan voor algemene spraak.
  • Formanten: Begeleide samples hadden juist lagere mediane formantfrequenties (F1-F3), wat suggereert dat een "volledigere" klankkleur belangrijker is dan een hoge piek.
  • Prosodie: Er werd een voorkeur gevonden voor een hoger percentage stemgeluid (voicing ratio) en spectrale flux (continuïteit), en minder ongestemde onderbrekingen.
  • Articulatie: Er is een paradoxale strategie waargenomen: een hoge sylabesnelheid (snelle flow) gecombineerd met minder pauzes, maar wel een bewuste, duidelijke articulatie van individuele segmenten.
• Modelprestaties:
  • Handgemaakte Kenmerken: De logistische regressie op handgemaakte features bereikte een AUC van 69,3%. Dit toont de beperking van traditionele metrics aan.
  • SSL-Modellen: De modellen gebaseerd op SSL-embeddings presteerden aanzienlijk beter. Het HuBERT-model bereikte een AUC van 90,8%, wat aantoont dat geleerde representaties de complexe, multidimensionale aard van anime-achtigheid veel beter kunnen vastleggen dan handmatige regels. Masked-prediction modellen (HuBERT, WavLM) presteerden beter dan contrastieve modellen (wav2vec 2.0).

Betekenis en Toekomst

AnimeScore biedt een praktische, schaalbare oplossing voor het evalueren van specifieke spraakstijlen die zich niet laten vangen door absolute scores. De hoge prestaties van de SSL-modellen onderstrepen het belang van geleerde representaties voor perceptuele taken. De auteurs identificeren beperkingen zoals de schaal van de dataset en demografische onevenwichtigheden, maar benadrukken dat de voorgestelde predictor direct inzetbaar is als reward-signal om generatieve spraakmodellen te optimaliseren naar een specifieke "anime-stijl", waardoor de iteratieve ontwikkeling van dergelijke systemen aanzienlijk kan worden versneld.