Technische Samenvatting: Een Hybride Raamwerk voor het Annoteren van Songteksten Gebaseerd op Mens-LLM Alignement

1. Probleemstelling

Emotieherkenning in muziek (MER) heeft traditioneel vertrouwd op audio-kenmerken, waarbij songteksten vaak als secundair worden beschouwd of hetzelfde emotionele label krijgen als de volledige song. Deze aanpak negeert het feit dat songteksten unieke, evoluerende emotionele betekenissen bezitten die mogelijk niet overeenkomen met de audio en die dynamisch per regel variëren. Bovendien is het annoteren van songteksten inherent uitdagend vanwege:

• Subjectiviteit en Variabiliteit: Discrepantie tussen annotatoren gedreven door culturele achtergrond, individuele interpretatie en linguïstische nuances.
• Schaalbaarheid: Handmatige annotatie is arbeidsintensief en kostbaar, vooral op zinsniveau zoals vereist om temporele emotionele verschuivingen te vangen.
• Ambiguïteit: Metaforische en contextafhankelijke teksten missen vaak duidelijke tekstuele aanwijzingen voor consistente emotionele labeling.

Het artikel onderzoekt de alignering tussen mensen en Large Language Models (LLMs) voor de emotie-annotatie van songteksten op zinsniveau en stelt een hybride raamwerk voor om de complementaire sterktes van beide te benutten.

2. Methodologie

A. Dataset Curatie

De auteurs hebben een nieuwe dataset op zinsniveau samengesteld bestaande uit 652 tekstsegmenten van 50 nummers (geselecteerd uit de DEAM- en PMEmo-datasets).

• Granulariteit: De teksten werden handmatig gesegmenteerd in semantisch betekenisvolle eenheden op zinsniveau om dynamische emotionele verschuivingen te vangen.
• Labels: Elk segment werd geannoteerd voor Valentie en Arousal (VA) op een continue schaal van -1 tot 1, in lijn met het Russell circumplex-model.
• Diversiteit: De dataset beslaat verschillende genres (pop, rock, klassiek, jazz, elektronisch) en omvat transnationale creatieve invloeden.

B. Annotatieprocedure

Twee afzonderlijke annotatie-pipelines werden onafhankelijk uitgevoerd:

1. Menselijke Annotatie: Drie PhD-studenten (met een Oost-/Zuid-Aziatische achtergrond) annoteerden segmenten met behulp van een aangepaste HTML-tool met een VA circumplex-plot.
2. LLM-Annotatie: Drie state-of-the-art modellen (GPT-4, Gemini 1.5, LLaMA 3) werden geprompt met behulp van een "Semantic Anchoring"-aanpak. De prompts boden 28 referentiecoördinaten (Valentie, Arousal) voor veelvoorkomende emoties om de outputruimte te standaardiseren zonder discrete categorieën af te dwingen.

C. Vergelijkende Analyse

De studie analyseerde overeenstemming en correlatie:

• Consistentie: LLM's vertoonden een hogere interne consistentie voor Arousal (Gemiddelde Std: 0,182 vs. Mens 0,215) maar een iets hogere variabiliteit voor Valentie (Gemiddelde Std: 0,251 vs. Mens 0,233).
• Lengteafhankelijkheid: De menselijke discrepantie in arousal nam toe met de lengte van de tekst, terwijl de LLM-discrepie in valentie afnam naarmate de context toenam.
• Correlatie: De mens-LLM-correlaties waren over het algemeen laag (bijv. $r=0,29$ voor Valentie), wat wijst op een mismatch in oordelen over affectieve polariteit, terwijl de LLM-LLM-correlaties sterker waren.

D. Het Hybride Annotatie-raamwerk

Om kwaliteit en efficiëntie te optimaliseren, stellen de auteurs een raamwerk met drie componenten voor:

1. Gewogen Aggregatie:

   • Menselijke Gewichten: Berekend op basis van pairwise Kendall's Tau-correlaties tussen menselijke annotatoren.
   • LLM-Gewichten: Berekend op basis van de Spearman-rangcorrelatie tussen de output van elk LLM en de geaggregeerde menselijke consensus.
   • Resultaat: Een betrouwbaarheidsgewogen score die de ruis van de annotator verzacht.

2. Voorspelling van de Annotatiebron:

   • Een supervised learning-aanpak om de optimale annotator (Mens vs. specifieke LLM) voor elke regels van de tekst te voorspellen.
   • Kenmerken: Linguïstische complexiteit (lengte, syntaxis, figuratieve taal), semantische kenmerken (sentiment-polariteit), indicatoren van discrepantie en LLM-vertrouwenssignalen.
   • Proxy-labels: Omdat de grondwaarheid voor de "beste" annotator niet beschikbaar is, werd een proxy-label geconstrueerd met behulp van gewogen consensus, waarbij prioriteit werd gegeven aan bronnen met een lagere afwijking en een betere behandeling van figuratieve inhoud.
   • Geëvalueerde Modellen: Decision Tree, Random Forest, Semi-Supervised Learning en Reinforcement Learning. De Random Forest behaalde de hoogste nauwkeurigheid (67,0%), met name bij het identificeren van regels die geschikt zijn voor LLM-annotatie (85% recall).

3. Routing-logica:

   • Het raamwerk routeert segmenten dynamisch: eenvoudige of letterlijke regels worden toegewezen aan LLM's, terwijl complexe, metaforische of ambigue regels naar menselijke experts worden gerouteerd.
   • Ablatie-studie: Identificeerde Linguïstische Complexiteit en Annotator-overeenstemming als de primaire drijvers voor de routing-beslissingen, die bijna de helft van de routing-logica van de dataset bepaalden.

3. Belangrijkste Resultaten

• Complementariteit: Mensen blinken uit in het interpreteren van subtiele, metaforische en cultureel genuanceerde teksten, maar lijden onder een hoge variabiliteit. LLM's bieden consistente, schaalbare annotaties voor eenvoudige teksten, maar worstelen met subjectieve valentie in complexe contexten.
• Kostenefficiëntie:
  • Alleen Menselijk: Geschat op A$87.500 voor de volledige dataset (ca. 42.000 regels).
  • Alleen LLM: Geschat op A$75 (API-kosten) of GPU-kosten voor lokale inferentie.
  • Hybride: Door ongeveer 26% van de regels (hoge complexiteit) naar mensen te routeren en ongeveer 74% naar LLM's, vermindert het raamwerk de menselijke arbeidskosten met naar schatting 70% terwijl een hoge kwaliteit van annotatie behouden blijft.
• Prestaties: De modellen voor bronvoorspelling behaalden nauwkeurigheden tussen de 62% en 67%, wat voldoende is om te dienen als een "first-pass" filter om de toewijzing van middelen te optimaliseren.
• Iteratieve Optimalisatie: Een pilot-experiment waarbij LLaMA werd verfijnd op hybride-geannoteerde segmenten resulteerde in een reductie van 15,4% in routing-triggers, wat suggereert dat het systeem in de loop van de tijd kan verbeteren door de menselijke expert-logica te internaliseren.

4. Betekenis en Claims

Het artikel beweert dat het voorgestelde hybride raamwerk een robuuste en schaalbare oplossing biedt voor de emotie-annotatie van songteksten door:

1. De Kloof te Overbruggen: Het adresseert de subjectiviteit van menselijke annotatie en het gebrek aan nuance in geautomatiseerde annotatie door dynamisch de beste bron te selecteren op basis van de kenmerken van de tekst.
2. Kosteneffectiviteit: Het toont aan dat aanzienlijke kostenbesparingen (tot 70%) haalbaar zijn zonder de kwaliteit van de annotatie in gevaar te brengen, mits de omvang van de dataset voldoende is (het break-even punt ligt bij ~1.000 regels).
3. Methodologische Bijdrage: Het introduceert een nieuwe "Semantic Anchoring" prompt-strategie voor LLM's en een methode voor gewogen aggregatie die de onderlinge betrouwbaarheid van annotatoren benut om hoogwaardige proxy-labels voor training te creëren.
4. Toekomstige Richting: Dit werk legt de basis voor nauwkeurigere multimodale MER-systemen door de emotionele bijdragen van songteksten te scheiden van de audio, waarbij de focus verschuift van song-niveau labels naar een temporele, dynamische analyse op zinsniveau.

De auteurs blijven bescheiden en erkennen beperkingen zoals de kleine, cultureel homogene groep menselijke annotatoren en de matige nauwkeurigheid van de voorspellingsmodellen. Ze suggereren dat toekomstig werk zich moet richten op het integreren van audio-kenmerken, het uitbreiden naar meertalige datasets en het verfijnen van de routing-logica met diepere contextuele embeddings.