Sentiment analysis for software engineering: How far can zero-shot learning (ZSL) go?

Probleemstelling

Sentimentanalyse in de software-engineering (SE) is essentieel voor het begrijpen van emoties in softwareartefacten zoals app-reviews, ontwikkelaarscommunicatie en discussies op technische Q&A-websites. Echter, bestaande, algemene sentimentanalyse-tools presteren vaak suboptimaal binnen de specifieke context van software-engineering.

De ontwikkeling van gespecialiseerde tools is momenteel afhankelijk van supervised machine learning, wat grote hoeveelheden gelabelde datasets vereist. Het verzamelen en annoteren van deze datasets is:

• Kostbaar en tijdrovend.
• Vereist domeinspecifieke expertise.
• Lastig te schalen omdat elke nieuwe context (bijv. van code-reviews naar app-reviews) vaak een nieuw model en nieuwe dataset vereist.

Dit leidt tot een tekort aan gelabelde data en beperkte generaliseerbaarheid van bestaande modellen. De auteurs onderzoeken of Zero-Shot Learning (ZSL) een oplossing biedt voor dit tekort aan gelabelde data.

Methodologie

De auteurs hebben een empirisch experiment uitgevoerd om de prestaties van verschillende ZSL-technieken te evalueren in diverse SE-contexten.

1. Gebruikte Datasets:
Ze gebruikten zeven openbare datasets die veel voorkomen in SE-sentimentanalyse:

• API-reviews, Gerrit (code reviews), GitHub (pull requests/commits), Gitter (ontwikkelaarsberichten), Google Play (app-reviews), Jira (issue-opmerkingen) en Stack Overflow (posts).

2. ZSL-Technieken en Modellen:
Vier hoofdtechnieken werden getest met diverse Large Language Models (LLMs):

• Embedding-based: Gebruikt semantische gelijkenis tussen tekst en labels (o.a. BERT, RoBERTa, XLNet, en gespecialiseerde modellen zoals Twitter-RoBERTa).
• NLI-based (Natural Language Inference): Formuleert classificatie als een implicatieprobleem (premise vs. hypothese).
• TARS-based (Task-Aware Representation of Sentences): Formuleert het als een binaire classificatieopdracht per label.
• Generative-based: Gebruikt generatieve modellen (GPT-3.5 Turbo) via prompts.

3. Label-configuraties:
Om de impact van labelvormulering te testen, werden drie types labels gebruikt:

• Origineel (L1): De standaard labels uit de datasets.
• Expert-gecureerd (L2-L5): Labels verrijkt met contextuele informatie en de term "sentiment" (bijv. "Een app-review met positieve sentiment").
• LLM-gegenereerd (L6-L7): Labels gegenereerd door ChatGPT met uitgebreide beschrijvingen van emoties.

4. Vergelijking en Evaluatie:

• De prestaties werden gemeten met Macro-F1 en Micro-F1 scores.
• Statistische significantie werd getest met de Scott-Knott ESD-test.
• De beste ZSL-resultaten werden vergeleken met state-of-the-art fine-tuned transformer-modellen (zoals fine-tuned BERT en RoBERTa).
• Een foutanalyse (error analysis) werd uitgevoerd om oorzaken van misclassificaties te identificeren.

Belangrijkste Bijdragen

1. Empirische Evaluatie van ZSL in SE: Het is een van de eerste studies die systematisch de effectiviteit van ZSL voor sentimentanalyse in software-engineering vergelijkt met fine-tuned modellen.
2. Impact van Label-ontwerp: Het onderzoek toont aan dat de manier waarop labels worden geformuleerd (vooral met expert-gecureerde, contextuele labels) een aanzienlijke invloed heeft op de prestaties van ZSL-modellen.
3. Vergelijking met Fine-tuning: Het biedt een directe benchmark tussen "zero-shot" en "fine-tuned" benaderingen, wat cruciaal is voor organisaties die geen resources hebben voor data-annotatie.
4. Foutanalyse: Een gedetailleerde analyse van waarom modellen falen, specifiek gericht op de nuances van SE-data (zoals ironie en neutrale feiten).

Resultaten

• Prestaties van ZSL: ZSL-technieken kunnen prestaties behalen die vergelijkbaar zijn met, en soms zelfs beter zijn dan, state-of-the-art fine-tuned modellen, zonder dat er extra trainingsdata nodig is.
  • De Embedding-based techniek met het model Twitter-RoBERTa (E M9) in combinatie met expert-gecureerde labels (L3) presteerde over het algemeen het beste.
  • Generative-based modellen (GPT-3.5) presteerden ook sterk, vooral met originele labels, maar waren iets minder consistent dan de beste embedding-modellen.
  • NLI-based modellen presteerden goed, maar vaak iets minder dan de beste embedding- en generatieve modellen.
• Invloed van Labels: Expert-gecureerde labels (L2 en L3) die context en de term "sentiment" bevatten, verbeterden de prestaties van embedding- en NLI-modellen aanzienlijk ten opzichte van de originele labels.
• Vergelijking met Fine-tuning: Hoewel fine-tuned modellen over het algemeen iets beter presteerden op technische datasets (zoals API-reviews en GitHub), presteerden de beste ZSL-combinaties (E M9 + L3) statistisch gelijkwaardig aan de top fine-tuned modellen.
• Foutanalyse:
  • De meeste misclassificaties vonden plaats bij het neutrale sentiment.
  • De twee belangrijkste oorzaken van fouten waren:
    1. Subjectiviteit in annotatie: Verschillende annotatoren interpreteerden emoties anders.
    2. Polaire feiten (Polar facts): Zinnen die een feit beschrijven dat inherent goed of slecht is, maar neutraal klinkt (bijv. "dit werkt niet"), wat door modellen vaak verkeerd wordt geïnterpreteerd.

Betekenis en Conclusie

De studie concludeert dat Zero-Shot Learning een levensvatbare en krachtige oplossing is voor het tekort aan gelabelde data in sentimentanalyse voor software-engineering.

• Praktische Toepassing: Organisaties kunnen nu sentimentanalyse toepassen op nieuwe contexten zonder de hoge kosten en moeite van het handmatig annoteren van datasets.
• Domeinspecifieke Kennis: Het bewijst dat modellen die zijn voorgeïntroduceerd op vergelijkbare domeinen (zoals Twitter-sentiment voor ontwikkelaarscommunicatie) zeer effectief kunnen zijn in SE, zelfs zonder fine-tuning.
• Toekomstperspectief: Hoewel ZSL veelbelovend is, blijven uitdagingen bestaan bij het interpreteren van neutrale zinnen met een sterke onderliggende emotie en bij de subjectiviteit van menselijke annotatie. Toekomstig onderzoek moet zich richten op het optimaliseren van prompt-strategieën en het gebruik van XAI (Explainable AI) voor diepere foutanalyse.

Kortom, ZSL biedt een praktische weg om sentimentanalyse in software-engineering te schalen, waarbij de afhankelijkheid van grote, handmatig gelabelde datasets wordt verminderd.