Evaluating Language Model Applications for Identifying Solution-Related Content in Issue Report Discussions

Titel

Evaluatie van Toepassingen van Taalmodellen voor het Identificeren van Oplossingsgerelateerde Inhoud in Discussies over Probleemrapporten

1. Probleemstelling

Tijdens de levenscyclus van softwareontwikkeling gebruiken ontwikkelaars probleemrapporten (issue reports) om discussies te voeren over defecten, nieuwe functies en wijzigingen. Deze discussies bevatten vaak cruciale informatie over voorgestelde oplossingen, evaluaties daarvan en implementatiedetails. Het handmatig vinden van deze "oplossingsgerelateerde inhoud" in lange, vaak verwarrende discussielijnen is tijdrovend en cognitief belastend voor ontwikkelaars. Dit maakt het moeilijk om regressies op te lossen, oplossingen opnieuw te gebruiken of de rationale achter code-wijzigingen te begrijpen.

De kernvraag is hoe men deze inhoud automatisch kan identificeren. Hoewel er eerdere studies zijn gedaan met traditionele machine learning-modellen, is het nog onduidelijk hoe verschillende moderne modellen (Machine Learning Models, Pre-trained Language Models en Large Language Models) presteren bij deze specifieke taak, en of combinaties van deze modellen beter werken.

2. Methodologie

De auteurs voerden een empirische studie uit met de volgende aanpak:

• Dataset: Er werd gebruikgemaakt van een dataset van 356 Mozilla Firefox issue-rapporten, bestaande uit 4.917 handmatig geannoteerde comments. De annotatie was gebaseerd op een eerdere studie en verdeelde comments in twee klassen: "oplossingsgerelateerd" (808 comments, 16,5%) en "niet-oplossingsgerelateerd" (4.109 comments).
• Modellen: Er werden 12 verschillende classificatiemodellen getest, verdeeld over drie categorieën:
  1. Machine Learning Models (MLMs): 6 traditionele modellen (Logistic Regression, KNN, Naïve Bayes, SVM, Decision Trees, Random Forest).
  2. Pre-trained Language Models (PLMs): 4 Transformer-modellen (Bert, DistilBert, RoBERTa, XLNet).
  3. Large Language Models (LLMs): 2 modellen (Llama-3 en GPT-4, voornamelijk voor embeddings en prompting).
• Experimentele Opstellingen: Drie benaderingen werden geëvalueerd:
  1. Embeddings: Het gebruik van embeddings gegenereerd door LLMs (zoals GPT-4, Llama-3) als input voor traditionele MLMs.
  2. Prompting: Het gebruik van Llama-3 voor classificatie via prompts (Zero-shot, Few-shot, Chain-of-Thought).
  3. Fine-tuning: Het aanpassen van PLMs en LLMs (Llama-3) op de specifieke dataset.
• Validatie: Er werd gebruikgemaakt van 10-voudige kruisvalidatie. Ook werden ensemble-methoden (meerderheidsstemming) getest om te zien of het combineren van modellen de prestaties verbetert.
• Generalisatie: De beste modellen werden getest op twee andere projecten (Chromium en GnuCash) om te zien of kennis overdraagbaar is, zowel met alleen Mozilla-data als met een hybride aanpak (Mozilla + project-specifieke data).

3. Belangrijkste Bijdragen

1. Uitgebreide Vergelijking: Een systematische evaluatie van 12 classifiers en 68 configuraties om de effectiviteit van embeddings, prompting en fine-tuning te bepalen voor het identificeren van oplossingen.
2. Ensemble Strategie: Onderzoek naar het combineren van verschillende modeltypen (MLM, PLM, LLM) om de voorspellende kracht te verhogen.
3. Kwalitatieve Analyse: Diepgaande analyse van fouten (false positives/negatives) om te begrijpen waarom modellen falen (bijv. door misleidende sleutelwoorden of gebrek aan context).
4. Generalisatiestudie: Bewijs dat modellen getraind op Mozilla-data succesvol kunnen worden toegepast op andere projecten, vooral wanneer ze worden aangevuld met een kleine hoeveelheid project-specifieke data.
5. Replicatiepakket: Publicatie van alle broncode, data en documentatie voor reproduceerbaarheid.

4. Resultaten

De resultaten tonen duidelijke trends in de prestaties (gemeten aan de hand van de F1-score):

• Embeddings vs. Traditionele Features: MLMs die gebruikmaken van LM-embeddings (zoals Llama-embeddings) presteerden significant beter dan die met traditionele Tf-Idf features. SVM met GPT-embeddings behaalde de beste score onder de traditionele modellen (F1 = 0,663).
• Prompting: Prompting met Llama-3 (zelfs met Chain-of-Thought en Few-shot) presteerde slechtst met een F1-score van 0,517. Dit suggereert dat generatieve modellen zonder fine-tuning moeite hebben met de complexe patronen in oplossingsdiscussies.
• Fine-tuning: Fine-tuned modellen presteerden het beste.
  • Llama-3ft (fine-tuned Llama-3) behaalde de hoogste individuele score: F1 = 0,716 (Recall = 0,838).
  • RoBERTa (fine-tuned) behaalde een F1 van 0,692.
• Ensembles: Het combineren van de beste modellen van elk type (SVM + RoBERTa + Llama-3ft) leverde de hoogste prestatie op met een F1-score van 0,737.
• Generalisatie:
  • Modellen getraind op Mozilla presteerden beter op Chromium en GnuCash dan modellen die alleen op de kleine project-datasets waren getraind.
  • De Hybride Training (Mozilla-data + kleine hoeveelheid project-specifieke data) leverde de beste resultaten op voor alle projecten (F1 tot 0,961 voor RoBERTa op GnuCash).
  • Opmerkelijk: Op de kleinere datasets presteerden kleinere modellen (SVM, RoBERTa) beter dan de grote LLM (Llama-3ft), wat suggereert dat grote modellen meer data nodig hebben voor effectieve adaptatie.

5. Kwalitatieve Analyse van Fouten

De analyse van misclassificaties toonde aan dat modellen vaak falen door:

• Misleidende aanwijzingen: Comments met technische termen, code-snippets of woorden als "patch" of "fix" worden vaak ten onrechte als oplossing gemarkeerd, zelfs als het slechts een analyse of review is.
• Gebrek aan context: Korte of abstracte comments die een oplossing impliceren maar niet expliciet beschrijven, worden vaak gemist. De modellen hebben vaak de context van de issue-beschrijving of voorgaande comments nodig om de intentie te begrijpen.

6. Betekenis en Implicaties

• Praktische Toepassing: Teams kunnen fine-tuned modellen (zoals RoBERTa of Llama-3ft) integreren in issue-trackers om automatisch oplossingsgerelateerde comments te markeren. Dit versnelt het proces van het oplossen van regressies en het hergebruiken van kennis.
• Kosten-effectiviteit: Voor teams met beperkte rekenkracht biedt de combinatie van SVM met LM-embeddings een sterke, lichtgewicht alternatief. Voor maximale nauwkeurigheid is fine-tuning echter noodzakelijk.
• Toekomstige Richting: De studie benadrukt de noodzaak van context-bewuste modellen die niet alleen individuele comments analyseren, maar de hele discussiestroom (thread-level) meenemen. Ook is verder onderzoek nodig naar mens-in-de-lus systemen en uitlegbare AI om het vertrouwen van ontwikkelaars te vergroten.

Kortom, deze studie bewijst dat geavanceerde taalmodellen, vooral wanneer ze zijn gefine-tuned en gecombineerd met project-specifieke data, een krachtig hulpmiddel zijn om de complexiteit van software-ontwikkelingsdiscussies te doorgronden en oplossingen efficiënter te lokaliseren.