Evaluating Language Model Applications for Identifying Solution-Related Content in Issue Report Discussions

1. Problemstellung

Während der Softwarewartung und -entwicklung diskutieren Entwickler in Issue-Reports (z. B. auf GitHub, Jira, Bugzilla) Lösungen für Defekte, Feature-Anfragen und andere Änderungen. Diese Diskussionen enthalten eine Mischung aus Lösungsvorschlägen, Evaluierungen, Implementierungsdetails sowie irrelevanten Informationen wie Fehlerbeschreibungen, Reproduktionsschritten oder Fragen.

Das manuelle Identifizieren von lösungsbezogenem Inhalt (solution-related content) in diesen oft langen und verworrenen Diskussionen ist für Entwickler zeitaufwendig und kognitiv belastend. Dies erschwert Aufgaben wie das Beheben von Regressionen, das Verständnis von Code-Änderungen oder die Wiederverwendung von Lösungen. Das Paper formuliert das Problem als binäre Textklassifizierungsaufgabe: Ein Klassifikator soll entscheiden, ob ein Kommentar in einer Issue-Diskussion lösungsbezogen ist oder nicht. Bisher ist unklar, wie verschiedene Modellfamilien (traditionelle ML-Modelle, vortrainierte Sprachmodelle und Large Language Models) sowie verschiedene Anwendungsmethoden (Embeddings, Prompting, Fine-Tuning) bei dieser spezifischen Aufgabe abschneiden.

2. Methodik

Die Studie ist eine empirische Evaluation, die auf einem Datensatz von 356 Issue-Reports des Mozilla Firefox-Projekts basiert. Der Datensatz umfasst 4.917 manuell annotierte Kommentare (808 lösungsbezogen, 4.109 nicht lösungsbezogen), die in einem vorherigen Werk rigoros annotiert wurden.

Die Autoren untersuchten drei Hauptanwendungsbereiche von Sprachmodellen über drei Klassen von Klassifikatoren:

1. Traditionelle Machine-Learning-Modelle (MLMs):
   • Sechs Modelle: Logistic Regression, K-Nearest Neighbors (kNN), Naïve Bayes, Support Vector Machines (SVM), Decision Trees, Random Forest.
   • Eingabe: Text-Embeddings von Sprachmodellen (GPT-4, Llama-3, BERT) im Vergleich zu einem Baseline TF-IDF.
2. Prompting von Large Language Models (LLMs):
   • Modell: Llama-3 (70B Parameter).
   • Strategien: Zero-Shot, Few-Shot und Chain-of-Thought (CoT), mit und ohne Kontext (Issue-Beschreibung).
3. Fine-Tuning von Sprachmodellen:
   • Modelle: Vier Pre-trained Language Models (PLMs: BERT, DistilBERT, RoBERTa, XLNet) und ein LLM (Llama-3 8B).
   • Die Modelle wurden spezifisch für die binäre Klassifizierung (Lösung vs. Nicht-Lösung) feinabgestimmt.

Experimentelles Design:

• Datenaufteilung: 10-fache Kreuzvalidierung.
• Ensemble-Methoden: Kombination der besten Modelle durch Mehrheitsvoting (konservativ und nicht-konservativ).
• Generalisiertbarkeit: Evaluation der auf Mozilla trainierten Modelle auf zwei anderen Projekten: Chromium und GnuCash. Dabei wurden Szenarien für projekt-spezifisches Training, cross-projekt Training und hybrides Training (Mozilla + Projekt-Daten) verglichen.
• Qualitative Analyse: Untersuchung von Fehlklassifikationen (False Positives/Negatives) der drei besten Modelle (SVM, RoBERTa, Llama-3ft).

3. Wichtige Beiträge

1. Umfassende Evaluation: Eine systematische Bewertung von 12 verschiedenen Klassifikatoren (MLM, PLM, LLM) über 68 Konfigurationen hinweg für die Identifikation von Lösungs-Inhalten.
2. Ensemble-Analyse: Untersuchung, ob die Kombination unterschiedlicher Modelltypen die Leistung verbessert.
3. Qualitative Einblicke: Eine detaillierte Analyse, warum die besten Modelle scheitern (z. B. durch irreführende Schlüsselwörter oder fehlenden Kontext).
4. Generalisiertbarkeitsstudie: Nachweis, dass Wissen aus Mozilla-Daten auf andere Projekte (Chromium, GnuCash) übertragbar ist, insbesondere durch hybrides Training.
5. Reproduzierbarkeit: Bereitstellung eines vollständigen Replication Packages mit Code, Daten und Dokumentation.

4. Ergebnisse

Leistung der Modelle:

• Embeddings vs. TF-IDF: MLMs mit Sprachmodell-Embeddings (insbesondere Llama-3-Embeddings) übertrafen deutlich die traditionellen TF-IDF-Features.
• Beste MLM-Konfiguration: Ein Support Vector Machine (SVM) mit GPT-Embeddings (ohne Datenbalancierung) erreichte die beste Leistung unter den klassischen ML-Modellen mit einem F1-Score von 0,663.
• Prompting: Das reine Prompting von Llama-3 (auch mit Few-Shot oder CoT) zeigte die schwächste Leistung (F1 = 0,517). Die Einbeziehung der Issue-Beschreibung als Kontext verschlechterte die Ergebnisse sogar, da sie das Modell mit zu viel Information überlastete.
• Fine-Tuning: Feinabgestimmte Modelle erzielten die höchsten Ergebnisse.
  • Llama-3ft (8B): Erreichte den höchsten F1-Score von 0,716 (Recall: 0,838, Precision: 0,626).
  • RoBERTa: Erreichte einen F1-Score von 0,692.
• Ensembles: Die Kombination der besten Modelle jedes Typs (SVM + RoBERTa + Llama-3ft) verbesserte das Ergebnis weiter auf einen F1-Score von 0,737.

Generalisiertbarkeit (Cross-Project):

• Modelle, die nur auf Mozilla trainiert wurden, generalisierten gut auf Chromium und GnuCash (deutlich besser als Modelle, die nur auf den kleinen Ziel-Datensätzen trainiert wurden).
• Hybrides Training (Mozilla-Daten + wenig projekt-spezifische Daten) lieferte die besten Ergebnisse (z. B. F1 = 0,961 für RoBERTa auf GnuCash).
• Interessanterweise schnitten kleinere Modelle (SVM, RoBERTa) auf den kleinen Ziel-Datensätzen besser ab als das große LLM (Llama-3ft), was darauf hindeutet, dass LLMs mehr projekt-spezifische Daten benötigen, um sich effektiv anzupassen.

Qualitative Analyse der Fehler:

• False Positives: Modelle neigten dazu, Kommentare als Lösungen zu klassifizieren, wenn diese technische Begriffe, Code-Snippets oder Wörter wie „implement" oder „patch" enthielten, auch wenn es sich nur um Reviews oder Fehlerbeschreibungen handelte.
• False Negatives: Lösungen wurden oft übersehen, wenn sie implizit waren, sehr kurz formuliert wurden (z. B. Commit-Messages) oder wenn der notwendige Kontext (Issue-Beschreibung, vorherige Kommentare) fehlte, um die Absicht zu verstehen.

5. Bedeutung und Implikationen

• Praktische Anwendung: Die entwickelten Modelle können in Issue-Tracker integriert werden, um Lösungs-Kommentare automatisch zu markieren oder zusammenzufassen. Dies hilft Entwicklern, schneller Regressionen zu analysieren und Lösungen wiederzuverwenden.
• Ressourcen-Abwägung: Teams mit begrenzten Rechenressourcen können mit SVM und Embeddings (z. B. von GPT) gute Ergebnisse erzielen. Für maximale Genauigkeit ist jedoch Fine-Tuning (insbesondere von LLMs wie Llama-3) erforderlich.
• Kontext ist entscheidend: Die Studie zeigt, dass die isolierte Betrachtung von Kommentaren Grenzen hat. Zukünftige Ansätze sollten kontextbewusste Modelle entwickeln, die die gesamte Diskussionsstruktur (Issue-Beschreibung, Thread-Verlauf) einbeziehen.
• Transfer-Lernen: Es ist nicht notwendig, für jedes neue Softwareprojekt von vorne zu beginnen. Ein hybrides Training mit großen öffentlichen Datensätzen (wie Mozilla) und wenigen annotierten Beispielen des Zielprojekts ist eine skalierbare und effektive Strategie.

Zusammenfassend demonstriert das Paper, dass Sprachmodelle, insbesondere durch Fine-Tuning und Ensemble-Methoden, die manuelle Analyse von Issue-Diskussionen effektiv automatisieren können, wobei die Integration von Kontext und projekt-spezifischer Anpassung der Schlüssel zur weiteren Verbesserung ist.