RAG4Tickets: AI-Powered Ticket Resolution via Retrieval-Augmented Generation on JIRA and GitHub Data
Das Papier schlägt RAG4Tickets vor, ein KI-gestütztes Framework, das JIRA- und GitHub-Daten mittels Retrieval-Augmented Generation integriert, um kontextbezogene, evidenzbasierte Empfehlungen zur Ticketlösung zu liefern, wodurch die Genauigkeit und Effizienz in Softwareentwicklungs-Workflows signifikant verbessert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Softwareentwickler, der an einem riesigen Projekt arbeitet. Jedes Mal, wenn ein Bug auftaucht, ist es wie ein neuer Detektivfall. In der Vergangenheit war das Lösen dieser Fälle so, als würde man nach einer Nadel in einem Heuhaufen suchen, der aus Millionen anderer Nadeln besteht. Man musste sich durch alte JIRA-Tickets (Fehlerberichte) wühlen, tausende von Entwicklerkommentaren lesen und durch GitHub-Codeänderungen scannen, um herauszufinden, ob jemand anderes bereits ein ähnliches Problem gelöst hatte. Oft war das Problem zwar dasselbe, aber die verwendeten Begriffe zur Beschreibung waren unterschiedlich, sodass man die Lösung übersah und Stunden damit verschwendete, das Rad neu zu erfinden.
Dieses Paper, „RAG4Tickets“, schlägt einen smarten Assistenten vor, der wie ein kombinierter Super-Bibliothekar und Detektiv fungiert, um genau dieses Problem zu lösen. So funktioniert es, unterteilt in einfache Schritte:
1. Das Problem: Die „Lost in Translation“-Bibliothek
Stellen Sie sich die Fehlerhistorie Ihres Unternehmens wie eine riesige, chaotische Bibliothek vor.
- Das Problem: Ein Entwickler schreibt ein Ticket: „Die App friert ein, wenn ich auf den Button klicke.“ Ein anderer Entwickler schrieb vor zwei Jahren ein Ticket: „Der Bildschirm blockiert während der Benutzerinteraktion.“ Obwohl dies dasselbe Problem ist, könnte eine einfache Stichwortsuche die Verbindung übersehen.
- Das Ergebnis: Entwickler verbringen zu viel Zeit mit der Suche und zu wenig Zeit mit dem Beheben.
2. Die Lösung: Der „Smarte Bibliothekar“ (RAG)
Die Autoren haben ein System namens RAG4Tickets entwickelt. Betrachten Sie dieses System als einen hochqualifizierten Bibliothekar, der nicht nur die Titel von Büchern liest, sondern die Bedeutung dahinter versteht.
Schritt 1: Lesen und Verstehen (Embeddings):
Das System liest jeden alten Fehlerbericht, Kommentar und jede Codeänderung (Pull Request). Es verwendet ein spezielles Werkzeug namens Sentence-Transformers, um diese Wörter in „Bedeutungskarten“ (Vektoren) umzuwandeln. Anstatt nur nach dem Wort „Crash“ zu suchen, versteht es, dass „Freeze“, „Lock up“ und „Hang“ alle auf dasselbe Konzept hindeuten.Schritt 2: Die superschnelle Suche (FAISS):
Sobald das System diese Bedeutungskarten erstellt hat, speichert es sie in einem massiven, ultraschnellen Index namens FAISS. Stellen Sie sich das wie eine magische Karte vor, auf der sich ähnliche Ideen physisch nah beieinander befinden. Wenn ein neuer Bug eingeht, findet das System sofort die 5 oder 10 ähnlichsten vergangenen Fälle, selbst wenn die Wortwahl völlig anders ist.Schritt 3: Der Bericht des Detektivs (LLM-Generierung):
Das System zeigt Ihnen nicht einfach nur die alten Tickets; es agiert wie ein Detektiv, der den Fall zusammenfasst. Es nimmt die gefundenen alten Lösungen und speist sie in ein Large Language Model (KI) ein. Die KI schreibt dann eine klare, schrittweise Anleitung zur Behebung des neuen Bugs und zitiert exakt, welche alten Codeänderungen das Problem damals gelöst haben. Es ist, als würde ein Senior Engineer einem zuflüstern: „Hey, das haben wir letztes Jahr genau so gelöst; hier ist der Code, den wir damals verwendet haben.“
3. Wie es in der Praxis funktioniert
Die Autoren testeten dieses System während eines großen Upgrades einer Webanwendung (der Wechsel von React 18 zu React 19).
- Das Szenario: Entwickler hatten Schwierigkeiten mit einer spezifischen Art von „UI-Freeze“, die durch die neue Softwareversion verursacht wurde.
- Das Ergebnis: Das System fand alte Tickets und Codeänderungen im Zusammenhang mit ähnlichen Freezes. Es sagte den Entwicklern: „Das sieht aus wie das Problem, das wir zuvor hatten. Hier ist der Code-Fix, den wir damals genutzt haben.“
- Das Resultat:
- Geschwindigkeit: Die Zeit für die Behebung eines Bugs sank von 18,5 Stunden auf 10,2 Stunden (eine Verbesserung um 45 %).
- Vertrauen: In etwa 68 % der Fälle akzeptierten die Entwickler den Vorschlag der KI direkt oder mit nur einer minimalen Änderung.
- Genauigkeit: Das System war sehr gut darin, die richtigen vergangenen Fälle zu finden (in 82 % der Fälle war die richtige Antwort unter den Top-5-Ergebnissen).
4. Warum das wichtig ist
Das Paper hebt hervor, dass es hierbei nicht nur um Geschwindigkeit geht, sondern darum, keine Dinge zu erfinden.
- Keine Halluzinationen: Da die KI gezwungen ist, sich auf echte, historische Belege (die alten Tickets und den Code) zu beziehen, bevor sie eine Lösung schreibt, ist sie viel weniger wahrscheinlich dazu geneigt, fiktive Fixes zu erfinden. Es ist wie ein Schüler, der vor der Beantwortung einer Testfrage die Lehrbuchquelle zitieren muss.
- Wissenswiederverwendung: Es verhindert, dass Unternehmen ihr „institutionelles Gedächtnis“ verlieren. Wenn ein erfahrener Entwickler das Unternehmen verlässt, geht sein Wissen nicht verloren; es ist im System für alle nutzbar gespeichert.
5. Die Kehrseite (Einschränkungen)
Die Autoren sind ehrlich bezüglich der Herausforderungen:
- Alte Fehler: Wenn die alten Tickets schlechte Ratschläge enthielten, könnte das System diese Fehler wiederholen.
- Sich ändernde Sprachen: Wenn sich die Softwaretechnologie drastisch ändert (wie bei einer neuen React-Version), könnten die alten „Bedeutungskarten“ weniger genau werden, was ein erneutes Training des Systems erforderlich macht.
- Kosten: Der Betrieb dieses Systems erfordert leistungsstarke Computer, um Millionen von Datensätzen sofort durchsuchen zu können.
Zusammenfassung
Kurz gesagt ist RAG4Tickets ein Werkzeug, das die Verbindung zwischen vergangenen Problemen und aktuellen Lösungen herstellt. Es verwandelt einen chaotischen Haufen von Fehlerberichten in eine smarte, durchsuchbare Wissensdatenbank, die Entwicklern hilft, Probleme schneller, mit weniger Frustration und mit der Gewissheit zu lösen, dass sie auf bewährten, realen Lösungen aufbauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.