GenAI Is No Silver Bullet for Qualitative Research in Software Engineering

Diese Arbeit argumentiert, dass generative KI kein Allheilmittel für qualitative Forschung in der Softwaretechnik ist, sondern deren Einsatz sorgfältig an die spezifischen Daten und Forschungsstrategien angepasst werden muss, um die damit verbundenen Chancen und Risiken zu verstehen.

Das Wesentliche

Stell dir vor, du bist ein Detektiv, der herausfinden soll, warum eine Software-Entwickler-Gruppe manchmal streitet und manchmal fantastisch zusammenarbeitet. Du hast nicht nur Zahlen und Statistiken, sondern musst auch Interviews lesen, Chat-Protokolle durchforsten und sogar die Stimmung im Raum spüren. Das ist qualitative Forschung in der Softwareentwicklung.

Jetzt kommt eine neue Technologie ins Spiel: GenAI (künstliche Intelligenz, die Texte schreiben und analysieren kann). Viele hoffen, dass diese KI wie ein magischer Zauberstab ist, der die ganze Detektivarbeit für sie erledigt.

Die Autoren dieses Papiers, Neil Ernst und Christoph Treude, sagen jedoch ganz klar: Nein, die KI ist kein Wundermittel. Sie ist eher wie ein sehr schneller, aber manchmal etwas oberflächlicher Assistent.

Hier ist die Erklärung des Papiers in einfachen Worten, mit ein paar anschaulichen Vergleichen:

1. Der Unterschied zwischen "Zählen" und "Verstehen"

Stell dir vor, du hast einen riesigen Haufen Briefe (Daten).

• Die KI ist super im Sortieren: Wenn du sagst: "Fasse alle Briefe zusammen, die über 'Fehler' sprechen" oder "Zähle, wie oft das Wort 'Bug' vorkommt", dann macht die KI das blitzschnell und sehr genau. Das nennt man deduktives Codieren (vorgegebene Regeln anwenden).
• Die KI ist schlecht im "Fühlen": Wenn du aber wissen willst, warum die Entwickler traurig sind, wenn ein Fehler auftritt, oder welche unausgesprochenen Regeln in der Gruppe gelten, dann stolpert die KI. Sie kann nicht wirklich "fühlen" oder den Kontext verstehen. Sie sieht nur die Wörter, nicht die Menschen dahinter.

Die Metapher: Die KI ist wie ein Super-Reiseführer, der dir alle Sehenswürdigkeiten aufzählen kann. Aber sie ist kein Einheimischer, der dir erzählt, wie sich das Leben in der Stadt wirklich anfühlt, welche Gerüchte es gibt oder warum die Leute an bestimmten Ecken lachen.

2. Wo die KI hilft (Die guten Seiten)

Die Autoren sagen, die KI kann in bestimmten Situationen sehr nützlich sein:

• Transkription: Sie kann Audio-Interviews in Text umwandeln (wie ein extrem schneller Stenograf).
• Zusammenfassung: Sie kann lange Chat-Verläufe auf den Punkt bringen.
• Erste Ideen: Sie kann dem Forscher sagen: "Hey, hier taucht oft das Wort 'Stress' auf, schau mal genauer hin."

Das ist wie ein Küchen-Assistent, der dir schon das Gemüse schneidet, damit du schneller kochen kannst. Aber er kocht das Gericht nicht für dich, und er weiß nicht, wie es schmecken soll.

3. Wo die KI versagt (Die Gefahren)

Hier wird es kritisch. Die KI hat drei große Schwächen in der Forschung:

• Halluzinationen: Die KI erfindet manchmal Dinge, die plausibel klingen, aber falsch sind. Sie könnte behaupten, ein Entwickler habe gesagt, er sei wütend, obwohl er das gar nicht gesagt hat. Das ist wie ein Lügner, der sehr gut im Erzählen ist.
• Kein Kontext: Software-Entwicklung ist komplex. Ein Satz wie "Das ist gut" kann bedeuten "Das ist toll" oder "Das ist okay, aber nicht perfekt", je nachdem, wer es sagt und in welcher Situation. Die KI verpasst diese Nuancen oft.
• Der "Menschliche Faktor": Echte Forschung braucht Reflexion. Das bedeutet, der Forscher muss sich fragen: "Bin ich selbst voreingenommen? Habe ich das richtig verstanden?" Eine KI kann das nicht. Sie hat kein Gewissen und keine eigene Meinung. Wenn man ihr zu viel Macht gibt, verliert die Forschung ihre Tiefe.

Die Metapher: Wenn du die KI allein arbeiten lässt, ist es, als würdest du ein Gemälde nur nach Farben zählen statt es zu betrachten. Du weißt, wie viel Blau und Rot da ist, aber du verstehst nicht die Emotion des Künstlers.

4. Das Fazit: Teamwork statt Ersatz

Die Botschaft des Papiers ist: Nutze die KI als Werkzeug, nicht als Ersatz für den Menschen.

• Gut: Die KI kann die langweilige, repetitive Arbeit machen (wie das Sortieren von Daten).
• Schlecht: Die KI sollte nicht entscheiden, was die Forschung bedeutet oder welche Theorie aufgestellt wird.

Der Forscher muss immer der Kapitän bleiben, und die KI ist nur der Navigator, der die Karte liest. Wenn der Kapitän die Kontrolle abgibt, kann das Schiff auf Felsen laufen.

Zusammenfassung für den Alltag

Stell dir vor, du möchtest herausfinden, warum deine Freunde sich manchmal streiten.

• Mit KI: Du gibst alle WhatsApp-Nachrichten in einen Computer. Der Computer sagt: "30% der Nachrichten enthalten das Wort 'Nein'." Das ist nützlich, aber es erklärt dir nicht, warum sie sich streiten.
• Mit einem Menschen (Forscher): Du hörst dir die Nachrichten an, kennst die Freunde, weißt, dass einer gerade schlechte Laune hatte, und verstehst den Witz hinter dem "Nein".

Die KI ist also kein Zauberstab, der die menschliche Intelligenz ersetzt. Sie ist ein mächtiges Werkzeug, das aber nur dann funktioniert, wenn ein kluger Mensch die Führung übernimmt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „GenAI Is No Silver Bullet for Qualitative Research in Software Engineering" von Neil A. Ernst und Christoph Treude auf Deutsch.

1. Problemstellung

Qualitative Forschung in der Softwareentwicklung (SE) liefert tiefe Einblicke in die menschlichen und soziotechnischen Aspekte von Softwareprozessen. Diese Forschung basiert auf komplexen, heterogenen Datenquellen (z. B. Quellcode, Issue-Tracker, Chat-Protokolle, Interviews, Feldbeobachtungen) und erfordert oft interpretative Methoden wie Grounded Theory oder thematische Analyse.

Mit dem Aufkommen von Large Language Models (LLMs) und Generativer KI (GenAI) gibt es Behauptungen, dass diese Technologien qualitative Analysen automatisieren könnten. Die Autoren argumentieren, dass diese Behauptungen eine Überverallgemeinerung aus nur wenigen, spezifischen Erfolgsgeschichten sind. Das Kernproblem besteht darin, dass GenAI oft als „Allheilmittel" (Silver Bullet) dargestellt wird, ohne dass ihre Eignung für die unterschiedlichen epistemologischen Ausrichtungen (z. B. Konstruktivismus vs. Positivismus) und die spezifischen Anforderungen der SE-Forschung kritisch hinterfragt wird. Es fehlt an empirischen Belegen dafür, ob GenAI komplexe, kontextabhängige Interpretationen ersetzen kann, ohne die Validität und Tiefe der Forschung zu gefährden.

2. Methodik

Die Autoren verfolgen einen konzeptionellen und empirisch fundierten Ansatz, der aus mehreren Komponenten besteht:

• Theoretische Rahmung: Die Analyse basiert auf dem Spektrum qualitativer Forschungsstrategien in der SE (Respondent-, Feld-, Labor- und Datenstrategien) und unterscheidet zwischen verschiedenen epistemologischen Orientierungen (Post-Positivismus vs. Konstruktivismus).
• Literatur- und Praxisreview (Preliminary Report): Um den aktuellen Stand der GenAI-Nutzung zu erfassen, führten die Autoren eine systematische Überprüfung von Konferenzbeiträgen durch (ICSE 2025, CHASE 2025, CSCW 2025).
  • Sie filterten nach Papers, die qualitative Kodierung verwendeten.
  • Sie nutzten ChatGPT (gpt-5.1-codex-max), um zu identifizieren, welche dieser Papers LLMs tatsächlich im Kodierungsprozess einsetzten.
  • Zusätzlich wurden manuelle Überprüfungen der Methodenteile durchgeführt, um die Nutzung von QDA-Tools (Qualitative Data Analysis) und deren KI-Funktionen zu erkennen.
• Synthese empirischer Evidenz: Die Autoren fassten bestehende Studien zusammen, die GenAI in Aufgaben wie deduktiver Kodierung, Zusammenfassung und Übersetzung testeten, und verglichen diese Ergebnisse mit den Anforderungen interpretativer Methoden.

3. Wichtige Beiträge

Das Paper leistet mehrere wesentliche Beiträge zur Diskussion über KI in der Softwaretechnik:

• Differenzierung nach Forschungsstrategie: Es wird klargestellt, dass GenAI nicht für alle qualitativen Methoden gleichwertig ist. Die Eignung hängt stark von der gewählten Strategie (z. B. deduktive Annotation vs. induktive Grounded Theory) und der epistemologischen Haltung ab.
• Kritische Bewertung der aktuellen Nutzung: Die Autoren zeigen auf, dass die aktuelle Nutzung von GenAI in der SE-Forschung extrem gering und stark eingeschränkt ist (siehe Ergebnisse).
• Rahmen für Qualitätssicherung: Sie revisitieren traditionelle Qualitätskriterien (Reliabilität, Validität, Reflexivität) im Kontext von GenAI und warnen vor spezifischen Risiken wie Halluzinationen, Bias und dem Verlust der „menschlichen Sinngebung".
• Forschungsagenda: Das Paper schlägt fünf konkrete Richtungen für zukünftige Arbeiten vor, um die Rolle von GenAI in der qualitativen SE-Forschung fundiert zu untersuchen.

4. Ergebnisse

Die Analyse der Konferenzbeiträge und der bestehenden Literatur ergab folgende zentrale Ergebnisse:

• Geringe Verbreitung in der SE: In den untersuchten Konferenzen (ICSE, CHASE) wurde kein einziges Paper aus dem Jahr 2025 gefunden, das GenAI substantiell für qualitative Kodierung nutzte. Im Gegensatz dazu nutzten 7 von 209 Papers (3,3 %) bei CSCW 2025 GenAI, wobei diese oft Meta-Studien waren oder deduktive Aufgaben behandelten.
• Eingeschränkte Anwendungsbereiche:
  • Erfolgreich: GenAI zeigt gute Ergebnisse bei deduktiven Aufgaben (z. B. Anwenden vordefinierter Codebücher, Sentiment-Analyse, Übersetzung, Transkription), insbesondere bei isolierten Textstellen mit wenig Kontextbedarf.
  • Gescheitert/Unzureichend: GenAI scheitert oder liefert unzuverlässige Ergebnisse bei induktiven, interpretativen Aufgaben (z. B. Grounded Theory, ethnografische Feldstudien, Entwicklung von Theorien aus Daten). Hier fehlen dem Modell das soziale Verständnis und die Fähigkeit zur kontextuellen Verknüpfung.
• Epistemologischer Konflikt: Die Nutzung von GenAI als „autonomer Kodierer" steht im Widerspruch zu konstruktivistischen Ansätzen, bei denen Wissen als gemeinsam konstruiert und die Reflexivität des Forschers essenziell ist. Ein statistisches neuronales Netzwerk kann diese Rolle nicht übernehmen.
• Risiken: Es bestehen signifikante Risiken durch Halluzinationen (plausible, aber falsche Codes), Bias aus Trainingsdaten und mangelnde Reproduzierbarkeit aufgrund der Empfindlichkeit gegenüber Prompts. Zudem gibt es ethische Bedenken bezüglich des Datenschutzes bei der Verarbeitung proprietärer Code-Daten durch externe KI-Dienste.

5. Signifikanz und Fazit

Das Paper warnt eindringlich davor, GenAI als Ersatz für menschliche Forscher in der qualitativen Softwaretechnik-Forschung zu betrachten.

• Kein Silver Bullet: GenAI ist kein Allheilmittel. Sie kann als unterstützendes Werkzeug (z. B. für Transkription, erste Zusammenfassungen oder deduktives Labeling) dienen, um Effizienzsteigerungen zu erzielen, aber sie ersetzt nicht die menschliche Interpretation, Reflexivität und theoretische Bildung.
• Notwendigkeit menschlicher Aufsicht: Für jede Anwendung von GenAI ist eine strikte menschliche Aufsicht („Human-in-the-Loop") erforderlich, insbesondere um Validität und ethische Standards zu gewährleisten.
• Zukünftige Richtung: Die Autoren fordern eine neue Forschungsagenda, die sich auf die Entwicklung von kollaborativen Workflows (Mensch-KI-Partnerschaft), die Schaffung von Standards für die Transparenz (Dokumentation von Prompts und Modellen) und die kritische Auseinandersetzung mit der Kompatibilität von KI und konstruktivistischen Paradigmen konzentriert.

Zusammenfassend betont das Paper, dass die Stärke der qualitativen Forschung in der SE – das Verständnis komplexer, menschlicher und kontextueller Phänomene – durch den unreflektierten Einsatz von GenAI gefährdet wird, wenn man die Grenzen der Technologie ignoriert.