AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
Dieser Erfahrungsbericht zeigt, dass KI-gestützte, selbstverwaltete Interviews für kurze, risikoarme empirische Software-Engineering-Studien operativ praktikabel sind und von den Teilnehmern gut angenommen werden, wenngleich sie aufgrund von Einschränkungen in Bezug auf Tiefe, Sensibilität und Privatsphäre derzeit am besten als ergänzendes Werkzeug zu menschlich geleiteten Interviews dienen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt des Software-Engineerings wie eine riesige, geschäftige Baustelle vor, auf der Teams digitale Wolkenkratzer bauen. Um zu verstehen, wie diese Baumeister arbeiten, kommen Forscher oft mit Klemmbrettern vorbei und stellen Fragen – eine Methode, die man „Interviews“ nennt. Es ist, als wäre man ein Detektiv, der mit einem Zeugen chattet, um herauszufinden, wie ein Verbrechen geschehen ist, aber anstatt Verbrechen untersuchen sie, wie Programmierer Bugs beheben, ihren Tag organisieren oder neue Werkzeuge nutzen. Traditionell erfordert dies einen menschlichen Forscher, der sich hinsetzt, Fragen stellt und Notizen macht, was zeitaufwendig und schwierig ist, wenn alle in verschiedenen Zeitzonen sind oder unterschiedliche Sprachen sprechen.
Kürzlich ist ein neuer Typ von „digitalem Detektiv“ eingetroffen: Künstliche Intelligenz (KI). Denken Sie an KI als einen superintelligenten Roboter, der Millionen von Büchern lesen und lernen kann, wie ein Mensch zu sprechen. Da diese Roboter immer besser darin werden, Gespräche zu führen, begannen Forscher sich zu fragen: „Können wir den Roboter das Interview führen lassen anstatt eines Menschen?“ Das ist die große Frage, die diese Arbeit behandelt. Sie fragt, ob ein Roboter erfolgreich mit Softwareentwicklern chatten, sie nach ihrer Arbeit fragen und nützliche Geschichten sammeln kann, ohne dass jemals ein Mensch das Telefon in die Hand nimmt. Die Forscher versuchen nicht zu beweisen, dass der Roboter besser als ein Mensch ist, sondern ob er ein mögliches Werkzeug ist, das gut genug funktioniert, um nützlich zu sein.
Das Experiment: Den Roboter das Mikrofon überlassen
In dieser Studie entschieden sich die Forscher aus Brasilien dazu, diese Idee testweise einzuführen. Sie erstellten zwei maßgeschneiderte „KI-Interviewführer“ (die sie MyGPTs nannten) und schickten sie aus, um mit Softwareprofis zu sprechen. Ein Roboter wurde darauf programmiert, über „Refactoring“ zu fragen – ein schicker Begriff für das Aufräumen von unordentlichem Code, um ihn besser laufen zu lassen. Der andere Roboter fragte über die Nutzung von KI-Tools innerhalb von „Scrum“, einer populären Methode, mit der Teams ihre Arbeit organisieren.
Anstatt einen Videoanruf zu vereinbaren, schickten die Forscher einen Link. Die Teilnehmer klickten darauf, öffneten den Chat auf ihren eigenen Telefonen oder Computern und begannen zu sprechen. Sie konnten sogar ihre Stimmen nutzen, um mit dem Roboter zu sprechen, genau wie bei einem Gespräch mit einem intelligenten Assistenten. Der Roboter stellte eine Reihe von Fragen, hörte sich die Antworten an und schrieb am Ende automatisch eine ordentliche Zusammenfassung des Gesprächs. Der Teilnehmer musste dann auf einen Button klicken, um diese Zusammenfassung an die Forscher zurückzusenden. Es war ein Self-Service-Interview: Kein menschlicher Forscher war im Raum, es gab keine Terminüberschneidungen und das Ganze fand statt, wann immer der Teilnehmer wollte.
Was sie fanden: Das Gute, das Seltsame und das Fehlerhafte
Die Forscher untersuchten 66 dieser abgeschlossenen Interviews. Hier sind die Daten, die sie lieferten, unterteilt in die guten Nachrichten und die Dinge, die repariert werden müssen.
Die guten Nachrichten: Die Leute mochten es
Die meisten Menschen, die das Interview beendet hatten, fanden die Erfahrung ziemlich cool.
- Komfort: Etwa 91 % fühlten sich wohl dabei, die Fragen zu beantworten.
- Klarheit: Fast 96 % sagten, dass die Fragen des Roboters leicht zu verstehen waren.
- Geschwindigkeit: Über 97 % fanden, dass sich das Gespräch in einem guten Tempo bewegte.
- Bereitschaft: Fast 90 % gaben an, dass sie bereit wären, dies wieder zu tun.
Es stellte sich heraus, dass viele Menschen die Idee, mit einem Roboter zu sprechen, tatsächlich gut fanden. Einige fühlten sich weniger unter Druck gesetzt als bei einem Menschen und schätzten es, in ihrem eigenen Tempo antworten zu können, ohne sich Sorgen machen zu müssen, dass jemand auf seine Uhr schaut.
Die „Warte mal, was?“ Momente
Es war jedoch nicht perfekt. Als gefragt wurde, den Roboter mit einem menschlichen Interviewer zu vergleichen, waren die Ergebnisse etwas gemischt. Etwa 42 % der Leute fanden, dass sie genau in der Mitte lagen – weder besser noch schlechter. Etwa 38 % bevorzugten es, mit einem Menschen zu sprechen, während nur etwa 20 % den Roboter bevorzugten.
Die größten Beschwerden waren, dass der Roboter manchmal Fragen stellte, die sich zu generisch anfühlten oder nicht tief genug in die Antworten eintauchten. Etwa 29 % der Leute fanden, dass der Roboter nicht sensibel genug auf ihre spezifischen Geschichten einging, und weitere 27 % fanden, dass das Gespräch nicht tief genug ging. Einige vermissten auch die menschliche Verbindung und fanden es etwas seltsam, mit einer Maschine anstatt mit einem Menschen zu sprechen.
Die technischen Macken
Es gab auch praktische Schwierigkeiten.
- Die falsche Zusammenfassung: In etwa 9 % der Fälle (6 von 66) schickte der Teilnehmer etwas Falsches zurück. Anstatt der vom Roboter generierten ordentlichen Zusammenfassung kopierten sie willkürliche Teile des Chats oder unstrukturierten Text ein.
- Das falsche Thema: In 2 Fällen antworteten die Teilnehmer auf Fragen zu „Scrum“, schickten aber eine Zusammenfassung über „Refactoring“ zurück, was zeigt, dass die Verbindung zwischen Frage und Antwort durcheinandergeraten kann, wenn ein Mensch alleine arbeitet.
- Sprachprobleme: Da die Leute ihre Stimmen nutzten, missverstand der Roboter manchmal Geräusche. Eine Person erwähnte, dass ein Husten versehentlich als Antwort aufgezeichnet wurde, was den Fluss des Interviews störte.
Das große Fazit: Ein hilfreicher Gehilfe, kein Ersatz
Das wichtigste, was diese Arbeit uns sagt, ist, was die KI-Interviewführer leisten können und nicht können.
Die Forscher sind sich sehr klar: Sie haben nicht bewiesen, dass Roboter menschliche Interviewer ersetzen können. Sie haben nicht überprüft, ob die Zusammenfassungen des Roboters so genau, tiefgründig oder reichhaltig sind wie die Notizen eines Menschen. Sie haben nur überprüft, ob der Prozess funktionierte und ob die Menschen damit einverstanden waren.
Das Fazit lautet, dass KI-Interviews ein komplementäres Werkzeug sind. Sie sind perfekt für kurze, schnelle, risikoarme Gespräche, bei denen man nur eine allgemeine Vorstellung davon braucht, was die Leute denken. Sie sind fantastisch, um Zeit bei der Terminplanung zu sparen und den Leuten zu ermöglichen, zu sprechen, wann immer sie wollen. Aber wenn man tief in komplexe Emotionen eintauchen muss, sensible Geheimnisse behandeln muss oder ein extrem tiefes Verständnis eines schwierigen Problems benötigt, bleibt ein menschlicher Interviewer die beste Wahl.
Betrachten Sie den KI-Interviewer wie einen Selbstbedienungskiosk im Supermarkt. Er ist schnell, praktisch und funktioniert super für ein paar Artikel. Aber wenn Sie einen komischen Gutschein haben, eine schwere Tüte Kartoffeln oder eine Frage zum Obst und Gemüse, wollen Sie immer noch einen menschlichen Kassierer. Diese Studie zeigt, dass der „Self-Service-Check-out“ für Softwareforscher bereit zur Nutzung ist, sie aber dennoch einen Menschen im Prozess behalten müssen, um sicherzustellen, dass die Daten gut sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.