AI-assisted Script Management for Requirements Elicitation Interviews
Dieses Paper präsentiert und evaluiert einen KI-gestützten Skriptmanagement-Workflow für Anforderungsermittlungsinterviews und zeigt durch eine quasi-experimentelle Studie auf, dass dieser Trainings-basierten Ansätzen überlegen ist, indem er qualitativ hochwertigere Skripte generiert, tiefergehende Nachfragen ermöglicht und präzisere Zielmodelle erzeugt, obwohl weniger Themen abgedeckt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines Tatorts interviewen Sie einen Zeugen, um herauszufinden, was dieser von einem neuen Videospiel oder einer Shopping-App benötigt. In der Welt des Software-Engineerings wird diese detektivische Arbeit als „Requirements Elicitation“ (Anforderungsermittlung) bezeichnet. Das Ziel ist es, die richtigen Fragen zu stellen, um genau zu ergründen, was der Nutzer will, bevor die Programmierer mit dem Bauen beginnen. Wenn man eine Spur übersieht oder die falsche Frage stellt, könnte das Endprodukt fehlerhaft, verwirrend oder einfach nur nutzlos sein.
Um dies gut zu machen, bereiten Interviewer meist ein „Skript“ vor – eine Liste von Fragen, die darauf ausgelegt ist, alle wichtigen Bereiche abzudecken. Aber hier liegt der knifflige Teil: Echte Gespräche sind chaotisch. Der Zeuge könnte abschweifen, oder der Detektiv könnte so nervös werden, dass er die wichtigste Frage vergisst. Es ist ein Balanceakt zwischen dem Einhalten des Plans und dem Zuhören auf das, was die Person tatsächlich sagt. Seit langem versuchen Experten, Menschen darin zu schulen, besser darin zu werden, aber was wäre, wenn wir dem Detektiv einen klugen, unsichtbaren Assistenten geben könnten, der ihm während des Gesprächs Hinweise ins Ohr flüstert? Das ist die große Frage, die dieses Paper untersucht: Kann künstliche Intelligenz (KI) Menschen dabei helfen, bessere Fragen zu stellen und bessere Antworten zu erhalten, während sie Interviews führen?
Die Forscher der Carnegie Mellon University beschlossen, dies zu testen, indem sie einen digitalen „Co-Piloten“ für Interviewer entwickelten. Sie erschufen ein zweistufiges System. Erstens agiert die KI als Planer, der die übergeordneten Geschäftsziele eines Unternehmens liest (wie „Menschen dazu bringen, mehr Videos anzusehen“) und daraus eine intelligente Liste von Interviewfragen erstellt. Zweitens agiert die KI während des eigentlichen Interviews als Live-Assistent. Sie hört dem Gespräch zu, verfolgt, welche Fragen aus der Liste gestellt wurden, und blendet auf dem Bildschirm Vorschläge für Folgefragen ein, falls der Interviewer stecken bleibt oder tiefer graben muss.
Um zu sehen, ob dies funktionierte, ließen sie zwei Gruppen von Interviewern gegeneinander antreten. Eine Gruppe bestand aus einer Gruppe kluger Absolventen, die einen Kurs darüber belegt hatten, wie man Menschen interviewt (die „Training-Only“-Gruppe). Die andere Gruppe bestand aus einer ähnlichen Gruppe von Studenten, die jedoch keine spezielle Ausbildung hatten, aber einen KI-Co-Piloten zur Unterstützung erhielten (die „AI-Assisted“-Gruppe). Es war vergleichbar mit dem Vergleich zwischen einem erfahrenen Detektiv, der alle Regeln kennt, und einem Rookie-Detektiv, der über ein superintelligentes GPS und einen Leitfaden verfügt.
Die Ergebnisse waren überraschend und zeigten, dass die KI nicht nur half, sondern den gesamten Stil des Interviews veränderte. Die KI-generierten Skripte waren von viel höherer Qualität und erreichten 92,8 von 100 Punkten im Vergleich zu 74,8 bei den von Menschen geschriebenen. Aber die wahre Magie geschah während der Interviews. Die KI-gestützten Interviewer versuchten nicht, eine lange Liste von Themen hastig abzuarbeiten. Stattdessen konzentrierten sie sich auf weniger Themen, gingen aber viel tiefer darauf ein. Sie stellten etwa 3,4 Folgefragen zu jedem Thema, den sie besprachen, während die geschulten Menschen nur etwa 1,15 stellten.
Man kann es sich wie das Graben nach einem Schatz vorstellen. Die geschulten Menschen waren wie Leute mit einem weiten Netz, das sie über ein riesiges Gebiet auswarfen, um an vielen verschiedenen Stellen ein paar Fische zu fangen. Die KI-gestützten Interviewer waren wie Leute mit einem einzigen, tiefen Loch; sie blieben an einem Ort und gruben nach unten, um viel detailliertere und spezifischere „Schätze“ (die die Forscher als „Low-Level-Anforderungen“ bezeichnen) zu bergen. Weil sie tiefer gruben, war die fertige Karte dessen, was die Nutzer wollten, detaillierter und nützlicher.
Das Paper ist jedoch vorsichtig damit, die KI nicht als Zauberstab darzustellen, der alles perfekt macht. Die Forscher fanden heraus, dass die Vorschläge der KI für „Folgefragen“ nicht immer perfekt waren; die Interviewer ignorierten oft die spezifischen Formulierungen, die die KI vorschlug, weil sie sich etwas hölzern oder langsam anfühlten. Stattdessen war die wahre Superkraft der KI der „Themen-Tracker“. Er war wie ein freundliches Dashboard, das dem Interviewer sagte: „Hey, du hast noch nicht nach dem Login-Bildschirm gefragt“ oder „Du sprichst schon eine ganze Weile über die Bezahlung, vielleicht solltest du hier tiefer graben?“. Die Interviewer liebten diese Funktion und bewerteten sie als den nützlichsten Teil des Systems.
Was ist also das Fazleiten? Die Studie legt nahe, dass die Gabe einer ungeschulten Person einen klugen KI-Assistenten tatsächlich bessere Ergebnisse liefern kann, als einer geschulten Person gar keine Hilfe zu geben. Die KI half den Interviewern, fokussiert zu bleiben, mehr Folgefragen zu stellen und tiefere Details darüber zu entdecken, was die Nutzer tatsächlich benötigen. Aber sie zeigte auch, dass KI kein Ersatz für menschliches Urteilsvermögen ist; die besten Ergebnisse wurden erzielt, wenn die KI die schwere Arbeit des Verfolgens und Planens übernahm, während der menschliche Interviewer diese Unterstützung nutzte, um ein natürlicheres, tieferes Gespräch zu führen. Es geht nicht darum, dass die KI die Arbeit für einen erledigt; es geht darum, dass die KI die Taschenlampe hält, damit man die Spuren klarer sehen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.