ReqElicitGym: An Evaluation Environment for Interview Competence in Conversational Requirements Elicitation
Die Arbeit stellt ReqElicitGym vor, eine automatisierte und reproduzierbare Evaluierungsumgebung für die Interviewkompetenz von KI-Modellen bei der Anforderungserhebung, die zeigt, dass aktuelle LLMs zwar interaktive und inhaltliche, aber kaum stilbezogene implizite Anforderungen erfolgreich ermitteln können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wollen ein Haus bauen. Sie gehen zu einem Architekten und sagen nur: „Ich möchte ein Haus." Der Architekt beginnt sofort, Pläne zu zeichnen. Aber da er nicht weiß, ob Sie ein Dach aus Ziegeln oder Glas wollen, ob Sie drei oder fünf Schlafzimmer brauchen oder ob Sie eine Garage für zwei oder drei Autos wünschen, wird das fertige Haus wahrscheinlich nicht das sein, was Sie sich vorgestellt haben.
In der Welt der künstlichen Intelligenz (KI) passiert genau das Gleiche. KI-Modelle können heute fantastisch Code schreiben (die „Ziegelsteine" des Hauses), aber sie haben große Schwierigkeiten, herauszufinden, was der Mensch eigentlich wirklich will (die „Baupläne").
Hier ist eine einfache Erklärung des Papers „ReqElicitGym", das genau dieses Problem untersucht:
1. Das Problem: Die KI ist ein schlechter Interviewer
Bisher haben Forscher vor allem getestet, wie gut KI Code schreibt, wenn die Anweisungen klar sind. Aber in der echten Welt sind Anweisungen selten klar. Menschen sagen oft nur: „Ich will eine Website, die Aktien anzeigt."
Die KI muss nun wie ein guter Journalist oder ein erfahrener Berater fragen:
- „Welche Aktien?"
- „Soll der Bericht in Farbe oder Schwarz-Weiß sein?"
- „Soll man die Daten exportieren können?"
Das Paper stellt fest: Aktuelle KI-Modelle sind in diesem „Interview" noch sehr schlecht. Sie stellen oft die falschen Fragen, vergessen wichtige Details oder hören zu früh auf.
2. Die Lösung: ReqElicitGym (Der „Flug-Simulator" für KI-Interviews)
Bisher war es schwer, KI-Interviews zu testen, weil man echte Menschen braucht, die sich verstellen (als Kunden). Das ist teuer, langsam und ungenau (jeder Mensch ist anders).
Die Autoren haben ReqElicitGym entwickelt. Stellen Sie sich das wie einen Flug-Simulator für Piloten vor, nur dass hier die KI als „Pilot" (Interviewer) trainiert wird und ein Computer als „Kopilot" (Kunde) fungiert.
- Die Datenbank (Die Szenarien): Sie haben 101 verschiedene „Bauprojekte" (z. B. eine E-Commerce-Seite, ein Dashboard) erstellt. Für jedes Projekt gibt es eine „unvollständige Idee" (was der Kunde sagt) und eine „perfekte Liste" (was wirklich nötig ist).
- Der Oracle-Kunde (Der Simulator): Statt eines echten Menschen spielt eine sehr starke KI die Rolle des Kunden. Sie antwortet genau so, wie ein echter Mensch es tun würde, wenn man die richtigen Fragen stellt. Sie verrät keine Geheimnisse, wenn sie nicht gefragt wird.
- Der Richter: Eine weitere KI schaut dem Gespräch zu und bewertet: „Hat der Interviewer die richtige Frage gestellt? Hat er etwas Wichtiges herausgefunden?"
3. Was haben sie herausgefunden? (Die Ergebnisse)
Sie haben 7 der besten KI-Modelle getestet. Die Ergebnisse waren eher ernüchternd:
- Die KI ist blind für „Stil": Wenn es darum geht, was die Website tun soll (Funktionen) oder welche Inhalte sie hat, sind die KIs okay. Aber wenn es um Design und Stil geht (z. B. „Ich will blaue Buttons" oder „Die Schrift soll groß sein"), sind sie fast komplett blind. Sie fragen fast nie danach.
- Zu viel Nachbohren, zu wenig Nachhaken: Die KIs neigen dazu, wild herumzufragen („Was meinen Sie genau?"), statt präzise zu klären. Sie stellen oft zu viele Fragen, die nichts bringen, und hören zu früh auf.
- Nachdenken hilft nicht immer: Man hat die KIs angewiesen, erst „nachzudenken" (eine Art Gedankengang zu schreiben), bevor sie fragen. Das machte sie effizienter (weniger Fragen), aber sie fanden immer noch nicht mehr wichtige Informationen heraus.
4. Die große Lektion
Das Paper zeigt uns, dass KI zwar super im Ausführen von Aufgaben ist, aber noch sehr schlecht im Verstehen von unklaren Wünschen.
Die Metapher:
Stellen Sie sich vor, Sie bestellen bei einem Koch ein Gericht. Sie sagen nur: „Ich will was Leckeres."
- Ein guter Koch (ein menschlicher Requirements Engineer) fragt: „Scharf? Süß? Mit oder ohne Fleisch? Für wie viele Personen?"
- Ein schlechter KI-Koch (die aktuellen Modelle) bringt Ihnen einfach irgendein Gericht, das er für „lecker" hält, aber es schmeckt Ihnen nicht, weil er nie nach Ihren Vorlieben gefragt hat.
Fazit
Die Autoren haben mit ReqElicitGym ein Werkzeug geschaffen, um diese KI-Köche zu testen und zu verbessern. Sie hoffen, dass wir in Zukunft KIs entwickeln können, die nicht nur Code schreiben, sondern auch echte Gesprächspartner sind, die genau wissen, was wir brauchen, bevor sie auch nur eine Zeile Code schreiben.
Zusammengefasst: Wir brauchen KIs, die nicht nur „hören", sondern wirklich „zuhören" und verstehen, was zwischen den Zeilen steht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.