LLM-Based Discovery of Latent Requirements from Stakeholder Conversations: Preliminary Results from Industry
Dieses Paper stellt LENS vor, einen auf LLMs basierenden Ansatz, der Transkripte von Stakeholder-Interviews analysiert, um explizite Anforderungen zu extrahieren und latente Anforderungen durch das Schlussfolgern über den organisationalen Kontext abzuleiten, wobei eine hohe Genauigkeit bei der Extraktion sowie ein signifikanter praktischer Wert in einer industriellen Cybersicherheitsbewertung nachgewiesen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Hinweisen an einem Tatort zu suchen, hören Sie einer langen, abschweifenden Unterhaltung zwischen einem Kunden und einem Unternehmensberater zu. Der Kunde erzählt von seinen täglichen Schwierigkeiten, beklagt sich darüber, wie lange bestimmte Aufgaben dauern, und beschreibt, wie sein Team arbeitet.
Das Problem:
Normalerweise, wenn Unternehmen neue Software entwickeln wollen, fragen sie ihre Mitarbeiter (Stakeholder): „Was brauchen Sie?“ Die Mitarbeiter sagen dann vielleicht: „Ich brauche einen Button, der X ausführt.“ Das ist eine explizite Anforderung – sie ist klar aufgeschrieben.
Aber oft wissen die Mitarbeiter nicht genau, was sie brauchen. Sie sagen einfach nur: „Es dauert mich jede Woche drei Stunden, diese Berichte zu schreiben“ oder „Ich muss Daten von drei verschiedenen Stellen kopieren und einfügen.“ Sie fragen nicht nach einer Software; sie beschreiben lediglich einen Schmerzpunkt. Diese verborgenen Bedürfnisse werden als latente Anforderungen bezeichnet. Wenn ein menschlicher Analyst dem Gespräch zuhört, kann er vielleicht schlussfolgern: „Ah, wenn wir einen automatischen Berichtsgenerator bauen würden, würde das ihr Drei-Stunden-Problem lösen.“ Aber Menschen werden müde, und das Zuhören von stundenlangen Audioaufnahmen ist langsam und teuer.
Die Lösung: LENS
Die Arbeit stellt ein neues Werkzeug namens LENS (LLM-Enabled Needs Discovery) vor. Stellen Sie sich LENS wie einen superintelligenten, unermüdlichen Detektiv vor, der jedes Handbuch über die Funktionsweise der Tools des Unternehmens gelesen hat.
LENS erledigt zwei Dinge:
- Der Schreiber (The Scribe): Er hört dem Gespräch zu und schreibt genau auf, wonach die Leute gefragt haben (die expliziten Anforderungen).
- Der Detektiv (The Detective): Er hört sich die Beschwerden und die Beschreibungen chaotischer Arbeitsabläufe an und gleicht sie mit einem „Spickzettel“ der bestehenden Technologie des Unternehmens ab. Dann sagt er: „Warte, ich weiß, dass Sie das nicht direkt gefordert haben, aber basierend auf dem, was Sie über Ihren langsamen manuellen Prozess gesagt haben, und da ich weiß, dass Sie ein spezielles Tool besitzen, das dies tun kann, sollten Sie eigentlich eine Funktion haben, die dies automatisch behebt.“
Wie es funktioniert (Die Analogie):
Stellen Sie sich vor, Sie unterhalten sich mit einem Freund, der sagt: „Ich hasse es, jeden Tag zur Tür zu laufen, um Milch zu kaufen; das ist so anstrengend.“
- Der Schreiber notiert: „Freund möchte Milch kaufen.“
- Der Detektiv (LLS) schaut sich das Haus Ihres Freundes an und sieht, dass er einen smarten Kühlschrank und eine Lebensmittelliefer-App installiert hat, diese aber nie nutzt. Der Detektiv schlägt dann vor: „Ich schließe daraus, dass Ihr Freund eine ‚Smart Milk Ordering‘-Funktion benötigt, die automatisch Milch bestellt, wenn der Kühlschrank leer wird.“
LENS schreibt diese Vorschläge als „User Stories“ (eine Standardmethode zur Beschreibung von Softwarebedarfen) und verknüpft sie mit dem exakten Moment im Gespräch, aus dem die Idee stammt, damit niemand sagen kann: „Woher hast du diese Idee?“
Das Experiment:
Die Forscher testeten dieses Tool mit einem Cybersicherheitsunternehmen namens eSentire. Sie fütterten LENS mit 12 echten Interviews mit Mitarbeitern (jeweils etwa 60 Minuten lang).
- Ergebnis 1 (Der Schreiber): Wenn es darum ging, nach Dingen zu suchen, die die Leute explizit gefordert hatten, war LENS sehr genau. Es fand 100 % der Anfragen und war in 73 % der Fälle korrekt, was zu einer hohen Gesamtbewertung führte.
- Ergebnis 2 (Der Detektiv): Bei der Suche nach den verborgenen Bedürfnissen baten die Forscher menschliche Experten, die Ideen zu bewerten. Sie fanden heraus, dass 75 % der von LENS generierten „verborgenen“ Ideen als nützlich angesehen wurden. Die Experten waren der Meinung, dass diese Ideen Zeit sparen oder langweilige Aufgaben automatisieren würden.
Der Haken (Was die Arbeit uns warnt):
Die Arbeit ist sehr ehrlich über die Einschränkungen.
- Verwirrung: Manchmal ist LENS verwirrt durch die Art und Weise, wie Menschen sprechen. Wenn jemand sagt: „Das machen wir doch bereits automatisch, oder?“, könnte LENS denken, dass nach einer Automatisierung gefragt wird, obwohl die Person nur bestätigt, dass etwas bereits existiert.
- Machbarkeit: Obwohl die Ideen gut waren, fehlte es LIMS manchmal an Details. Es könnte eine Lösung vorschlagen, die großartig klingt, aber eine spezifische Datengrundlage oder eine Verbindung zwischen zwei Tools erfordert, die das Unternehmen gar nicht besitzt.
- Kein Endprodukt: Die Arbeit betont, dass LENS kein fertiges Softwareprodukt liefert. Es liefert eine Liste von Ideen, über die man weiter diskutieren kann. Es ist wie ein Brainstorming-Partner, nicht wie eine fertige Mahlzeit.
Zusammenfassend lässt sich sagen:
Diese Arbeit zeigt, dass KI Geschäftsgespräche anhören, aufschreiben, wonach die Leute fragen, und auch als kreativer Partner fungieren kann, um Softwarelösungen für Probleme vorzuschlagen, von denen die Menschen gar nicht wussten, dass sie sie lösen könnten. Es funktioniert gut, benötigt aber dennoch menschliche Experten, die die Ideen überprüfen und sicherstellen, dass sie tatsächlich umsetzbar sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.