From Chat to Interview: Agentic Requirements Elicitation with an Experience Ontology
Dieser Beitrag stellt OntoAgent vor, einen Interview-Agenten, der eine automatisch konstruierte Erfahrungsontologie nutzt, um große Sprachmodelle bei der Durchführung strukturierter, systematischer und effizienter Anforderungserhebungsinterviews zu unterstützen und dabei bestehende Baselines sowohl in Bezug auf die Wirksamkeit als auch auf die Frageeffizienz deutlich zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Problem: Der „plaudernde" Interviewer vs. der „erfahrene" Detektiv
Stellen Sie sich vor, Sie bauen ein maßgeschneidertes Haus. Sie beauftragen einen Auftragnehmer, Sie nach Ihren Bedürfnissen zu befragen.
- Der alte Weg (Freiform-Chat): Sie beauftragen einen Auftragnehmer, der einfach nur mit Ihnen plaudert. Er fragt vielleicht: „Mögen Sie Blau?", dann „Mögen Sie Rot?", dann wieder „Mögen Sie Blau?". Er vergisst, nach der Sanitärinstallation, dem Dach oder der Garage zu fragen, weil er nur „redet". Er übersieht verborgene Details, an die Sie nicht gedacht haben (wie: „Ich brauche einen schallisolierten Raum für meine Band"). Das ist vergleichbar mit der Nutzung eines Standard-KI-Chatbots zur Anforderungserhebung – er ist freundlich, verpasst aber oft das große Ganze und stellt dieselben Fragen doppelt.
- Der Weg des menschlichen Experten: Ein erfahrener Auftragnehmer hat eine mentale Checkliste. Er weiß, dass er vor dem Gespräch über Farbtöne das Fundament prüfen muss. Er weiß, dass er nach dem Grundriss der Küche vor dem des Badezimmers fragen muss. Er folgt einer versteckten Landkarte dessen, „was gefragt werden muss", basierend auf jahrelanger Erfahrung.
Das Ziel des Papers: Die Autoren wollten einer KI beibringen, wie dieser erfahrene Auftragnehmer zu handeln, nicht nur wie ein plaudernder Freund. Sie entwickelten ein System namens OntoAgent.
Die Lösung: Die „Erfahrungskarte" (Ontologie)
Die Kernidee dieses Papers ist, dass man einer KI nicht einfach erlauben sollte, es „aus dem Bauch heraus" zu versuchen. Stattdessen gibt man ihr eine strukturierte Landkarte, die auf realer Erfahrung basiert.
Die Autoren nennen diese Landkarte eine „Erfahrungsontologie". Stellen Sie sich dies wie einen Baum oder einen Stammbaum für Anforderungen vor:
- Der Stamm (Aspekte): Die großen Kategorien (z. B. „Wie der Benutzer interagiert", „Welcher Inhalt angezeigt wird", „Wie es aussieht").
- Die Äste (Dimensionen): Spezifische Bereiche unter diesen Kategorien (z. B. unter „Interaktion" haben Sie „Suche" und „Anmeldung").
- Die Blätter (Slots): Die winzigen, spezifischen Details, die geklärt werden müssen (z. B. unter „Suche" müssen Sie wissen: „Möchten sie nach Datum filtern?").
Wie OntoAgent die Karte erstellt:
Bevor es jemanden interviewt, liest die KI Tausende von Beschreibungen früherer Projekte (wie das Lesen alter Baupläne). Sie nutzt ein Large Language Model (LLM), um diese vergangenen Erfahrungen automatisch in diese „Baum"-Struktur zu organisieren. Dies wird zu ihrer „Erfahrungskarte".
Wie das Interview funktioniert: Der 4-Schritte-Tanz
Wenn OntoAgent einen Benutzer interviewt, errät es nicht einfach die nächste Frage. Es folgt für jeden Schritt des Gesprächs einem strengen 4-Schritte-Programm:
- Hören (ParseUser): Es hört zu, was der Benutzer gerade gesagt hat. Haben sie bestätigt, dass sie eine Anmeldung benötigen? Haben sie gesagt, dass sie keine Suchleiste benötigen?
- Bewerten der Karte (ScoreOnto): Es betrachtet seine „Erfahrungskarte". Basierend auf dem, was der Benutzer sagte, vergibt es Punkte für verschiedene Äste. Wenn der Benutzer „Aktien" erwähnte, erhält der Ast „Suche" eine hohe Punktzahl. Wenn er „Stil" nicht erwähnte, erhält der Ast „Stil" eine niedrige Punktzahl.
- Neu-Rangieren (ReRankOnto): Während das Gespräch fortschreitet, aktualisiert sich die Karte. Vielleicht sagte der Benutzer: „Mir ist die Farbe egal", also senkt die KI die Priorität von „Stil"-Fragen und erhöht die Priorität von „Funktions"-Fragen. Sie sortiert die Liste der nächsten Fragen ständig neu.
- Äste beschneiden (GatePrune): Dies ist der Effizienz-Booster. Wenn die KI drei Fragen über „Anmeldung" stellt und der Benutzer sagt: „Nein, wir brauchen keine Anmeldung", schneidet die KI sofort diesen gesamten Ast des Baumes ab. Sie hört auf, über Anmeldepasswörter, E-Mail-Formate usw. zu fragen, da dieser Pfad geschlossen ist. Das spart Zeit.
Schließlich nimmt es die beste Frage aus dieser Liste und stellt sie in natürlicher Sprache.
Die Ergebnisse: Warum es besser ist
Die Autoren testeten dieses System gegen andere KI-Interviewer (die „plaudernden") mit 101 verschiedenen Szenarien (wie dem Bau einer Website für einen Salon oder ein Skigebiet).
- Das Verborgene finden (Effektivität): Die „plaudernden" KIs verpassten viele verborgene Anforderungen (wie spezifische Regeln für die Sortierung von Daten). OntoAgent fand 33 % mehr dieser versteckten Details. Es war wie der Detektiv, der daran dachte, den Keller zu überprüfen, während die anderen nur im Wohnzimmer schauten.
- Die richtigen Fragen schneller stellen (Effizienz): Die „plaudernden" KIs verschwendeten Zeit damit, offensichtliche Fragen zu stellen oder dasselbe zweimal zu fragen. OntoAgent stellte die wichtigsten Fragen 21 % schneller. Es geriet nicht in Schleifen.
- Mit verschiedenen Gehirnen arbeiten: Das System funktionierte gut, selbst wenn sie das „Gehirn" (das zugrunde liegende KI-Modell) durch verschiedene Arten von KI austauschten. Es bewies, dass die „Erfahrungskarte" das Geheimnis ist, nicht nur das spezifische verwendete KI-Modell.
- Menschliches Feedback: Wenn echte Menschen (Studenten und Experten) als „Kunden" fungierten und mit der KI sprachen, bewerteten sie OntoAgent höher. Sie empfanden es als effektiver, effizienter und anpassungsfähiger als die anderen Methoden.
Das Fazit
Das Paper behauptet, dass wir durch die Bereitstellung einer strukturierten „Erfahrungskarte" (einer Ontologie), die aus früherer Arbeit abgeleitet ist, einen chaotischen, frei fließenden Chat in ein systematisches, expertenhaftes Interview verwandeln können.
Es ist der Unterschied zwischen der Frage an einen Freund: „Was möchtest du zum Abendessen?" (der vielleicht nur „Pizza" sagt und übersieht, dass Sie Vegetarier sind) und der Frage an einen professionellen Koch, der eine Checkliste mit diätetischen Einschränkungen, Geschmacksprofilen und Kochmethoden hat, um sicherzustellen, dass nichts übersehen wird.
Wichtigste Erkenntnis: Um die besten Ergebnisse von KI bei komplexen Aufgaben zu erzielen, lassen Sie sie nicht einfach frei plaudern; geben Sie ihr eine strukturierte Landkarte menschlicher Erfahrung, um ihre Fragen zu lenken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.