User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums
Dieser Beitrag stellt UXPID vor, einen synthetischen Datensatz von 7.130 anonymisierten Benutzerfeedback-Ästen aus industriellen Foren, der von LLMs annotiert wurde, um die Forschung in der UX-Analyse, der Anforderungsextraktion und der KI-gestützten Feedbackverarbeitung zu unterstützen und dabei Datenschutz- und Lizenzierungsbeschränkungen zu berücksichtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines massiven Schiffes, aber statt die Ozeane zu befahren, navigieren Sie durch die komplexe Welt industrieller Software und Hardware. Ihre Crew (die Nutzer) sendet Ihnen ständig Notizen, Beschwerden und Ideen über ein riesiges, chaotisches Schwarzes Brett. Manche Notizen sind auf Servietten gekritzelt, einige werden über den Lärm hinweg gerufen, und viele sind in einem geheimen Code verfasst, den nur die Schreiber verstehen.
Dieser Beitrag stellt ein neues Werkzeug namens UXPID (User eXperience Perception Insights Dataset) vor, um Kapitänen wie Ihnen zu helfen, dieses Chaos zu ordnen.
Hier ist die Geschichte davon, wie es entwickelt wurde, was es enthält und warum es wichtig ist, einfach erklärt:
1. Das Problem: Der „Lärm" im Raum
Seit Jahren verfügen Unternehmen über eine Goldmine an Informationen: Tausende von Nutzerkommentaren auf öffentlichen Foren. Doch dieses Gold ist unter Schmutz begraben.
- Das Durcheinander: Die Kommentare sind unstrukturiert, chaotisch und verstreut.
- Die Privatsphären-Mauer: Man kann die echten Notizen nicht einfach greifen, da sie private Namen, Firmengeheimnisse und spezifische Produktnummern enthalten. Es ist, als würde man versuchen, ein Tagebuch zu lesen, das in einem Safe verschlossen ist.
- Die fehlende Karte: Bestehende Werkzeuge zur Analyse dieser Notizen sind wie der Versuch, eine Nadel im Heuhaufen ohne Magneten zu finden. Oft übersehen sie die Schwere eines Problems (ist es ein kleiner Kratzer oder ein Loch im Rumpf?) oder das spezifische Thema (geht es um den Motor oder das Navigationssystem?).
2. Die Lösung: Der „Synthetische Spiegel"
Die Forscher haben UXPID entwickelt, das wie ein perfekt polierter, anonymisierter Spiegel dieses chaotischen Schwarzen Bretts ist.
- Wie sie es erstellt haben: Sie nahmen 7.130 echte Gesprächsfäden aus einem Forum für industrielle Automation.
- Der Zaubertrick (KI): Sie nutzten eine superintelligente KI (ein Large Language Model), die als „Übersetzer" und „Privatsphären-Wächter" fungierte.
- Schritt 1: Die KI las die echten, chaotischen Kommentare und extrahierte die Bedeutung: „Der Nutzer ist wütend", „Das Produkt ist defekt", „Sie benötigen ein neues Feature."
- Schritt 2: Die KI schrieb die Kommentare dann um. Sie behielt die Bedeutung exakt bei, tauschte aber alle Geheimnisse aus. Statt „John Smith von Siemens" schrieb sie „[Nutzername] von [Firmenname]". Statt „Produkt X Version 2.1" schrieb sie „[Produktname] [Versionsnummer]".
- Das Ergebnis: Sie erhalten einen Datensatz, der sich genau wie das echte Leben anfühlt, aber sicher ist, ihn mit jedem zu teilen. Es ist, als würde man ein köstliches Gericht servieren, dessen Zutaten echt sind, aber der Koch die Allergene entfernt hat.
3. Was ist in der Box?
Der Datensatz ist nicht nur ein Haufen Text; es ist eine strukturierte Bibliothek. Jeder einzelne Gesprächsfaden kommt mit einer „getaggten Zusammenfassung", die Folgendes enthält:
- Die „Schmerzpunkte": Wobei ist der Nutzer frustriert?
- Die „Gewinnpunkte": Was mögen sie?
- Die „Schwere": Handelt es sich um eine kleine Unannehmlichkeit oder eine kritische Notlage?
- Die „Sentiment": Sind sie glücklich, traurig oder neutral?
- Die „Themen": Unter welche Kategorie fällt dies?
Stellen Sie sich vor, Sie nehmen ein chaotisches Schreien und verwandeln es in einen ordentlich organisierten Aktenschrank, in dem jede Beschwerde mit einem farbcodierten Etikett versehen ist.
4. Hat es funktioniert? (Die Testfahrt)
Die Forscher haben nicht nur die Box gebaut; sie haben getestet, ob sie Computern tatsächlich hilft zu lernen. Sie unterrichteten zwei verschiedene Arten von „Schülern" (Computermodellen) mit diesem neuen Datensatz:
- Der alte Schüler: Eine traditionelle Methode, die nach Schlüsselwörtern sucht (wie das Zählen, wie oft „defekt" vorkommt).
- Der neue Schüler: Eine moderne KI (DistilBERT), die Kontext und Nuancen versteht.
Die Ergebnisse:
- Der neue Schüler lernte viel schneller und besser. Er konnte das Thema eines Gesprächs und die Stimmung des Nutzers mit hoher Genauigkeit korrekt erraten.
- Der alte Schüler hatte Schwierigkeiten, riet oft falsch oder wurde durch seltene Wörter verwirrt.
- Wichtige Erkenntnis: Die neue KI war so gut darin, die Bedeutung hinter den Wörtern zu verstehen, dass sie vorhersagen konnte, was der Nutzer wollte, selbst wenn die Wörter leicht unterschiedlich waren.
5. Der „Fidelity"-Check: Haben wir die Seele verloren?
Eine große Sorge war: „Haben wir, als wir die Namen und Zahlen geändert haben, auch das Gefühl des Textes verändert?"
- Sie verglichen die ursprünglichen chaotischen Notizen mit den sauberen, synthetischen.
- Das Urteil: Die Struktur des Gesprächs blieb exakt gleich. Die Anzahl der gestellten Fragen und die Länge der Antworten waren identisch.
- Eine kleine Änderung: Der synthetische Text wurde etwas „formaler". Die KI entfernte einige Schreie (Ausrufezeichen) und GROSSGESCHRIEBENES Geschrei, um die Privatsphäre zu schützen. Das bedeutet, wenn Sie einen Computer damit trainieren, könnte er im echten Leben etwas weniger sensibel auf „Schreien" reagieren, aber die Kernaussage bleibt intakt.
Zusammenfassung
Kurz gesagt, stellt dieser Beitrag ein sicheres, hochwertiges Trainingsmanual für Computer dar. Es ermöglicht Forschern und Unternehmen, KI beizubringen, wie sie Kundenfeedback hört, versteht, wie wütend oder glücklich sie sind, und herausfindet, was sie brauchen – ohne jemals den privaten Namen einer einzigen echten Person oder geheime Firmendaten zu sehen. Es verwandelt einen chaotischen Haufen von Stimmen in ein klares, handlungsrelevantes Signal.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.