Comprehension vs. Adoption: Evaluating a Language Workbench Through a Family of Experiments
Diese Arbeit präsentiert eine Reihe von Experimenten zur Evaluierung der Neverlang-Language-Workbench, die aufzeigen, dass die Nutzer zwar deren Metasprache verstehen und sie als nützlich wahrnehmen, die Benutzerfreundlichkeit jedoch eine Herausforderung bleibt und ein höheres Verständnis nicht zwangsläufig eine größere Nutzerakzeptanz garantiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Architekt, der eine neue Art von Haus bauen möchte. Anstatt Standardziegel und Mörtel zu verwenden, entscheiden Sie sich, Ihre eigenen Bausteine zu erfinden. Um dies zu tun, benötigen Sie eine spezielle „Bedienungsanleitung“ (eine Metasprache), die Ihnen erklärt, wie Sie diese neuen Blöcke entwerfen, wie sie zusammenpassen und wie Sie sie zu einem fertigen Haus zusammensetzen.
Neverlang ist ein Werkzeug, das Architekten (Softwareentwicklern) hilft, ihre eigenen benutzerdefinierten Bausteine zu erstellen. Aber bevor es jemand benutzen kann, muss er die Bedienungsanleitung selbst verstehen.
Dieses Papier ist wie eine Serie von drei Klassentests, die Schülern gegeben werden, um zwei Dinge zu prüfen:
- Verständnis: Können sie die Bedienungsanleitung tatsächlich lesen und verstehen?
- Akzeptanz: Gefällt sie ihnen so gut, dass sie sie in Zukunft verwenden wollen?
Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung einfacher Analogien:
1. Der Aufbau: Drei verschiedene Klassen
Die Forscher haben nicht nur eine Gruppe von Menschen getestet; sie haben drei separate „Experimente“ (wie drei verschiedene Klassen) durchgeführt, um sicherzustellen, dass ihre Ergebnisse solide sind.
- Klasse 1 (2022): Bachelor- und Masterstudierende in Italien. Sie sahen ein kurzes, 15-minütiges Video, um die Grundlagen zu lernen.
- Klasse 2 (2023): PhD-Studierende einer spezialisierten internationalen Schule. Sie erhielten ein viel längeres, 12-stündiges Seminar, um das Werkzeug zu erlernen.
- Klasse 3 (2023): Eine weitere Gruppe italienischer Studierender, ebenfalls mit dem kurzen Video.
2. Der Test: Lesen vs. Bauen
Den Studierenden wurden zwei Arten von Herausforderungen gestellt:
- Der Lesetest (Verständnis): Sie mussten Fragen zur Syntax (der Grammatik) und zur Bedeutung der Anweisungen beantworten. Einige Fragen waren einfach (wie „Was bedeutet dieses Wort?“), andere waren schwieriger (wie „Wenn ich diese Regel ändern möchte, wie mache ich das?“).
- Die Meinungsumfrage (Akzeptanz): Nach dem Test füllten sie einen Fragebogen aus mit den Fragen: „War dies einfach zu benutzen?“, „War es nützlich?“ und „Würden Sie es wieder verwenden?“
3. Die Ergebnisse: Das Gute, das Schlechte und das Überraschende
Die guten Nachrichten: Sie haben es verstanden!
Die Studierenden waren überraschend gut darin, die Bedienungsanleitung zu lesen.
- Die Analogie: Denken Sie daran, wie man ein neues Brettspiel lernt. Die meisten Studierenden konnten die Regeln und die Spielsteine (die Syntax) schnell verstehen. Etwa 80 % der Studierenden bestanden den „Lesetest“ mit einer guten Punktzahl.
- Der Haken: Während sie die Regeln verstanden, war es schwieriger, das Spiel tatsächlich zu verändern (die Regeln zu ändern, um eine neue Variante zu erstellen). Es ist so, als würde man perfekt Schach spielen können, aber Schwierigkeiten haben, auf der Stelle eine neue Schachvariante zu erfinden.
Die gemischten Nachrichten: Sie halten es für nützlich, aber es ist klobig
Wenn man sie nach ihren Gefühlen gegenüber dem Werkzeug fragte:
- Nützlichkeit: Sie stimmten überwiegend zu: „Ja, dieses Werkzeug ist nützlich!“ (92 % von ihnen). Sie erkannten den potenziellen Wert, so wie man erkennt, dass ein Schweizer Taschenmesser ein großartiges Werkzeug ist, das man haben sollte.
- Benutzerfreundlichkeit: Dies war die Schwachstelle. Nur etwa die Hälfte der Studierenden empfand es als „einfach zu benutzen“. Es fühlte sich ein wenig so an, als würde man versuchen, ein hochmodernes Schweizer Taschenmesser zu benutzen, das zu viele Knöpfe hat und keine klare Anleitung besitzt. Es funktioniert, aber es ist frustrierend zu handhaben.
- Nutzungsabsicht: Trotz der Frustration sagten die meisten Studierenden, dass sie es in Zukunft trotzdem versuchen würden, wenn sie die Chance dazu hätten.
Die große Überraschung: Verständnis bedeutet nicht gleich Sympathie
Normalerweise gehen wir davon aus, dass, wenn man etwas gut versteht, man es auch mag und verwenden möchte.
- Die Analogie: Stellen Sie sich einen Schüler vor, der eine schwierige Mathearbeit mit einer Eins abschließt. Man würde erwarten, dass er Mathematik liebt. Aber in dieser Studie hatten die Studierenden, die die höchsten Punktzahlen im „Lesetest“ erreichten, nicht zwangsläufig angegeben, dass das Werkzeug einfacher zu benutzen oder nützlicher sei.
- Das Ergebnis: Es gab keinen Zusammenhang zwischen dem, wie gut jemand das Werkzeug verstand, und dem, wie sehr er es mochte. Man konnte ein Genie beim Lesen der Anleitung sein und das Werkzeug trotzdem als nervig empfinden. Umgekehrt konnte man die Anleitung etwas schwerer verstehen und das Werkzeug dennoch für eine großartige Idee halten.
4. Das Fazit
Die Forscher kamen zu dem Schluss, dass Neverlang ein leistungsfähiges Werkzeug ist, das Menschen lernen können zu lesen, aber es muss benutzerfreundlicher gestaltet werden.
- Die Metapher: Es ist wie ein leistungsstarkes Hochleistungssportauto. Die Fahrer (Studierende) können herausfinden, wie man es fährt (Verständnis), und sie wissen, dass es schnell und nützlich ist (Nützlichkeit). Das Lenkrad ist jedoch steif und das Armaturenbrett ist verwirrend (Benutzerfreundlichkeit).
- Die Erkenntnis: Um mehr Menschen zum Fahren dieses Autos zu bewegen, müssen die Designer nicht unbedingt den Motor leistungsstärker machen (das Werkzeug ist bereits gut darin). Stattdessen müssen sie das Lenkrad geschmeidiger und das Armaturenbrett klarer machen.
Kurz gesagt: Die Leute können das Werkzeug verstehen und halten es für wertvoll, aber sie finden die Bedienung schwierig. Die Studie legt nahe, dass die Verbesserung der Benutzerfreundlichkeit der Schlüssel dazu ist, mehr Menschen zur Nutzung zu bewegen, unabhängig davon, wie intelligent sie das Verständnis der Anweisungen besitzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.