← Neueste Arbeiten
💻 Informatik

Naming the deliverable raises convention coverage in large language model outputs

Diese Studie zeigt, dass die explizite Verwendung fachspezifischer Bezeichnungen für Arbeitsergebnisse (z. B. „RACI-Matrix“ anstelle einer beschreibenden Phrase) die Einhaltung professioneller Konventionen durch die Ausgaben großer Sprachmodelle über verschiedene Modelle und Datensätze hinweg signifikant verbessert.

Ursprünglicher Autor: Jiawei Jing

Veröffentlicht 2026-11-04
📖 5 Min. Lesezeit🧠 Tiefgang

Ursprünglicher Autor: Jiawei Jing

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt der professionellen Arbeit gibt es eine stille Sprache, die Experten verwenden, um einen komplexen Satz von Regeln in einem einzigen Wort zu verpacken. Ein Projektmanager fordert vielleicht eine „RACI-Matrix“, ein Finanzanalyst bittet um ein „Term Sheet“ und ein Arzt ordnet eine „Entlassungssummary“ an. Für Außenstehende sind diese Namen nur Bezeichnungen, aber für den Praktiker fungiert jeder Name als eine komprimierte Datei, die eine spezifische Struktur, eine erforderliche Liste von Abschnitten und ein striktes Format enthält, das befolgt werden muss. Dies ist das Vokabularproblem: die Lücke zwischen dem, was eine Person benötigt, und den spezifischen Begriffen, die ein Experte verwendet, um es zu beschreiben. Seit Jahrzehnten wissen Informationswissenschaftler, dass Menschen, wenn sie nach Informationen suchen, indem sie ihre eigenen Wörter anstelle der offiziellen Fachbegriffe verwenden, oft das Ziel verfehlen. Da künstliche Intelligenz nun zu einem primären Werkzeug für die Erstellung dieser professionellen Dokumente wird, ist eine neue Frage aufgetaucht. Hilft es der Maschine, ein besseres Ergebnis zu erzielen, wenn eine Person die KI bittet, ein Dokument zu erstellen, indem sie den fachspezifischen Namen dieses Dokuments verwendet, anstatt lediglich zu beschreiben, was das Dokument tun soll?

Ein Forscher einer Entwicklungsgesellschaft in Japan unternahm den Versuch, diese Idee mit einer Reihe kontrollierter Experimente unter Verwendung von Large Language Models zu testen – den leistungsstarken KI-Systemen, die Texte, Code und Berichte schreiben können. Die Studie konzentrierte sich auf eine einfache, aber entscheidende Unterscheidung. In einem Szenario würde ein Benutzer die KI bitten, ein Dokument unter Verwendung des professionellen Namens zu erstellen, wie etwa „Erstelle ein Gantt-Diagramm“. In einem anderen Szenario würde derselbe Benutzer den Zweck des Dokuments beschreiben, ohne den Namen zu verwenden, wie etwa „Erstelle einen Zeitplan, der zeigt, welche Aufgaben wann stattfinden“. Beide Anfragen zielen auf dasselbe ab, aber die erste trägt das verborgene Gewicht professioneller Konventionen, während die zweite die KI raten lässt, welches Format gemeint ist. Der Forscher bat die KI, Dutzende verschiedener Arten von Dokumenten zu generieren, von Investitionsplänen bis hin zu medizinischen Notizen, sowohl unter Verwendung des professionellen Namens als auch der einfachen Beschreibung. Um zu sehen, welche Version besser war, wurden die Ergebnisse anhand einer Checkliste von Regeln gemessen, die definieren, wie eine korrekte Version dieses Dokuments auszusehen hat.

Die Ergebnisse waren über alle getesteten Modelle hinweg klar und konsistent. Wenn der Benutzer den professionellen Namen angab, enthielt die KI signifikant mehr der erforderlichen Konventionen als wenn der Benutzer lediglich die Aufgabe beschrieb. Die Verbesserung war erheblich und lag bei einer Steigerung von elf bis neunundzwanzig Prozentpunkten in der Anzahl der Regeln, denen die KI folgte. Das bedeutet, dass, wenn ein Modell einer einfachen Beschreibung folgte, es etwa die Hälfte der Regeln richtig erfüllte, während das Hinzufügen des professionellen Namens es dazu brachte, signifikant mehr davon richtig zu machen, obwohl es nicht zur Perfektion gelangte. Der Effekt war am stärksten bei Dokumenten, die eine feste, starre Struktur haben, wie etwa spezifische Analysemethoden oder formale Geschäftsvorlagen. Für diese Elemente fungierte der Name als Schlüssel, der eine Menge von Anweisungen freischaltete, die die KI aus menschlichen Texten gelernt hatte, die sie aber nicht anzuwenden wusste, sofern sie nicht explizit dazu aufgefordert wurde. Für gebräuchlichere Dokumente, wie eine allgemeine Pressemitteilung, war der Unterschied geringer, wahrscheinlich weil die Beschreibung des Zwecks bereits ausreichte, um die KI zu leiten.

Die Studie untersuchte auch, ob die KI Benutzern helfen kann, die den richtigen Namen nicht kennen. In einer zweiten Phase bat der Forscher die KI, dem Benutzer zuerst den professionellen Namen für ein Dokument zu nennen, und bat sie dann, das Dokument unter Verwendung dieses Namens zu erstellen. Die KI war in der Lage, in etwa zwei Drittel der Fälle im kleineren, kuratierten Datensatz den korrekten Namen zu nennen, aber die Genauigkeit sank im größeren, regelbasierten Datensatz auf etwa 46 %. Wenn der Benutzer diesen Namen dann verwendete, um nach dem Dokument erneut zu fragen, verbesserte sich die Qualität der Ausgabe signifikant und holte etwa die Hälfte bis drei Viertel des Vorteils zurück, den der Benutzer erzielt hätte, wenn er den Namen von Anfang an gekannt hätte; die Erholung war im Stichproben-Datensatz jedoch geringer. Dennoch war die KI nicht perfekt; sie schlug manchmal einen echten professionellen Namen für eine andere Art von Dokument vor, was zu einem schlechten Ergebnis führen würde. Dieser Befund deutet darauf hin, dass die KI zwar als Brücke zum Expertenvokabular dienen kann, der Benutzer jedoch dennoch prüfen muss, ob der Name korrekt ist.

Diese Erkenntnisse stellen die Vorstellung infrage, dass Benutzer das gesamte Vokabular eines Fachgebiets erlernen müssen, um gute Ergebnisse von KI zu erhalten. Stattdessen deutet die Studie auf eine einfachere, praktischere Fähigkeit hin: zu wissen, dass diese Dokumente spezifische Namen haben, die KI nach diesen Namen zu fragen, wenn sie unbekannt sind, und diese dann zu verwenden. Die Forschung zeigt, dass der professionelle Name nicht nur eine Bezeichnung ist, sondern ein Signal, das der KI sagt, in einen spezifischen Schreibmodus zu wechseln und eine Reihe von Konventionen zu aktivieren, die eine einfache Beschreibung nicht auslösen kann. Dies ist besonders wichtig für Aufgaben, bei denen das Format ebenso wichtig ist wie der Inhalt. Die Studie kommt zu dem Schluss, dass für jeden, der diese Werkzeuge nutzt, die Fähigkeit, nach dem korrekten Namen für ein Arbeitsergebnis zu fragen und diesen zu überprüfen, eine grundlegende Fertigkeit ist, die es der KI ermöglicht, als echter Partner in der professionellen Arbeit zu fungieren, statt nur ein Textgenerator zu sein.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →