Structure for Reading, Prose for Writing: Asymmetric Structural Conditioning in Multi-Agent Document Authoring

In der Welt des automatisierten Schreibens herrscht der hartnäckige Glaube vor, dass Struktur der ultimative Schlüssel zur Klarheit ist. Computer wurden lange Zeit darauf trainiert, Dokumente genauer zu lesen, wenn diese mit klaren Tags und Labels organisiert sind, statt als eine Wand aus reinem Text. Dieses Prinzip ist zu einer Standardregel im Bereich der künstlichen Intelligenz geworden: Wenn man möchte, dass eine Maschine einen spezifischen Fakt findet oder einer spezifischen Anweisung folgt, hilft es ihr, eine strukturierte Karte der Informationen zu erhalten, um durch die Daten zu navigieren. Folglich nahmen viele Ingenieure an, dass dieser strukturelle Vorteil auch beim Schreiben der Maschine gilt. Die Logik schien fundiert: Wenn Struktur einer Maschine beim Lesen hilft, sollte sie ihr auch beim Schreiben helfen.

Ein neuer Studienbericht stellt diese Annahme jedoch infrage, indem er eine sehr spezifische, hochsensible Aufgabe untersucht: das Verfassen formeller Antworten auf staatliche Ausschreibungen. Dies sind komplexe Dokumente, bei denen ein Unternehmen hunderte von Fragen eines Kunden beantworten muss, wobei es oft strengen Formatierungsregeln folgt und die exakte Wortwahl des Kunden übernimmt. Die Forscher entwickelten ein System aus mehreren Agenten der künstlichen Intelligenz, um diese Arbeit zu bewältigen, indem sie die Aufgaben des Lesens der Anforderungen, des Sammelns von Fakten und des Entwerfens der Antworten trennten. Sie testeten dieses System gegen echte, von Menschen geschriebene Gebote, die von derselben Organisation eingereicht worden waren. Was sie entdeckten, war eine überraschende Spaltung in der Art und Weise, wie die Maschine lernt. Während Struktur die Maschine zu einem besseren Leser macht, macht sie die Maschine zu einer schlechteren Schreiberin. Die Studie legt nahe, dass der beste Weg, eine KI zu führen, nicht darin besteht, sie zum Befolgen einer starren Vorlage zu zwingen, sondern sie strukturierte Daten lesen zu lassen und dann in natürlicher Sprache schreiben zu lassen, wobei sie ihre eigenen internen Prüfungen anwendet, um die Qualität sicherzustellen.

Die Forscher begannen damit, ihr Multi-Agenten-System einzusetzen, um Antworten auf echte Ausschreibungsanfragen zu entwerfen. Das System war darauf ausgelegt, vorsichtig und präzise zu sein. Es versuchte nicht, Antworten zu erraten; stattdessen unterteilte es die Arbeit in kleine Schritte. Zuerst las es die Dokumente des Kunden und konvertierte sie in ein strukturiertes Format, das die Beziehungen zwischen Fragen und Anweisungen bewahrte. Dann sammelte es Informationen aus einer Bibliothek vergangener Dokumente und Unternehmensunterlagen. Schließlich entwarf es die Antworten. Um zu sehen, wie gut es performte, verglich das Team die Entwürfe der Maschine mit einem echten Gebot, das die Organisation von Hand für eine andere Ausschreibung geschrieben hatte. In diesem Vergleich hatte die Maschine kein Beispiel zum Kopieren; sie musste sich ganz auf ihr eigenes Denken und die bereitgestellten Dokumente verlassen.

Ein unabhängiger Richter, eine weitere künstliche Intelligenz, die darauf trainiert war, die Qualität des Schreibens und nicht nur dessen Ähnlichkeit zum Original zu bewerten, prüfte die Ergebnisse. Die Antworten der Maschine wurden in vierzig von fünfundfünfzig Abschnitten als mindestens so gut wie die von Menschen geschriebenen bewertet. In vier Abschnitten wurde die Maschine sogar besser bewertet. Sie versäumte es in keinem einzigen Abschnitt vollständig. Das einzige größere Problem war eine einzige ungestützte Behauptung, bei der die Maschine ein Sicherheitsmerkmal ableitete, das der Text nicht explizit angab. Dieses Ergebnis war beeindruckend, insbesondere wenn man bedenkt, dass es sich nicht um ein State-of-the-Art-Modell handelte und die Maschine keine vorherigen Beispiele zum Lernen hatte.

Doch die Forscher blieben nicht bei der oberflächlichen Bewertung stehen. Sie gingen tiefer in die fünfzehn Abschnitte, in denen die Maschine schlechter abschnitt als der menschliche Autor. Sie wollten wissen, ob die Maschine schlecht schrieb oder ob ihr schlichtweg die richtigen Informationen fehlten. Sie fanden heraus, dass in fast siebzig Prozent dieser Fälle der „Fehler“ tatsächlich ein Mangel an Daten war. Der menschliche Autor hatte bestimmte Details aus Erfahrung oder privaten Gesprächen gekannt, die dem System der Maschine nie mitgeteilt worden waren. Als die Forscher die Bewertung anpassten, um diese fehlenden Fakten zu ignorieren, sprang die Leistung der Maschine auf fast neunzig Prozent. Dies enthüllte eine entscheidende Erkenntnis: Die Lücke zwischen der Maschine und dem Menschen lag nicht primlich in der Schreibfähigkeit, sondern im Informationszugang. Die Maschine war eine kompetente Schreiberin, die oft durch unvollständige Briefings behindert wurde.

Die Studie wandte sich dann einem kontrollierteren Experiment zu, um die Rolle der Struktur zu testen. Das Team nahm die Anweisungen, die die Maschine erhielt, und präsentierte sie auf zwei verschiedene Arten. In einer Version waren die Anweisungen als Fließtext verfasst, wie ein Standard-Memo. In der anderen wurden die Anweisungen in ein verschachteltes, strukturiertes Format umgewandelt, ähnlich einer digitalen Datei mit Tags. Sie erwarteten, dass die strukturierte Version der Maschine half, die Aufgabe besser zu verstehen, genau wie es beim Lesen geholfen hatte. Stattdessen geschah das Gegenteil. Als die Anweisungen strukturiert waren, sank die Qualität der Antworten signifikant. Die Maschine lieferte weniger korrekte Antworten und wiederholte die Anweisungen häufiger in ihrem eigenen Text, ein Zeichen dafür, dass sie verwirrt war.

Die Forscher erkannten, dass Struktur verändert, worauf die Maschine ihre Aufmerksamkeit richtet. Wenn die Anweisungen als Fließtext vorlagen, konzentrierte sich die Maschine auf die Bedeutung der Anfrage. Wenn die Anweisungen mit Tags strukturiert waren, konzentrierte sich die Maschine auf die Tags selbst. Sie begann, den Namen des Kunden oder den Titel des Dokuments als den wichtigsten Teil des Satzes zu behandeln, was dazu führte, dass sie ihre Antworten mit holprigen Formulierungen wie „Der Kunde erfordert...“ begann, anstatt die Frage direkt zu beantworten. Dies zeigte, dass Struktur einer Maschine zwar hilft, Informationen zu lokalisieren, sie aber ablenken kann, wenn sie neue Inhalte generieren soll.

Das Team untersuchte auch, wie die Maschine mit Regeln umgeht, was sie nicht tun soll. Sie fanden heraus, dass die bloße Anweisung an die Maschine, „dieses Wort nicht zu verwenden“, das Problem oft verschlimmerte. Die Maschine fixierte sich auf das verbotene Wort und verwendete es entweder trotzdem oder in einer Weise, die die Regeln brach. Wenn sie der Maschine jedoch einen Test zur Ausführung auf ihren eigenen Sätzen gaben – mit der Bitte, zu prüfen, ob ein Satz dem Original zu ähnlich sei, und ihn gegebenenfalls umzuschreiben –, verschwanden die Fehler. Die Maschine lernte, sich selbst zu kontrollieren, ohne explizit gesagt zu bekommen, was sie zu vermeiden hat.

Schließlich bemerkten die Forscher einen subtilen, aber gefährlichen Fehler in der Art und Weise, wie das System seine eigenen Notizen handhabte. Die Maschine fügte manchmal ein kleines Zeichen zu einem Dokument hinzu, um eine bestimmte Stelle zu markieren. Dieses Zeichen änderte die Länge des Textes geringfügig. Da die Maschine den Text in fest vorgegebenen Blöcken verarbeitete, verschob dieses winzige Änderung der Länge die Grenzen der Blöcke. In der Folge betrachtete die Maschine einen anderen Satz von Wörtern als beabsichtigt, was dazu führte, dass eine völlig andere Anzahl an Fragen extrahiert wurde. Ein Unterschied von nur zwei Markierungen im Text führte dazu, dass das System siebzehn Fragen weniger extrahierte. Dies zeigte, dass selbst winzige, zufällige Änderungen in der Art und Weise, wie die Maschine ihre Arbeit annotiert, in große Fehler ausarten konnten, einfach weil das System zu starr darin war, die Informationen zu zerteilen.

Das Gesamtbild, das sich ergibt, ist eines der sorgfältigen Balance. Die Studie behauptet nicht, dass künstliche Intelligenz das Problem des Verfassens formeller Dokumente gelöst hat, noch deutet sie darauf hin, dass Maschinen bereit sind, menschliche Autoren vollständig zu ersetzen. Stattdessen bietet sie eine präzise Karte dessen, wo die Technologie funktioniert und wo sie kämpft. Die Maschine ist ein mächtiges Werkzeug zum Lesen und Organisieren von Informationen, insbesondere wenn diese Informationen strukturiert sind. Aber wenn es um das Schreiben geht, kann das Erzwingen einer starren Struktur die Maschine verwirren. Der effektivste Ansatz besteht darin, die Maschine strukturierte Daten lesen zu lassen, sie aber in natürlicher Sprache schreiben zu lassen, wobei sie Selbstprüfungen nutzt, um auf Kurs zu bleiben. Diese Unterscheidung zwischen Lesen und Schreiben ist nicht nur ein technisches Detail; sie ist eine fundamentale Regel für den Aufbau von Systemen, denen man wichtige Aufgaben anvertrauen kann. Die Forscher fanden heraus, dass die besten Ergebnisse nicht dadurch erzielt werden, dass man die Maschine dazu bringt, einer perfekten Vorlage zu folgen, sondern indem man ihr die richtigen Informationen gibt und sie ihre eigene Urteilskraft auf den fertigen Entwurf anwenden lässt.