In der Welt des maßgeschneiderten Schreinereihandwerks und der Einbaumöbel beginnt die Reise von einer Skizze zu einem fertigen Stück mit einem Satz Zeichnungen. Dies sind keine einfachen Bilder; es sind komplexe technische Dokumente, die die Details eines einzelnen Schranks über mehrere Seiten verteilen und ihn von vorne, von der Seite und im Querschnitt zeigen, oft begleitet von handschriftlichen Noten und winzigen Zahlen. Um diese Zeichnungen in ein Preisangebot zu verwandeln, muss ein menschlicher Kalkulator jedes einzelne Teil lesen, jedes Regal und jede Platte ausmessen und die exakte Menge des benötigten Materials berechnen. Dieser Leseprozess ist langsam, teuer und fehleranfällig. Kürzlich begannen Forscher zu fragen, ob künstliche Intelligenz diese Arbeit übernehmen kann. Diese Systeme, bekannt als multimodale Agenten, sind Computerprogramme, die sowohl Bilder „sehen“ als auch Text „lesen“ können, was es ihnen ermöglicht, eine Zeichnung anzusehen und zu versuchen zu verstehen, was sie darstellt. Die Hoffnung war, dass diese Agenten die mühsame Aufgabe des Zählens von Teilen und des Messens von Dimensionen automatisieren könnten, um Menschen freizusetzen, damit sie sich auf den Endpreis und das Design konzentrieren können. Frühe Versuche zeigten jedoch, dass diese Maschinen zwar gut darin sind, Wörter zu lesen, aber erhebliche Schwierigkeiten mit den visuellen Details technischer Zeichnungen haben, wobei sie oft kleine Zahlen übersehen oder die Art und Weise, wie Teile zusammenpassen, missverstehen.

Ein Forscher namens Donald Dujardin setzte sich zum Ziel, genau dieses Problem zu lösen, indem er einen Agenten entwickelte, der darauf ausgelegt war, Innenausbauzeichnungen zu lesen und sie in eine strukturierte Teileliste zu verwandeln. Anstatt dem Computer einfach nur zu sagen, er solle „besser arbeiten“, behandelte er den Agenten wie einen Schüler, der die richtigen Werkzeuge und die richtigen Informationen zur richtigen Zeit benötigt. Über mehrere Monate hinweg testete er mehr als zweihundert verschiedene Änderungen, um zu sehen, was dem Agenten tatsächlich half, die Zahlen richtig zu erfassen. Er verglich jede neue Idee mit einem festen Satz korrekter Antworten, die vor Beginn der Tests vorbereitet worden waren, um sicherzustellen, dass die Ergebnisse objektiv gemessen wurden. Was er entdeckte, war ein klares Muster: Der Agent verbesserte sich drastisch, wenn ihm neue Informationen gegeben wurden, die er zuvor nicht hatte, aber er verbesserte sich überhaupt nicht, wenn ihm mehr oder strengere Anweisungen darüber gegeben wurden, wie er sich zu verhalten habe.

Die auffälligste Verbesserung kam durch die Änderung der Art und Weise, wie der Agent die Zeichnungen betrachtete. Wenn der Agent versuchte, ein ganzes Blatt Papier auf einmal zu lesen, übersah er fast alle winzigen Maßzahlen und fand nur einen Bruchteil von ihnen. Dies geschah, weil die Zahlen auf der vollständigen Seite so klein waren, dass sie für das „Auge“ des Computers nahezu unsichtbar waren. Der Forscher änderte den Ansatz, indem er dem Agenten die Zeichnung in einem Raster aus kleineren, vergrößerten Kacheln zeigte, ganz so, als würde man mit einer Lupe auf eine Karte schauen. Diese einfache Änderung ermöglichte es dem Agenten, die feinen Details klar zu sehen. Auf einem Blatt sprang die Anzahl der gefundenen Dimensionen von nur vier von sechsundzwanzig auf fünfundzwanzig von sechsundzwanzig. Auf einem anderen Blatt mit noch kleineren Zahlen verbesserte sich der Agent von zwei Funden auf vierunddreißig von zweiundsechzig. Der Schlüssel war nicht, dem Agenten zu sagen, er solle genauer hinsehen, sondern ihm schlichtweg eine Sicht zu ermöglichen, in der die Details tatsächlich sichtbar waren.

Ein weiterer großer Durchbruch betraf die Art und Weise, wie der Agent den Text auf der Seite mit den Formen verband, die er sah. Zeichnungen enthalten oft Beschriftungen wie „Eiche“ oder „19 mm“, die in der Nähe eines Teils geschrieben stehen, aber der Computer hatte Schwierigkeiten zu wissen, zu welchem Teil diese Wörter gehörten. Der Forscher fand heraus, dass die Verwendung der Textbeschriftungen aus der digitalen Datei als feste Referenzpunkte oder Anker das Problem löste. Als dem Agenten gesagt wurde, er solle seine Funde an diese spezifischen Textanker knüpfen, stieg seine Fähigkeit, korrekt zu identifizieren, welches Teil welches war, von weniger als der Hälfte auf über neunzig Prozent. Im Gegensatz dazu schnitt der Agent schlecht ab, als der Forscher gefälschte Beschriftungen verwendete, die zwar gleich aussah, aber keine echte Bedeutung hatten. Dies bewies, dass der Agent einen konkreten, festen Punkt zum Festhalten brauchte und nicht nur einen Hinweis, auf etwas zu achten.

Die Studie testete auch die Kraft von Beispielen gegenüber Regeln. Der Forscher versuchte, dem Agenten ein einzelnes, klares Beispiel dafür zu geben, wie man ein Werkzeug verwendet, wie etwa wie man nach einem spezifischen Maß fragt, und stellte fest, dass dies die Anzahl der fehlerhaften oder verwirrten Anfragen um fast drei Viertel reduzierte. Er versuchte jedoch, diese Beispiele durch eine lange Liste von schriftlichen Regeln zu ersetzen, die dem Agenten genau erklärten, wie er die Zeichnung lesen sollte, und das Ergebnis war nicht besser als eine zufällige Zeichenfolge gleicher Länge. Dies war eine überraschende Erkenntnis: Es deutete darauf hin, dass das bloße Schreiben von mehr Anweisungen oder die Bestimmtheit darüber, was der Agent tun sollte, nicht half. Der Agent musste nicht angewiesen werden, vorsichtiger zu sein; er musste gesehen bekommen, wie eine korrekte Handlung aussieht.

Schließlich entdeckte der Forscher, dass das Timing der Informationen entscheidend war. Wenn der Agent kurz davor war, ein Maß aufzuzeichnen, verbesserte die Bereitstellung einer spezifischen Tatsache darüber, wie Schränke in dieser speziellen Werkstatt gebaut werden, die Genauigkeit der Tiefenmaße. Ähnlich verhielt es sich, wenn ein Computerprogramm die Arbeit des Agenten überprüfte und einen Fehler fand: Das Stellen einer gezielten Frage an den Agenten über diesen spezifischen Fehler half ihm, den Fehler in etwa einem Drittel der Fälle zu korrigieren. Oh ohne diese gezielte Frage korrigierte der Agent seine Fehler kaum selbst. Die Studie kommt zu dem Schluss, dass der Weg zu einer besseren Leistung bei diesen Arten von Aufgaben nicht über bessere Anweisungen führt, sondern über bessere Informationen. Der Agent ist erfolgreich, wenn er die Details klar sehen kann, einen festen Punkt hat, an dem er seine Gedanken verankern kann, korrektes Verhalten als Beispiel sieht und zum exakten Zeitpunkt benötigt wird, an dem er spezifische Fakten oder Fragen erhält. Dieser Ansatz bietet einen praktischen Leitfaden für jeden, der versucht, intelligente Systeme zu bauen, die komplexe visuelle Dokumente verstehen müssen: Geben Sie der Maschine die Daten, die ihr fehlen, anstatt ihr nur zu sagen, was sie tun soll.