TraceML: An Empirical Analysis of Human-Agent Planning in Machine Learning Development
Dieses Paper führt TraceML ein, einen umfassenden Datensatz und ein Schema, das menschliche und Agenten-Trajektorien über 134 Machine-Learning-Wettbewerbe hinweg paart, was offenbart, dass aktuelle Agenten die menschliche Leistung nicht aufgrund von Kodierungsfehlern nicht erreichen, sondern weil es ihnen an den strategischen Planungs- und iterativen Explorationsverhaltensweisen mangelt, die von menschlichen Experten gezeigt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz gibt es einen deutlichen Unterschied zwischen dem Schreiben eines einzelnen korrekten Satzes und dem Aufbau einer komplexen Maschine, die aus Daten lernt. Große Sprachmodelle – jene leistungsstarken Computerprogramme, die E-Mails entwerfen oder Code für isolierte Aufgaben schreiben können – sind im ersten Punkt bereits bemerkenswert geschickt geworden. Wenn man sie jedoch auffordert, als autonome Ingenieure zu agieren – also unordentliche Daten zu laden, die richtigen mathematischen Modelle auszuwählen, diese zu trainieren und dann Stunden damit zu verbringen, ihren Ansatz basierend auf den Ergebnissen anzupassen –, scheitern sie oft. Sie können zwar ein Endergebnis liefern, aber sie haben Schwierigkeiten, den langen, gewundenen Weg der Entdeckung zu beschreiten, der dorthin führt. Diese Lücke betrifft nicht nur das Erreichen einer falschen Zahl am Ende; es geht darum, wie die Arbeit verrichtet wird. Während menschliche Experten vielleicht ein Dutzend verschiedener Strategien ausprobieren, die gescheiterten verwerfen und zu alten Ideen zurückkehren, die einst vielversprechend erschienen, bleiben diese automatisierten Agenten oft in engen Schleifen stecken und wiederholen dieselben kleinen Anpassungen, ohne jemals wirklich die Richtung zu ändern.
Forscher der Carnegie Mellon University machten sich daran zu verstehen, wo und warum dieser Zusammenbruch stattfindet. Sie entwickelten eine neue Art, die Arbeit sowohl menschlicher Experten als auch künstlicher Agenten zu betrachten, indem sie deren gesamten Entwicklungsprozess als eine einzige, kontinuierliche Geschichte behandelten, statt nur als einen Endwert. Sie sammelten tausende von Aufzeichnungen darüber, wie Menschen Machine-Learning-Wettbewerbe lösten – sie erfassten jeden Moment, in dem sie eine neue Version ihres Codes speicherten, jedes Mal, wenn sie ein Modell änderten und jedes Mal, wenn sie ihre Daten anpassten. Diesen Daten stellten sie die Arbeit von zwei verschiedenen Arten automatisierter Agenten gegenüber, die an denselben Problemen arbeiteten. Indem sie diese Verläufe nebeneinander legte, konnten sie nicht nur sehen, wer gewonnen hatte, sondern auch, wie jede Seite dachte, sich bewegte und auf Misserfolge reagierte, im Laufe eines Wettbewerbs.
Sie fanden heraus, dass es eine klare Kluft in der Herangehensweise der beiden Gruppen gab. Die menschlichen Experten bewegten sich mit einem fließenden, anpassungsfähigen Rhythmus. Sie verbrachten Zeit mit der Bereinigung von Daten, wechselten dann zum Testen eines neuen Modells, traten einen Schritt zurück, um ihre Ergebnisse zu verifizieren, und kehrten manchmal, wenn sie gegen eine Wand liefen, zu einer Idee zurück, die sie bereits vor Tagen verworfen hatten. Sie betrachteten den Prozess als eine Serie von Experimenten und waren bereit, komplett umzusteuern, wenn die Beweise nahelegten, dass ein neuer Pfad notwendig war. Die automatisierten Agenten hingegen verhielten sich so, als wären sie in einem einzigen Raum gefangen. Eine Art von Agent, die auf ein Standard-Kommandozeileninterface vertraute, verbrachte fast die gesamte Zeit damit, winzige, repetitive Anpassungen an einer bereits gefundenen Lösung vorzunehmen – wie jemand, der ständig dieselben Zutaten neu abwiegt, ohne jemals ein neues Rezept auszuprobieren. Die andere Art von Agent, die eine Suchmethode nutzte, um viele Variationen gleichzeitig auszuprobieren, änderte zwar ständig ihr Modell, versäumte es jedoch, diese Änderungen in eine kohärente Strategie zu integrieren. Sie sprang so häufig von einer Idee zur nächsten, dass sie niemals echten Boden gutmachen konnte, und sie kehrte fast nie zu einem vorherigen Ansatz zurück, um zu prüfen, ob dieser verbessert werden könnte.
Die Forscher entdeckten, dass die Agenten nicht nur langsamer waren, sondern dass ihnen eine entscheidende menschliche Fähigkeit fehlte: die Fähung, sich zu erinnern und zurückzukehren. Wenn ein menschlicher Experte erkannte, dass ein aktueller Pfad eine Sackgasse war, konnte er in seine Historie zurückblicken, eine vielversprechende Sackgasse vom frühen Tag finden und versuchen, diese zu reparieren. Die Agenten hingegen schienen kein Gedächtnis für ihre eigene Historie zu haben. Sie konnten zwar auf eine schlechte Punktzahl reagieren, indem sie das aktuelle Modell anpassten, aber sie konnten keine Arbeitslinie wiederaufnehmen, die sie bereits beiseitegelegt hatten. Dieser Mangel an Gedächtnis bedeutete, dass sie ständig das Rad neu erfanden oder auf der Stelle traten, unfähig, auf den Lehren ihrer eigenen vergangenen Versuche aufzubauen. Die Studie zeigte, dass die Agenten zwar in einigen Fällen schneller als Menschen auf Rückschläge reagieren konnten, ihnen aber die strategische Geduld fehlte, eine scheiternde Strategie aufzugeben und später zu einer besseren zurückzukehren.
Um zu testen, ob dieses Verhalten lediglich eine Frage besserer Anweisungen an die Agenten war, probierten die Forscher einen neuen Ansatz aus. Sie erstellten einen Satz von Richtlinien, die darauf basierten, wie die menschlichen Experten tatsächlich arbeiteten, und wiesen die Agenten an, zwischen verschiedenen Arten von Aufgaben zu wechseln, aufzuhören, ständig dasselbe zu tweaken, und öfter neue Modelle auszuprobieren. Als sie diese Anweisungen an die Agenten gaben, änderte sich das Verhalten zwar, aber nur in spezifischer Weise. Die Agenten begannen, die Regeln darüber zu befolgen, wann sie die Aufgabe wechseln und wie sie ein Team von Modellen zusammenstellen sollten, und ihre Punktzahlen verbesserten sich in mehreren Wettbewerben. Dennoch blieb der zugrunde liegende Rhythmus ihrer Arbeit unverändert. Sie kehrten immer noch nicht zu alten Ideen zurück und besaßen immer noch nicht das tiefe, flexible Gedächtnis, das es Menschen ermöglichte, die langen Stunden der Entwicklung zu navigieren. Die Anweisungen konnten den Agenten sagen, was sie tun sollten, aber sie konnten sie nicht lehren, wie sie über ihre eigene Geschichte nachdenken sollen.
Die Studie kommt zu dem Schluss, dass die Lücke zwischen menschlicher und künstlicher Intelligenz in diesem Bereich nicht nur eine Frage der rohen Rechenleistung oder der Fähigkeit ist, Code zu schreiben. Es geht um die Architektur der Suche selbst. Den Agenten fehlt die Fähigkeit, ihre eigene vergangene Arbeit als eine Ressource zu betrachten, die man abbauen kann, statt nur als eine Liste von Schritten, die ausgeführt werden müssen. Während eine einfache Menge von Anweisungen einige oberflächliche Verhaltensweisen korrigieren kann, erfordert das tiefere Problem eine grundlegende Änderung in der Art und Weise, wie diese Systeme konzipiert sind. Sie benötigen eine Möglichkeit, sich an ihren Weg zu erinnern, zu erkennen, wenn sie in einer Schleife feststecken, und das Vertrauen zu besitzen, zurückzukehren und einen anderen Pfad auszuprobieren. Bis sie dazu in der Lage sind, werden sie mächtige Werkzeuge bleiben, die eine Karte folgen können, aber sie werden Schwierigkeiten haben, die Entdecker zu sein, die die Karte erst zeichnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.