Praxist: From Experimental Artifacts to Solution Lineages
Praxist ist ein linienzentriertes Generationensystem, das autonome Forschung und Entwicklung von isolierten Experimenten in einen rückverfolgbaren Evidenzgraphen transformiert, wodurch Agenten validierte Mechanismen erben und eine überlegene Leistung bei komplexen technischen Aufgaben zu etwa einem Zwölftel der Kosten bestehender Baselines erreichen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wissenschaft und Ingenieurwesen verlassen sich seit langem auf einen einfachen, menschlichen Rhythmus: etwas ausprobieren, sehen, ob es funktioniert, aus dem Fehler lernen und es erneut versuchen. Jahrzehntelang war dieser Zyklus der Motor der Entdeckung, bei dem ein Forscher einen Prototyp baut, ihn testet und die Ergebnisse nutzt, um die nächste Version zu verfeinern. Doch da Computer nun leistungsstark genug sind, um ihren eigenen Code zu schreiben und ihre eigenen Experimente durchzuführen, ist eine neue Frage aufgetaucht. Kann eine Maschine aus ihren eigenen Fehlern lernen, so wie ein Mensch es tut? Die Herausforderung besteht nicht nur darin, dass die Maschine ein Ergebnis erhält, sondern dass sie versteht, warum sie dieses Ergebnis erzielt hat. Wenn ein Computer tausend Variationen eines Designs ausprobiert, produziert er oft einen Berg von Daten, der ihm zwar sagt, was passiert ist, aber nicht, welche spezifische Änderung den Unterschied gemacht hat. Ohne diese Klarheit ist die Maschine gezwungen, dieselben Lektionen immer und immer wieder neu zu lernen, wobei sie Zeit und Energie auf Pfaden verschwendet, die ins Nichts führen.
Dies ist das Problem, das ein Team von Forschern bei Sapient Intelligence zu lösen versuchte. Sie entwickelten ein System namens PRAXIST, das nicht nur darauf ausgelegt ist, Lösungen zu finden, sondern auch eine klare, prüfbare Historie darüber aufzubauen, wie diese Lösungen entdeckt wurden. Anstatt jeden Versuch als Neuanfang zu betrachten, behandelt PRAXIST Forschung als einen kontinuierlichen Dialog. Es nimmt die Ergebnisse eines Experiments, zerlegt sie in spezifische Lektionen – was funktionierte, was scheiterte und was nur ein glücklicher Zufall war – und speichert diese Lektionen als dauerhaftes Protokoll. Wenn das System seine nächste Runde von Experimenten beginnt, schaut es nicht nur auf die beste Punktzahl der Vergangenheit; es schaut sich die spezifischen Mechanismen an, die diese Punktzahl verdient haben. Es fragt: „Hat dieser Teil des Designs tatsächlich zur Verbesserung geführt, oder war es etwas anderes?“ Durch die Beantwortung dieser Frage kann das System nur die nützlichen Teile seiner Geschichte weiterführen und so stärkere und zuverlässigere Lösungen mit weitaus weniger Aufwand als zuvor aufbauen.
Die Forscher testeten diesen Ansatz an einem massiven Satz von fünfundsiebzig verschiedenen Machine-Learning-Engineering-Herausforderungen, die von der Identifizierung von Krankheiten in medizinischen Bildern bis hin zur Vorhersage von Börsentrends reichten. Sie verglichen ihr System mit einem leistungsstarken, standardmäßigen KI-Coding-Assistenten, der auf einem der fortschrittlichsten verfügbaren Sprachmodelle lief. Der Standard-Assistent erreichte zwar bei etwa dreiundsiebzig Prozent der Aufgaben eine Medaille, verursachte dabei jedoch nahezu achtunddreißigtausend Dollar an Rechenkosten. Das PRAXIST-System, das ein anderes zugrunde liegendes Modell und eine wesentlich intelligentere Art der Arbeitsorganisation nutzt, errang Medaillen bei achtzig Prozent der Aufgaben, während es nur etwa dreitausend Dollar kostete. Mit anderen Worten: Das neue System fand bessere Lösungen für etwa ein Zwölftel der Kosten.
Doch die wahre Innovation liegt nicht nur in der Ersparnis, sondern in der Methode. Die Forscher beobachteten, dass die meisten automatisierten Systeme ihre Historie wie eine einfache Liste von Punktzahlen behandeln, indem sie nur die höchste Zahl behalten und den Rest verwerfen. PRAXIST hingegen behandelt die Historie wie einen Stammbaum. Jedes Mal, wenn das System ein neues Stück Software oder einen neuen Steuerungsmechanismus erstellt, zeichnet es die spezifischen Designentscheidungen auf, die zum Erfolg oder zum Scheitern führten. Wenn eine bestimmte Änderung in einem Algorithmus zur Landung einer Rakete dazu führte, dass das Fahrzeug abstürzte, wird dieses Scheitern nicht als Sackgasse, sondern als wertvolle Lektion registriert, die zukünftigen Versuchen sagt, was zu vermeiden ist. Wenn eine spezifische Anpassung einer Handelsstrategie die Gewinne verbesserte, wird dieser Erfolg mit dem exakten Grund verknüpft, warum er funktionierte, damit das System weiß, dass es dieselbe Anpassung in einem anderen Kontext verwenden muss. Dieser Prozess ermöglicht es dem System, „typisierte Evidenz“ zu erben, was bedeutet, dass es genau weiß, welche Teile einer Lösung bewiesen funktionieren und welche noch bloße Vermutungen sind.
Um zu sehen, wie dies in der realen Welt funktioniert, wandte das Team PRAXIST auf vier komplexe, offene Ingenieursprobleme an, für die es keine einzige richtige Antwort gab. In einem Fall baten sie das System, einen Controller für eine wiederverwendbare Rakete zu entwerfen, die vertikal landen soll. Der Ausgangspunkt war ein Controller, der nur in vier Prozent der Fälle erfolgreich war. Ein standardmäßiger automatisierter Optimierer versuchte hunderte von Variationen und konnte die Erfolgsquote auf siebzehn Prozent verbessern, schaffte es jedoch nicht, die Rakete jedes Mal sicher landen zu lassen. PRAXIST hingegen schlug einen anderen Weg ein. Es versuchte nicht nur zufällige Änderungen; es baute eine Abstammungslinie von Verbesserungen auf. Es fügte zuerst einen Regler hinzu, um den Treibstoff zu verwalten, dann einen Führer, um den Übergang zwischen den Flugphasen zu handhaben, und schließlich ein spezifisches mathematisches Werkzeug, um die Kräfte auf die Flossen der Rakete auszubalancieren. Am Ende der Kampagne hatte das System einen Controller hervorgebracht, der die Rakete in jedem einzelnen Testlauf erfolgreich landete – eine perfekte Punktzahl von einhundert Prozent. Entscheidend war, dass das System den gesamten Weg aufzeichnete und genau zeigte, wie jede kleine Verbesserung zu dem endgültigen Erfolg führte.
In einem anderen Experiment befasste sich das System mit dem Problem des autonomen Handels. Das Ziel war es, eine Strategie zu entwickeln, die Aktien kauft und verkauft, um den Gewinn über die Zeit zu maximieren. Die Basisstrategie, die einfach eine gleiche Menge jeder verfügbaren Aktie kaufte, erreichte eine jährliche Wachstumsrate von dreiundzwanzig Prozent. PRAXIST entdeckte eine komplexere, adaptive Strategie, die aus Marktmustern lernte und ihr Verhalten basierend auf Ausführungskosten anpasste. Diese neue Strategie erreichte eine Wachstumsrate von dreiundfünfzig Prozent, mehr als das Doppelte der Basisstrategie. Das System fand nicht nur eine glückliche Kombination; es verfolgte die Entdeckung bis zu den spezifischen Änderungen zurück, wie etwa der Art und Weise, wie die Strategie mit Risiken umging und wie sie das Timing ihrer Trades verwaltete. Die Forscher konnten die „Lineage“ des Systems betrachten und den exakten Moment sehen, in dem die Strategie lernte, eine häufige Falle zu vermeiden, die bisher ihre Performance beeinträchtigt hatte.
Das System bewährte sich auch im Bereich der Robotik und Physik. In einem Test mit einem Roboter, der Kameras und Laser zur Navigation nutzt, verschwendete das Standardsystem eine enorme Menge an Rechenleistung, indem es die Karte ständig mit redundanten Informationen aktualisierte. PRAXIST erkannte, dass der Roboter nicht bei jedem einzelnen Videobild nachsehen musste; er musste nur dann nachsehen, wenn die neuen Informationen tatsächlich nützlich waren. Indem das System den Roboter lehrte, unnötige Updates zu überspringen, reduzierte es die visuelle Verarbeitungszeit um zweiundsiebzig Prozent, ohne die Genauigkeit der Navigation zu beeinträchtigen. Ähnlich dazu entwarf das System in einer Simulation zur Steuerung eines Kernfusionsreaktors einen Controller, der das instabile Plasma über längere Zeiträume stabil hielt, obwohl die physikalischen Prozesse notoriously schwer vorhersehbar sind.
Was diese Ergebnisse so bedeutend macht, ist die Transparenz, die sie bieten. In der traditionellen automatisierten Forschung ist es oft so, dass man zwar weiß, dass ein System eine Lösung gefunden hat, aber man weiß nicht, warum, und man kann nicht leicht sagen, ob der Erfolg auch in einer leicht anderen Situation Bestand haben wird – das System ist eine „Black Box“. PRAXIST ändert dies, indem es jedem Ergebnis eine detaillierte Geschichte beifügt. Es zeichnet die „Lineage“ der Lösung auf, eine Kette von Beweisen, die zeigt, welche Mechanismen getestet, welche validiert und welche verworfen wurden. Dies bedeutet, dass menschliche Wissenschaftler die Arbeit des Systems betrachten, die Logik dahinter verstehen und sogar die besten Teile nehmen können, um etwas Neues zu bauen. Es verwandelt den Computer von einem Werkzeug, das lediglich Antworten produziert, in einen Kollaborateur, der seine Argumentation dokumentiert.
Die Forscher betonen, dass dieser Ansatz nicht darauf abzielt, menschliche Wissenschaftler zu ersetieren, sondern ihnen ein mächtigeres Instrument an die Hand zu geben. Indem das System die mühsame Arbeit übernimmt, tausende von Variationen zu testen und die gelernten Lektionen zu organisieren, werden Menschen frei, sich auf das große Ganze zu konzentrieren. Die Fähigkeit, Wissen über Generationen von Experimenten hinweg zu erben, bedeutet, dass das System nicht jedes Mal bei Null anfangen muss, wenn es vor einem neuen Problem steht. Es kann die Weisheit seiner vergangenen Fehler und Erfolge weitertragen und so ein Fundament aus zuverlässigem Wissen aufbauen, das mit jedem Versuch stärker wird. Dieser Übergang von einer einfachen Suche nach der besten Punktzahl hin zu einem tiefen Verständnis der hinter der Punktzahl stehenden Evidenz stellt eine fundamentale Änderung in der Art und Weise dar, wie wir komplexe technische Herausforderungen angehen.
Am Ende geht es in der Geschichte von PRAXIST um die Kraft des Gedächtnisses in Maschinen. Lange Zeit waren Computer hervorragend in der Berechnung, aber schlecht darin, auf strukturierte Weise aus ihrer eigenen Historie zu lernen. Dieses System zeigt, dass man einer Maschine, wenn man ihr die Fähigkeit gibt, nicht nur zu protokollieren, was passiert ist, sondern warum es passiert ist, Probleme lösen kann, die zuvor unerreichbar waren. Dies geschieht nicht dadurch, dass sie im allgemeinen Sinne „schlauer“ ist, sondern dadurch, dass sie sorgfältiger damit umgeht, was sie sich merkt und wie sie dieses Gedächtnis nutzt. Das Ergebnis ist ein System, das nicht nur effizienter und kostengünstiger, sondern auch vertrauenswürdiger ist, weil jedes Angebot einer Lösung mit einer klaren, überprüfbaren Aufstellung darüber einhergeht, wie es erreicht wurde. Dies ist die Zukunft der autonomen Forschung: nicht eine Maschine, die sich durch Raten zu einer Lösung tastet, sondern eine, die ein Vermächtnis aus Evidenz aufbaut, Experiment für Experiment.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.