A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstelle von Fingerabdrücken oder Alibis sind Ihre Hinweise Zahlen in einer Tabellenkalkulation. Ihr Ziel ist es, das verborgene „Rezept“ zu finden – eine ordentliche, schriftliche mathematische Gleichung – die erklärt, wie sich diese Zahlen verhalten. Dies ist die Welt der Symbolischen Regression. Im Gegensatz zu Standardcomputerprogrammen, die nur Zahlen verarbeiten, um ein Ergebnis zu liefern, versucht die symbolische Regression, das eigentliche Naturgesetz zu schreiben, wie etwa $F=ma$ oder die Formel für die Gravitation, auf eine Weise, die für Menschen lesbar und verständlich ist. Es ist der Unterschied zwischen einer Blackbox, die das Wetter vorhersagt, und einem Meteorologen, der erklären kann, warum der Sturm aufzieht.

Lange Zeit haben Wissenschaftler Computer eingesetzt, um nach diesen Rezepten zu suchen, aber der Prozess war oft ungeschickt. Es ist, als versuche man, eine kaputte Uhr zu reparieren, indem man wahllos Zahnräder austauscht und hofft, dass sie anfängt zu ticken. Wenn die Uhr nicht funktioniert, erhält der Computer einfach eine „schlechte Bewertung“ und versucht es erneut, wobei er oft dieselben Fehler immer wieder macht. Kürzlich begannen Wissenschaftler, Large Language Models (LLMs) – die superintelligenten KI-Chatbots, die man vielleicht kennt – einzusetzen, um diese Gleichungen zu schreiben. Diese KIs sind gut darin, zu erraten, welche Wörter (oder mathematischen Symbole) als Nächstes kommen sollten, aber sie können sich auch festfahren, Gleichungen schreiben, die keinen Sinn ergeben, oder verwirrt werden, wenn die Daten knifflig werden. Die große Frage ist: Wie bringen wir diese KI-Detektive dazu, aufzuhören, zufällig zu raten, und statっtdessen wie ein echtes Expertenteam zu arbeiten?

Hier kommt A-SR ins Spiel, eine neue Methode, die die Suche nach mathematischen Formeln nicht als Solodarstellung, sondern als ein gut orchestriertes Teamprojekt betrachtet. Die Forscher hinter dieser Arbeit, Wenxiao Zhao und ihre Kollegen, erkannten, dass die alte Art des Vorgehens zu starr war. In der Vergangenheit schlug eine KI einfach eine Gleichung vor, erhielt eine Bewertung und versuchte es erneut. Wenn die Gleichung fehlerhaft war, versuchte die KI sie vielleicht durch Hinzufügen von mehr Zahlen zu korrigieren, oder wenn sie zu einfach war, versuchte sie, sie komplexer zu gestalten – alles, ohne wirklich zu verstehen, warum sie scheiterte.

A-SR verändert die Spielregeln, indem es der KI einen „Manager“ und ein Team von Spezialisten gibt. Stellen Sie sich eine Redaktion vor, in der der Chefredakteur (der Koordinator) nicht einfach nur einen Reporter bittet, eine Geschichte zu schreiben. Stattdessen schaut der Chefredakteur auf die Ereignisse des Tages und entscheidet, welcher Spezialist benötigt wird. Wenn eine Geschichte voller Fehler ist, ruft der Chefredakteur den Reviewer (Prüfer) hinzu, um die Fakten zu prüfen. Wenn die Geschichte langweilig ist und einen neuen Blickwinkel braucht, wird der Generator gerufen, um wilde Ideen zu brainstormen. Wenn die Geschichte zu lang und verwirrend ist, wird der Simplifier (Vereinfacher) herangezogen, um das Unwesentliche zu kürzen. Und wenn der Geschichte ein entscheidendes Puzzleteil fehlt, durchwühlt der Analyst die Archive, um das fehlende Bindeglied zu finden.

Was A-SR besonders macht, ist, dass dieses Team nicht einfach einem festen Zeitplan folgt. Der „Editor“ ist selbstentwickelnd (self-evolving). Er beobachtet in Echtzeit, wie die Suche verläuft. Wenn das Team in einer Schleife aus Fehlern feststeckt, wechselt der Editor die Strategie, indem er dem Team beispielsweise sagt, es solle aufhören, neue Ideen zu erforschen, und sich stattdessen darauf konzentrieren, die fehlerhaften zu korrigieren. Er führt auch ein „Gedächtnis“ darüber, was funktionierte und was nicht, und leitet diese Informationen an den richtigen Spezialisten weiter. Wenn das Team beispielsweise immer wieder aufgrund einer bestimmten Art von mathematischem Fehler scheitert, wird dieses Scheitern an den Reviewer gesendet, der dem Team dann beibringt, wie es solche Fehler das nächste Mal vermeidet.

Die Arbeit zeigt, dass dieser Ansatz unglaublich gut funktioniert. Bei Tests mit einer Vielzahl wissenschaftlicher Rätsel – von der Reaktion chemischer Stoffe bis hin zur Dehnung von Materialien unter Druck – fand A-SR die korrekten mathematischen „Rezepte“ viel häufiger als bisherige Methoden. In einem Testlauf, bei dem ein Modell namens Llama3.1-8B verwendet wurde, sprang die Erfolgsquote von etwa 25,79 % auf 48,30 %. Das ist fast eine Verdoppelung der Anzahl der Probleme, die die KI korrekt lösen konnte. Noch beeindruckender ist, dass sie die Lektionen aus diesen Team-Anstrengungen nahmen und sie einem kleineren Open-Source-KI-Modell (Qwen3-4B) beibrachten, wodurch die Erfolgsquote dieses kleineren Modells ebenfalls signifikant von 24,58 % auf 38,29 % stieg.

Die Forscher testeten A-SR auch auf realen wissenschaftlichen Daten, wie dem Wachstum von Bakterien und den Vibrationen mechanischer Systeme. In diesen schwierigen, verrauschten Realszenarien gelang es A-SR, in 7 von 8 Fällen die besten mathematischen Beschreibungen zu finden und übertraf damit andere Top-Methoden. Die wichtigste Erkenntnis ist nicht nur, dass die KI besser in Mathematik wurde; es ist, dass die KI lernte, über ihre eigenen Fehler nachzudenken. Anstatt blind Millionen von zufälligen Kombinationen auszuprobieren, lernte sie, ihre eigenen Fehler zu diagnostizieren, die Rolle zu wechseln, wenn nötig, und ihr Gedächtnis zu nutzen, um dieselben Fehler nicht zu wiederholen. Es ist ein Wechsel von einer chaotischen Solosuche zu einem intelligenten, koordinierten Team von Agenten, von denen jeder genau das tut, was er am besten kann, geleitet von einem Manager, der weiß, wann er zu neuen Ideen drängen und wann er innehalten und das Reparieren des Defekten priorisieren muss.