From Classification to Regression: Using a Fruitfly to Solve Equations

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, die Zukunft vorherzusagen. Normalerweise bitten wir Computer, ein riesiges, alles umfassendes Regelwerk zu lernen – eine einzige, massive Formel, die erklärt, wie die Welt von Anfang bis Ende funktioniert. Es ist, als würde man versuchen, jeden einzelnen möglichen Zug in einem Schachspiel auswendig zu lernen, bevor man überhaupt den ersten Zug machen darf. Das funktioniert zwar, erfordert aber das Gehirn eines Supercomputers und dauert ewig. Die Natur hat jedoch einen klügeren Weg. Denken Sie an eine Fruchtfliege, die in Ihrer Küche herumschwirrt. Sie hat keine riesige Karte des gesamten Hauses in ihrem winzigen Kopf. Stattdessen nimmt sie ihre unmittelbare Umgebung wahr, erkennt einen vertrauten „Duft“ oder ein Muster (wie den Geruch von fauligem Obst) und reagiert basget auf das, was sie an diesem spezifischen Ort gelernt hat. Sie muss nicht die Physik des gesamten Hauses kennen; sie muss nur wissen, was sie jetzt gerade tun soll, basierend auf dem, was sie sieht.

Dieses Papier mit dem Titel „From Classification to Regression: Using a Fruitfly to Solve Equations“ untersucht einen neuen Weg, Computer das Lösen komplexer mathematischer Probleme beizubringen, indem es diese Strategie der Fruchtfliege kopiert. In der Welt der Wissenschaft ist „Regression“ nur ein schicker Begriff für das Finden einer Beziehung zwischen Eingaben und Ausgaben – so wie man vorhersagt, wie heiß ein Metallstab wird, basierend darauf, wie lange man ihn erhitzt. Normalenweise versuchen Wissenschaftler, ein einziges, großes, kompliziertes Modell zu bauen, um dies zu erreichen. Aber dieses Papier schlägt vor, dass wir anstelle eines riesigen Gehirns eine kleine Bibliothek von „Mustern“ verwenden sollten. Stellen Sie sich das wie ein „Du entscheidest selbst“-Buch vor. Anstatt für jede mögliche Situation eine neue Geschichte zu schreiben, haben Sie ein paar Schlüssel-Szenen (Muster) und einen Satz von Regeln, wie Sie diese mischen, um die Geschichte des Augenblicks zu erzählen. Die Autoren zeigen, dass Computer, indem sie das Problem wie ein Spiel nach dem Motto „Welchem Muster ähnelt dies am meisten?“ (Klassifizierung) behandeln und dann die Antworten mischen, schwierige Gleichungen viel schneller und mit weniger Speicherplatz lösen können, während sie gleichzeitig überraschend genau bleiben.

Das Geheimnis der Fruchtfliege: Gleichungen lösen, indem man die Luft erschnuppert

Die Autoren, Shady E. Ahmed und Panos Stinis vom Pacific Northwest National Laboratory, schlagen einen cleveren Trick vor: Hören Sie auf, versuchen zu wollen, die ganze Karte zu lernen, und fangen Sie an, die Orientierungspunkte zu lernen.

In der traditionellen maschinellen Lernweise, wenn man möchte, dass ein Computer vorhersagt, wie sich ein System im Laufe der Zeit verändert (wie das Wetter oder die Bewegung von Planeten), trainiert man normalerweise ein massives neuronales Netzwerk, das als „globaler Surrogat“ fungiert. Dies ist ein einzelnes, komplexes Modell, das versucht, den gesamten Eingaberaum auf einmal zu verstehen. Das Problem ist, dass diese Modelle riesig, teuer und langsam werden. Sie sind wie der Versuch, die gesamte Library of Congress in Ihrem Rucksack zu tragen, nur um ein einziges Buch zu finden.

Die Autoren argumentieren, dass die meisten wissenschaftlichen Daten den gesamten Raum gar nicht erst ausfüllen. Ein Planet fliegt nicht wahllos durch das Universum; er folgt einer bestimmten Umlaufbahn. Eine Fruchtfliege fliegt nicht in einer geraden Linie durch eine Wand; sie folgt dem Duft der Nahrung. Diese Systeme kehren immer wieder zu denselben „Regimen“ oder Verhaltensweisen zurück. Das Papier schlägt vor, dass wir anstelle einer globalen Regel eine endliche Bibliothek repräsentativer lokaler Muster aufbauen sollten.

So funktioniert der „Fruitfly Regressor“ unter Verwendung der Analogie eines Duftes:

1. Die Bibliothek der Düfte (Muster): Stellen Sie sich vor, Sie haben eine Bibliothek von „Düften“ (Mustern). Jeder Duft repräsentiert ein spezifisches, wiederkehrendes Verhalten des Systems. Für ein schwingendes Pendel könnte ein Muster „schnelles Schwingen nach links“ sein und ein anderes „langsames Anhalten am oberen Punkt“.
2. Der Schnuppertest (Ähnlichkeit): Wenn Sie eine neue Situation haben (eine „Abfrage“), versucht der Computer nicht, die gesamte Gleichung von Grund auf neu zu lösen. Stattdessen „erschnuppert“ er die Situation. Er vergleicht den aktuellen Zustand mit allen Düften in seiner Bibliothek.
3. Die gewichtete Mischung (Rekonstruktion): Der Computer wählt nicht einfach nur den einen besten Duft aus. Er berechnet, wie sehr die aktuelle Situation nach jedem Duft riecht. Wenn es zu 60 % nach „schnell links“ und zu 40 % nach „langsam oben“ riecht, mischt er die bekannten Antworten dieser beiden Muster zusammen (60 % von Antwort A + 40 % von Antwort B), um die endgültige Vorhersage zu erhalten.

Dieser Ansatz verwandelt ein schwieriges Regressionsproblem (das Vorhersagen einer kontinuierlichen Zahl) in ein Klassifizierungsproblem (das Herausfinden, welche Muster vorhanden sind) und dann in ein einfaches mathematisches Problem (das Mischen der Antworten).

Was das Papier tatsächlich herausgefunden hat

Die Autoren testeten diese Idee an zwei sehr unterschiedlichen Arten von Problemen: Dynamische Systeme (Dinge, die sich im Laufe der Zeit verändern, wie Planeten oder Fluide) und Allgemeine Regression (das Finden von Beziehungen in Daten).

1. Die Fruchtfliege in Bewegung (Dynamische Systeme)
Sie wandten ihre Methode auf das Lotka-Volterra-System (ein Modell darüber, wie Räuber- und Beutepopulationen interagieren) und das Lorenz-System (ein berühmtes Modell chaotischer Wettermuster) an.

• Das Ergebnis: Selbst mit einer sehr kleinen Bibliothek von Mustern (so wenig wie 4 bis 32 Muster) konnte das Modell das zukünftige Verhalten dieser Systeme mit hoher Genauigkeit vorhersagen.
• Die Überraschung: Sie fanden heraus, dass sich die „Grenzen“ zwischen diesen Mustern natürlich um die stabilen Punkte des Systems (wie das Zentrum eines Sturms) bildeten. Selbst wenn ein Muster in einer bestimmten Region nicht der „Gewinner“ war, trug es dennoch zur endgültigen Antwort bei, was die Vorhersage glatt und stabil machte.
• Die „unbekannten“ Gleichungen: In einem Experiment kannten sie die Gleichungen, die das System steuern, gar nicht. Sie verwendeten ein temporäres „Hilfsmodell“, um die Muster zu lernen, aber sobald die Muster gefunden waren, warfen sie das Hilfsmodell weg. Das endgültige Modell musste nur die Muster und deren Reaktionen speichern. Dies ist ein riesiger Gewinn für den Speicherplatz, da das endgültige Modell winzig im Vergleich zu den riesigen neuronalen Netzwerken ist, die normalerweise erforderlich sind.
• Kontinuierliches Lernen: Sie zeigten, dass man, wenn sich das System ändert (wie etwa das Wetter, das zu einem neuen Muster übergeht), einfach einige neue „Duft“-Muster zur Bibliothek hinzufügen kann, ohne die alten zu vergessen. Dies vermeidet das Problem des „katastrophalen Vergessens“, bei dem KI normalerweise alte Lektionen vergisst, wenn sie neue lernt.

2. Die Fruchtfliege im Labor (Allgemeine Regression)
Sie testeten dies auch auf Standard-Mathematikproblemen, wie das Anpassen einer Kurve an eine Parabel oder das Lösen der 1D-Poisson-Gleichung (eine Physik-Gleichung, die beschreibt, wie sich Wärme oder Elektrizität ausbreitet).

• Das Setup: Sie behandelten die Eingabevariable (wie eine Position auf einer Linie) als einen „Duft“ und die Muster als Fixpunkte mit ihren eigenen „Duftwolken“.
• Die Ergebnisse:
  • Für eine einfache Parabel verwendeten sie 10 Muster und erhielten einen Testfehler von 0,1 %.
  • Für eine komplexe Welle, die aus 10 verschiedenen Sinuswellen besteht, verwendeten sie 30 Muster und erhielten einen Fehler von etwa 1 %.
  • Für ein kniffliges Physikproblem mit einer scharfen Ecke (eine Parabel, die auf einer Seite Null ist und auf der anderen gekrümmt ist), verwendeten sie 100 Muster und erhielten einen Fehler von etwa 10 %. Das Papier merkt an, dass dieser höhere Fehler zu erwarten ist, da die Funktion eine scharfe, nicht-glatte Kante hat und die „Duftverteilung“ nicht perfekt auf diese spezifische Form abgestimmt war.
• Geschwindigkeit: Das Papier hebt hervor, dass das Lösen der Musterwerte auf einem Standard-MacBook nur 0,01 Sekunden dauerte (für die einfacheren Probleme), und selbst das komplexeste Problem nur 3,5 Sekunden beanspruchte.

Was dies bedeutet (und was es nicht bedeutet)

Das Papier legt nahe, dass wir nicht immer ein riesiges, allwissendes Gehirn bauen müssen, um komplexe Probleme zu lösen. Indem wir das Problem in eine Bibliothek kleiner, erkennbarer „Muster“ zerlegen und diese basierend auf Ähnlichkeit mischen, können wir Modelle erstellen, die:

• Kleiner sind: Sie benötigen deutlich weniger Parameter zur Speicherung.
• Schneller sind: Der Schritt der Online-Vorhersage ist lediglich ein Ähnlichkeitscheck und eine gewichtete Summe, keine massive Berechnung.
• Flexibler sind: Sie können leicht aktualisiert werden, wenn neue Daten eintreffen.

Das Papier ist jedoch vorsichtig darauf bedacht, nicht zu behaupten, dass dies ein magisches Allheilmittel für alles ist. Die Autoren merken ausdrücklich an, dass ihre Methode darauf angewiesen ist, dass die Daten „wiederkehrende Verhaltensweisen“ oder lokale Strukturen aufweisen. Wenn ein System völlig zufällig ist und niemals ein Muster wiederholt, könnte dieser Bibliotheksansatz Schwierigkeiten haben. Außerdem sind die Ergebnisse zwar vielversprechend, basieren aber auf Simulationen und spezifischen mathematischen Beispielen; das Papier behauptet nicht, die reale Klimamodellierung oder biologische Systeme gelöst zu haben, deutet aber einen Weg dorthin an.

Die Autoren weisen auch auf einige Punkte hin, die sie noch nicht vollständig geklärt haben. Zum Beispiel sind sie sich nicht genau sicher, wie man die „Varianz“ (die Ausbreitung des Duftes) für die Muster wählt. Sie fanden heraus, dass das Festlegen der Varianz auf die Größe des Bereichs geteilt durch die Anzahl der Muster am besten funktionierte, was kontraintuitiv erschien (als würde man erwarten, dass ein Random Walker sich in einer geraden Linie bewegt), aber in ihren Tests funktionierte. Sie schlagen auch vor, dass die Anzahl der Muster adaptiv gestaltet werden könnte, sodass sie nur wächst, wenn das System zu komplex für die aktuelle Bibliothek wird.

Letztendlich bietet dieses Papier eine spielerische, aber kraftvolle Änderung der Perspektive: Anstatt versuchen zu wollen, den gesamten Ozean auswendig zu lernen, lerne einfach die Strömungen. Indem wir die Fähigkeit der Fruchtfliege imitieren, sich durch das Erkennen lokaler Düfte zu orientieren, können wir vielleicht die schwierigsten Gleichungen der Welt mit einem viel leichteren Ansatz lösen.