The Time Value of Evolution

Das lange Spiel der digitalen Evolution

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, ein Rätsel zu lösen, aber anstatt ihm die Antwort zu geben, lassen Sie ihn seine eigenen Lösungen entwickeln. Dies ist die Welt der evolutionären Suche, eine Methode, die von der Natur inspiriert ist, bei der ein Computer viele „Kinder“ (neue Versionen eines Programms) erschafft, prüft, wie gut sie funktionieren, und die besten behält, um die nächste Generation zu bilden. Normalerweise ist der Computer sehr ungeduldig: Wenn ein neues Kind schlechter ist als sein Elternteil, wirft der Computer es sofort weg und denkt: „Diese Mutation war eine schlechte Idee.“

Aber was wäre, wenn dieses „schlechte“ Kind eigentlich ein notwendiger Meilenstein gewesen wäre? In der Natur muss ein Tier manchmal ein seltsames, unbeholfenes Merkmal entwickeln, bevor es später zu etwas Erstaunlichem werden kann. In der Informatik ist dies die Idee des verzögerten Nutzens (delayed utility): Eine Änderung, die im Moment wie ein Fehler aussieht, könnte einen genialen Lösungsweg für einige Schritte später freischalten. Die große Frage, die sich Forscher stellen, lautet: Wie bringen wir einem Computer bei, geduldig genug zu sein, diese „schwachen“ Vorfahren am Leben zu erhalten, um ihr Potenzial zu erkennen? Dieses Paper widmet sich genau diesem Problem und schlägt einen Weg vor, die Zukunft einer Suche zu bewerten, nicht nur ihre unmittelbaren Ergebnisse.

---

Der Zeitwert der Evolution: Warum Geduld sich auszahlt

Lernen Sie den Zeitwert der Evolution (Time Value of Evolution) kennen. Denken Sie an ein Videospiel, in dem Sie eine begrenzte Anzahl an Leben (oder ein „Suchbudget“) haben. Wenn Sie ein Level spielen und einen Zug machen, der Ihren Charakter tollpatschig aussehen lässt und Ihnen einige Punkte kostet, würde ein Standardspieler vielleicht panisch werden und den Zug sofort rückgängig machen. Aber ein Meisterspieler weiß, dass man manchmal einen Schritt zurück machen muss, um später über eine Lücke zu springen.

In diesem Paper argumentieren die Autoren Matthew Siper, Ahmed Khalifa und Julian Togelius, dass die meisten Algorithmen zur computergestützten Evolution schlecht in dieser „Meisterspieler“-Strategie sind. Sie sind zu sehr auf die unmittelbare Punktzahl fixiert. Wenn eine Mutation (eine Änderung am Code) das Programm im Moment etwas schlechter macht, tötet der Algorithmus sie ab. Die Autoren nennen dies „Immediate-Return Control“ (unmittelbare Rücklaufsteuerung) und sagen, dass es blind dafür ist, dass ein schwaches Kind ein wertvoller Vorfahre sein kann.

Um dies zu beheben, haben sie eine neue Methode namens Lineage-Value Policy Gradients (LVPG) erfunden. Stellen Sie sich einen Trainer vor, der nicht nur den aktuellen Zug des Spielers beobachtet, sondern auch den gesamten Baum an Möglichkeiten betrachtet, die dieser Zug erzeugen könnte. LVPG nutzt einen speziellen „Critic“ (einen Kritiker/Richter), der vorausblickt. Er fragt: „Wenn wir diese etwas schlechtere Version behalten, können ihre Urenkel dann die Besten werden?“ Wenn die Antwort ja lautet, behält der Trainer das „schlechte“ Kind, weil er weiß, dass es eine Investition in die Zukunft ist.

Das Handelsspiel

Um dies zu testen, bauten die Autoren ein hochkarätiges Spiel auf: automatisierten Handel. Sie baten ihre KI, Computerprogramme zu schreiben, die Aktien kaufen und verkaufen (speziell Futures für den S&P 500, Silber und Staatsanleihen). Dies ist ein schwieriges Spiel, da sich der Markt ständig verändert und ein Programm, das heute großartig aussieht, morgen abstürzen kann.

Sie gaben ihrer KI ein „Budget“ von 8 Schritten. In jedem Schritt konnte die KI wählen zwischen:

1. Refine (Verfeinern): Eine winzige, vorsichtige Anpassung vornehmen.
2. Interpolate (Interpolieren): Ideen miteinander mischen.
3. Explore (Explorieren): Eine große, wilde Änderung vornehmen.

Die Standardmethode (die sie PPO-Immediate nennen) betrachtete nur das Ergebnis des nächsten Schritts. Wenn das neue Programm weniger Geld verdiente, wurde es bestraft. Die neue Methode (PPO-Path) betrachtete den gesamten Pfad von 8 Schritten. Sie belohnte einen Zug, wenn die Abstammungslinie (Lineage) selbst nach einem vorübergehenden Rückgang schließlich einen Weg fand, viel mehr Geld zu verdienen.

Die Ergebnisse: Geduld gewinnt

Die Ergebnisse waren überraschend eindeutig. Die „geduldige“ KI (PPO-Path) fand nicht nur etwas bessere Lösungen, sondern viel bessere.

• Bessere Scores: Als sie die fertigen Programme an ungesehenen Daten testeten, verbesserte die geduldige KI die Sharpe-Ratio (ein Maß dafür, wie gut die Handelsstrategie ist) von 0,862 auf 1,321. Das ist ein riesiger Sprung in der Welt der Finanzen.
• Weniger Fehler: Die ungeduldige KI blieb oft in „temporären Regressionen“ stecken – Momenten, in denen sie einen schlechten Zug machte und nicht mehr davon erholt werden konnte. Die geduldige KI machte weniger dieser Fehler, und wenn sie einen machte, erholte sie sich in 48,0 % der Fälle, verglichen mit nur 39,9 % bei der ungeduldigen Version.
• Der Beweis des „Zeitwerts“: Die Autoren zeigten, dass der Wert einer Mutation nicht nur darin liegt, was sie jetzt tut, sondern was sie später tun könnte. Sie fanden heraus, dass das Vorausblicken um nur einen Schritt zwar okay war, aber das Vorausblicken um acht Schritte (das volle Budget) der „Sweet Spot“ war, was die Effizienz der Suche signifikant verbesserte.

Wie es unter der Haube funktioniert

Das Geheimrezept ist ein zweiteiliges Gehirn:

1. Das eingefrorene Gehirn (ELM): Ein vortrainiertes Sprachmodell, das weiß, wie man Code schreibt. Es ist wie ein Meister-Programmierer, der in der Zeit eingefroren ist; es lernt während des Spiels nicht dazu, es generiert lediglich die Mutationen.
2. Der Coach (Actor und Critic): Zwei kleine, trainierbare Teile, die am eingefrorenen Gehirn hängen.
   • Der Actor entscheidet, welche Art von Mutation gemacht werden soll (Refine, Interpolate oder Explore), basierend darauf, wie viel Zeit noch übrig ist und wie das Programm abschneidet.
   • Der Critic ist der Zeitreisende. Er blickt auf einen „Baum“ möglicher Zukünfte (stellen Sie sich einen verzweigenden Pfad vor, der 5 Schritte tief geht), um zu erraten, wie wertvoll ein aktueller Zug langfristig sein wird. Er ist darauf trainiert, den „Best-so-far“-Score vorherzusagen, den die Abstammungslinie erreichen könnte, und nicht nur den nächsten Schritt.

Was das bedeutet

Das Paper beweist, dass in einer endlichen Welt mit begrenzter Zeit und Ressourcen die unmittelbare Fitness eine Lügnerin ist. Eine Mutation, die heute wie ein Fehlschlag aussieht, könnte der Schlüssel zu einem massiven Erfolg von morgen sein. Indem sie die KI lehrten, den Wert der Lineage (des Stammbaums des Codes) statt nur des Kindes (des unmittelbaren Ergebnisses) zu schätzen, fanden sie bessere Handelsstrategien.

Die Autoren weisen vorsichtig darauf hin, dass dies eine Simulation basierend auf historischen Daten ist und keine Garantie für zukünftige Gewinne am echten Aktienmarkt darstellt. Das Prinzip ist jedoch solide: Beurteile ein Buch nicht nach seiner ersten Seite. In der Welt der Computer-Evolution muss man eine Geschichte manchmal ein wenig chaotisch werden lassen, bevor sie zu einem Meisterwerk wird. Indem sie der KI den „Zeitwert“ gaben, um auf die Auszahlung zu warten, entlockten sie ihr eine intelligentere, widerstandsfähigere Art, nach Lösungen zu suchen.