Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading

Die Welt des Aktienhandels ist seit langem ein Bereich, in dem die menschliche Intuition gegen chaotische, sich verschiebende Märkte kämpft. Seit Jahrzehnten verlassen sich Händler auf Algorithmen, um Berge von Daten zu durchforsten, in der Hoffnung, Muster zu finden, die vorhersagen, ob ein Preis steigen oder fallen wird. In den letzten Jahren hat sich eine leistungsstarke Art der künstlichen IntelligenIntelligenz, bekannt als Reinforcement Learning (bestärkendes Lernen), als ein führendes Werkzeug für diese Aufgabe herauskristallisiert. Stellen Sie sich einen digitalen Agenten vor, der lernt zu handeln, nicht indem ihm die richtige Antwort gesagt wird, sondern indem er Aktionen ausprobiert, Fehler macht und langsam aus den Gewinnen und Verlusten lernt, die er erfährt. Dieser Ansatz ist vielversprechend, da er sich an wechselnde Bedingungen anpassen kann, im Gegensatz zu älteren Methoden, die davon ausgehen, dass sich der Markt heute genauso verhält wie gestern. Es ist jedoch unglaublich schwierig, diese Agenten sowohl profitabel als auch stabil zu lehren. Der Finanzmarkt ist verrauscht und unvorhersehbar und gibt dem Agenten oft erst viel später ein Feedback darüber, ob eine bestimmte Entscheidung gut oder schlecht war. Ohne klare Anleitung kann der Agent Schwierigkeiten beim Lernen haben, dadurch unberechenbar werden oder es versäumen, seine Fähigkeiten auf neue Marktbedingungen zu generalisieren.

Um diesen Agenten zu helfen, schneller und zuverlässiger zu lernen, geben Forscher ihnen oft zusätzliche, kleinere Aufgaben, die sie neben dem Hauptziel, Geld zu verdienen, lösen sollen. Dies sind sogenannte Hilfsaufgaben (auxiliary tasks). Traditionell müssen Experten diese zusätzlichen Aufgaben manuell entwerfen und dabei raten, was dem Agenten helfen könnte, den Markt besser zu verstehen, wie etwa die Vorhersage der nächsten Preisänderung oder die Schätzung der Volatilität des Marktes. Aber das Problem mit diesem manuellen Ansatz ist, dass sich der Markt ständig verändert. Eine Aufgabe, die während einer ruhigen Phase gut funktioniert, kann während einer turbulenten Phase nutzlos oder sogar schädlich sein. Wenn die Hilfsaufgaben in Stein gemeißelt sind, können sie sich nicht an die sich verändernde Landschaft des Aktienmarktes anpassen, was den Handelsagenten mit veralteten oder irrelevanten Informationen zurücklässt.

Ein Team von Forschern am Indian Institute of Technology Mandi hat einen neuen Weg entwickelt, um dieses Problem zu lösen. Anstatt einen Menschen zu bitten zu raten, welche zusätzlichen Aufgaben helfen könnten, haben sie ein System geschaffen, das diese Aufgaben automatisch entdeckt. Sie nennen ihr neues Framework QUESTrader. Der Kern der Idee besteht darin, die künstliche Intelligenz selbst herausfinden zu lassen, was sie lernen muss. Das System verwendet ein Dual-Netzwerk-Design. Ein Netzwerk, der Haupthändler, lernt, wie man Aktien kauft und verkauft, um den Gewinn zu maximieren. Das zweite Netzwerk fungt als Fragengenerator. Es schlägt ständig neue, einfache Fragen vor, die der Haupthändler beantworten muss, wie zum Beispiel: „Was wird der Preis in den nächsten Tagen machen?“ oder „Wie stark wird sich der Markt bewegen?“, basierend auf den täglichen Schlusskursdaten und den in der Studie verwendeten technischen Indikatoren. Diese Fragen sind nicht fest vorgegeben; sie werden dynamisch generiert, basierend auf dem, was das System derzeit erlebt. Das System trainiert den Haupthändler dann darauf, diese Fragen zu beantworten, während er handelt.

Die Brillanz dieses Ansatzes liegt darin, wie das System entscheidet, welche Fragen es wert sind, gestellt zu werden. Die Forscher verwenden einen ausgeklügelten Lernmechanismus, der die langfristigen Ergebnisse betrachtet. Er fragt: „Hat die Beantwortung dieser spezifischen Frage dazu beigetragen, dass der Händler später bessere Entscheidungen getroffen hat?“ Wenn eine Frage zu einer besseren Handelsleistung führt, passt das System seine Parameter an, um diese Frage weiterhin zu stellen. Wenn sich eine Frage als Ablenkung erweist, verfeinert das System seine Parameter, um die Generierung dieser Frage zu stoppen. Dieser Prozess stellt sicher, dass die Hilfsaufgaben immer relevant für die aktuellen Marktbedingungen sind. Die Forscher testeten diese Methode an vier großen globalen Aktienmärkten: dem Dow Jones Industrial Average in den USA, dem FTSE 100 im Vereinigten Königreich, dem Sensex in Indien und dem TAIEX in Taiwan. Sie verglichen ihr neues System mit einer breiten Palette bestehender Strategien, einschließlich traditioneller Anlagemethoden, Standardmodellen der künstlichen Intelligenz und anderer Systeme, die manuell entworfene Hilfsaufgaben verwenden.

Die Ergebnisse waren beeindruckend. Über alle vier Märkte hinweg übertraf das QUESTrader-System die anderen Methoden konsequent. Auf dem US-Markt erzielte es eine jährliche Rendite von 21,785 Prozent, was deutlich höher war als die nächstbeste Methode, die 18,176 Prozent erreichte. Viel wichtiger war, dass das System nicht nur mehr Geld verdiente, sondern dies mit größerer Stabilität tat. Es erreichte die höchsten risikobereinigten Scores, was bedeutet, dass es pro Einheit des eingegangenen Risikos mehr Gewinn generierte. Wenn der Markt fiel, verlor der QUESTrader-Agent weniger Geld als seine Konkurrenten. Im indischen Markt beispielsweise hielt er einen maximalen Verlust von 10,584 Prozent ein, was wesentlich niedriger war als der Verlust von 17,783 Prozent, den andere fortschrittliche Modelle verzeichneten. Das System erwies sich auch auf dem hochvolatilen taiwanesischen Markt als effektiv, wo es eine jährliche Rendite von 30,279 Prozent lieferte und damit alle anderen Ansätze weit übertraf.

Die Forscher fanden heraus, dass der Schlüssel zu diesem Erfolg in der Fähigkeit des Systems lag, seine Hilfsaufgaben in Echtzeit anzupassen. Durch das automatische Entdecken der richtigen Fragen baute der Handelsagent ein reicheres und genaueres Verständnis des Marktes auf. Es lernte, Muster zu erkennen, die von menschenentworfenen Aufgaben vielleicht übersehen worden wären. Die Studie untersuchte auch, wie viele Fragen das System gleichzeitig stellen sollte und wie weit in die Zukunft es blicken sollte, um den Wert einer Frage zu beurteilen. Sie fanden heraus, dass eine moderate Anzahl von Fragen, etwa sechzehn bis vierundsechzig, am besten funktionierte, und dass ein Blick etwa zehn Schritte in den Lernprozess hinein es dem System ermöglichte, die richtige Frage für den zukünftigen Erfolg zu würdigen. Dieses Gleichgewicht verhinderte, dass das System von zu vielen Informationen überwältigt oder durch einen zu weiten Blick in die Zukunft verwirrt wurde.

Diese Arbeit legt nahe, dass die Zukunft des automatisierten Handels nicht in klügeren Menschen liegen könnte, die bessere Regeln entwerfen, sondern in klügeren Maschinen, die sich selbst beibringen können, worauf sie achten müssen. Indem die Forscher das System entdeckte lassen, seine eigenen Lernziele zu definieren, schufen sie einen Handelsagenten, der robuster, anpassungsfähiger und letztlich profitabler ist als jene, die auf statischen, vom Menschen gemachten Anweisungen beruhen. Die Ergebnisse zeigen, dass in der komplexen, sich ständig wandelnden Welt der Finanzen die Fähigkeit, zu lernen, was zu lernen ist, genauso wichtig ist wie die Fähigkeit, zu lernen, wie man handelt.