Position: RL Researchers Need to Distinguish Between Solving Simulators and Using Simulators as a Proxy
Dieses Paper argumentiert, dass Forscher im Bereich des bestärkenden Lernens strikt zwischen den grundlegend unterschiedlichen Zielen des „Lösens von Simulatoren“ und des „Verwendens von Simulatoren als Stellvertreter für den Einsatz in der realen Welt“ unterscheiden müssen, da das Vermengen dieser Zielsetzungen zu ungeeigneten Algorithmuswahlen, irreführenden Evaluationsmetriken und fehlerhaften Schlussfolgerungen führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Trainer, der versucht, einen neuen Athleten zu trainieren. Sie haben zwei sehr unterschiedliche Ziele, nutzen aber dieselbe Trainingsanlage (einen Simulator) für beide. Das Paper argumentt, dass Forscher in Reinforcement Learning (RL) diese beiden Ziele oft verwechseln, was zu schlechten Ratschlägen und verschwendeter Mühe führt.
Hier ist die Aufschlüsselung der zwei verschiedenen „Trainingslager“ und warum das Vermischen dieser Ziele ein Problem ist.
Die zwei verschiedenen Ziele
1. Das „Video Game Champion“-Ziel (Den Simulator lösen)
- Das Ziel: Sie wollen den absolut besten Spieler für ein bestimmtes Videospiel oder eine bestimmte Simulation finden. Es ist Ihnen egal, was in der realen Welt passiert; Sie wollen nur die höchste Punktzahl im Spiel erreichen.
- Der Cheat-Code: Da dies ein Videospiel ist, können Sie Dinge tun, die im echten Leben unmöglich sind. Sie können das Spiel pausieren, die Zeit zurückspulen, den Charakter an eine bestimmte Stelle zurücksetzen, um einen anderen Zug auszuprobieren, oder 100 Kopien des Spiels gleichzeitig laufen lassen, um schneller zu lernen.
- Die Metrik: Es interessiert Sie nur der Endstand. Wenn der Spieler 99 Mal abstürzt, aber beim 100. Versuch eine perfekte Runde hinlegt, ist das ein Erfolg. Sie können alle schlechten Versuche wegwerfen und nur den besten behalten.
2. Das „Real-World Driver“-Ziel (Den Simulator als Stellvertreter nutzen)
- Das Ziel: Sie trainieren einen Roboter oder eine KI, um ein Auto zu fahren oder ein Kraftwerk zu steuern, in der realen Welt. Der Simulator ist nur ein sicherer Ort zum Üben, bevor sie auf die eigentliche Straße gehen.
- Die Einschränkung:** In der realen Welt können Sie die Zeit nicht zurückspulen, Sie können nicht 100 Kopien eines Autos spawnen und Sie können keinen Absturz zurücksetzen. Jeder Fehler kostet Geld, Zeit oder Sicherheit.
- Die Metrik: Es interessiert Sie, wie gut sie während des Lernens abschneiden. Wenn der Roboter 99 Mal während des Lernens abstürzt, sind diese 99 Abstürze tatsächlich passiert und haben Geld gekostet. Sie können die schlechten Tage nicht einfach löschen.
Das Problem: Die Regeln zu vermischen
Das Paper behauptet, dass Forscher oft „Video Game Champion“-Tricks verwenden, um „Real-World Driver“ zu trainieren, was ein falsches Gefühl der Sicherheit erzeugt. Hier sind vier spezifische Wege, wie das schiefgeht, erklärt mit Analogien:
1. Die „Paralleluniversum“-Falle
- Der Trick: Beim Ziel „Video Game Champion“ lassen Forscher 1.000 Kopien des Spiels gleichzeitig laufen, um super schnell zu lernen.
- Der Realitätscheck: In der realen Welt haben Sie nur ein Auto. Wenn Sie eine KI mit 1.000 Autos trainieren, lernt sie im Simulator unglaublich schnell zu fahren. Aber wenn Sie diese KI in ein einzelnes Auto setzen, ist sie plötzlich sehr langsam und verwirrt, weil sie nie gelernt hat, mit der Realität „ein Auto zur Zeit“ umzugehen.
- Das Ergebnis: Forscher denken, sie hätten einen super schnellen Algorithmus, aber er versagt, wenn er auf eine einzige reale Umgebung angewendet wird.
2. Das „Rewind Button“-Problem
- Der Trick: Wenn ein Agent stecken bleibt, drückt der Forscher beim „Video Game Champion“-Ziel auf „Reset“, um ihn an einen bestimmten Ort zurückzuschicken, damit er es erneut versuchen kann. Dies hilft ihm, schwierige Level schnell zu meistern.
- Der Realitätscheck:** In der realen Welt können Sie nicht auf Reset drücken. Wenn ein Roboter von einem Tisch fällt, ist er kaputt. Wenn Sie einen Agenten trainieren, der darauf angewiesen ist, bei Problemen auf „Reset“ zu drücken, wird er in der realen Welt nutzlos sein, weil er nie gelernt hat, sich aus einem Fehler selbst zu erholen.
- Das Ergebnis: Forscher verpassen es, die beste mögliche Lösung für das Videospiel zu finden, weil sie den „Reset“-Knopf nicht nutzen, ODER sie erschaffen Agenten, die zu abhängig von Resets sind, um jemals in der Realität funktionieren zu können.
3. Das „Try Again“-Budget
- Der Trick: Beim Tuning der Einstellungen (Hyperparametern) für ein Videospiel versuchen Forscher vielleicht 50 verschiedene Einstellungen. Wenn 49 davon scheitern, löschen sie diese 49 Versuche einfach und behalten nur den einen, der funktioniert hat.
- Der Realitätscheck: In der realen Welt können Sie die Kosten eines gescheiterten Experiments nicht löschen. Wenn Sie 49 schlechte Einstellungen an einem echten Kraftwerk testen, verschwenden Sie vielleicht Millionen von Dollar oder verursachen einen Blackout.
- Das Ergebnis: Forsler wählen Algorithmen aus, die großartig aussehen, weil sie durch „Schummeln“ ihre Misserfolge gelöscht haben. Wenn diese Algorithmen in der realen Welt eingesetzt werden, scheitern sie, weil sie nicht gelernt haben, mit den Kosten von Fehlern umzugehen.
4. Der „Practice vs. Performance“-Score
- Der Trick: Forscher stoppen den Agenten oft alle paar Minuten, um ihn in einem „eingefrorenen“ Zustand (kein Lernen, nur Leistungserbringung) zu testen, um zu sehen, wie gut er ist. Dies liefert meist eine hohe Punktzahl.
- Der Realitätscheck: In der realen Welt lernt der Agent immer und macht Fehler, während er arbeitet. Er bekommt keine Gelegenheit, sich kurzzeitig in einer perfekten Version seiner selbst zu präsentieren.
- Das Ergebnis: Ein Paper zeigt vielleicht eine Grafik, in der der Agent fantastisch aussieht (der „frozen score“), aber in der Realität stolpert und schwankt der Agent herum und erbringt eine schlechte Leistung (der „learning score“).
Der Aufruf zum Handeln
Die Autoren bitten die Forschungsgemeinschaft, aufzuhören vorzugeben, dass diese beiden Ziele dasselbe sind.
- Wenn Sie einen Simulator lösen: Seien Sie ehrlich! Sagen Sie: „Wir versuchen, den Highscore in diesem speziellen Spiel zu knacken.“ Nutzen Sie alle Cheat-Codes (Parallelwelten, Resets), um das beste Ergebnis zu erzielen.
- Wenn Sie für die reale Welt trainieren: Seien Sie ehrlich! Sagen Sie: „Wir nutzen diesen Simulator, um uns auf die reale Welt vorzubereiten.“ Verwenden Sie keine Cheat-Codes. Trainieren Sie den Agenten darauf, mit Fehlern umzugehen, lassen Sie nicht 1.000 Kopien laufen und messen Sie, wie gut er sich während des Lernens schlägt, nicht nur das Endergebnis.
Kurz gesagt: Trainieren Sie keinen Fahrer mit den Regeln eines Videospiels und erwarten Sie dann, dass er im echten Straßenverkehr überlebt. Das Paper fordert die Forscher auf, klar zu benennen, welches „Spiel“ sie spielen, damit wir nicht von Ergebnissen getäuscht werden, die sich in der Realität nicht übertragen lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.