The Reward Function and the Least Cost Principle for Gravitation and other Laws of Physics

Dieses Paper leitet ein „Prinzip der geringsten Kosten" her, wonach sich die Gesetze der Gravitation und der Coulomb-Kraft aus der Minimierung einer Beschleunigungskosten-Funktion minus einer Belohnungsfunktion ergeben, die relative Geschwindigkeiten und orthogonale Bewegungen begünstigt, um damit relative Bewegung und quasi-kreisförmige Umlaufbahnen als optimierte Merkmale zentraler Kräfte zu identifizieren.

Das Wesentliche

Stellen Sie sich das Universum nicht als chaotischen Ort vor, in dem Dinge einfach so herumfliegen, sondern als einen riesigen, intelligenten Architekten, der einen sehr spezifischen Plan verfolgt. Die Frage, die sich der Autor Rubén Moreno-Bote in diesem Papier stellt, ist: Was ist das Ziel dieses Architekten? Welche „Belohnung" versucht er zu maximieren?

Normalerweise denken wir an Gesetze wie die Schwerkraft (Gravitation) oder elektrische Kräfte als starre Regeln: „Masse A zieht Masse B an." Aber dieser Autor dreht die Logik um. Er fragt: „Wenn wir die Bewegung der Planeten und Teilchen beobachten, welche Belohnungsfunktion (ein mathematisches Ziel) führt dazu, dass sie sich genau so bewegen?"

Hier ist die Erklärung in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das Prinzip des „geringsten Aufwands" (Der sparsame Gärtner)

Stellen Sie sich vor, Sie sind ein Gärtner, der einen Garten pflegen muss. Sie wollen, dass die Pflanzen schön wachsen (das ist die Belohnung), aber Sie wollen nicht den ganzen Tag mit dem Wasserschlauch herumrennen und die Pflanzen gewaltsam in die richtige Richtung ziehen (das wäre eine hohe Kosten).

Der Autor sagt: Das Universum funktioniert wie ein extrem sparsamer Gärtner. Es versucht, die Bewegung der Teilchen so zu gestalten, dass es:

1. Viel Bewegung und Struktur erzeugt (hohe Belohnung).
2. Aber dabei so wenig Kraftaufwand wie möglich verbraucht (niedrige Kosten).

In der Physik nennen wir den Kraftaufwand „Beschleunigungskosten". Wenn ein Teilchen wild hin und her springt, kostet das viel Energie. Das Universum mag das nicht. Es bevorzugt sanfte, fließende Bewegungen.

2. Die Entdeckung: Was wird belohnt?

Der Autor hat die Mathematik so lange rückwärts gerechnet (wie ein Detektiv, der aus den Tatort-Spuren auf das Motiv schließt), bis er herausfand, was das Universum eigentlich „mag". Es stellt sich heraus, dass das Universum zwei Dinge besonders belohnt:

• A) Schnelle relative Bewegung: Wenn zwei Teilchen aneinander vorbeifliegen, ist das eine gute Sache. Das Universum mag es, wenn Dinge sich bewegen, besonders wenn sie sich schnell gegenseitig passieren.

  • Analogie: Stellen Sie sich ein Ballon-Orchester vor. Wenn alle Ballons ruhig schweben, ist es langweilig. Wenn sie aber wild durch die Luft tanzen und aneinander vorbeisausen, entsteht ein schönes Muster. Das Universum belohnt dieses „Treiben".

• B) Kreisförmige Bahnen (Orbits): Das ist der wichtigste Punkt. Das Universum belohnt Bewegung, die senkrecht zur Verbindungslinie zwischen zwei Teilchen verläuft.

  • Analogie: Stellen Sie sich zwei Tänzer vor, die sich an den Händen halten.
    • Wenn sie direkt aufeinander zulaufen oder voneinander weglaufen, ist das „schlecht" (das Universum bestraft das).
    • Wenn sie sich aber im Kreis drehen, wie bei einem Walzer, ist das perfekt.
  • Das erklärt, warum Planeten nicht in die Sonne stürzen und warum Elektronen nicht einfach auf den Atomkern fallen. Sie drehen sich im Kreis, weil das die „beliebteste" Bewegung für das Universum ist.

3. Warum ist das wichtig? (Der Bauplan für Komplexität)

Warum kümmert sich das Universum darum, ob sich Dinge im Kreis drehen?
Weil Ordnung und Struktur entstehen.

• Wenn sich alles nur geradeaus bewegt oder zusammenstürzt, gibt es keine Planeten, keine Sterne, keine Atome und kein Leben.
• Indem das Universum die „kreisförmige Bewegung" belohnt, schafft es stabile Systeme. Diese stabilen Systeme sind die Voraussetzung dafür, dass komplexe Dinge (wie wir) entstehen können.

4. Der Unterschied zu alten Theorien

Früher dachten Physiker: „Die Schwerkraft zieht einfach an."
Dieser Autor sagt: „Nein, die Schwerkraft ist nur das Werkzeug. Das Ziel ist es, ein Universum voller interessanter, kreisender Bewegungen zu schaffen, und zwar mit dem kleinstmöglichen Kraftaufwand."

Es ist, als ob man sagt:

• Alte Sicht: „Das Auto fährt, weil der Motor Kraft auf die Räder überträgt."
• Neue Sicht: „Das Auto fährt genau so, weil es den Weg sucht, der am meisten Spaß macht (die schönste Kurve), aber dabei den wenigsten Benzinverbrauch hat."

Zusammenfassung

Dieses Papier zeigt uns, dass die Gesetze der Physik (wie die Schwerkraft) nicht zufällig sind. Sie sind das Ergebnis einer Optimierung. Das Universum ist wie ein großer Algorithmus, der versucht, so viel Bewegung und so viele Kreise wie möglich zu erzeugen, ohne dabei zu viel Energie zu verschwenden.

Es ist die Suche nach dem perfekten Tanz zwischen Chaos (zu viel Bewegung) und Starrheit (zu wenig Bewegung), und dieser Tanz findet statt, weil das Universum es so „belohnt".

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert eine fundamentale Frage der theoretischen Physik und der Steuerungstheorie: Wenn das Universum einem spezifischen Design folgt, welche Kostenfunktion (oder umgekehrt, welche Belohnungsfunktion) wird durch die beobachteten physikalischen Kräfte optimiert? Dies ist ein Problem des inversen optimalen Steuerungs (Inverse Optimal Control, IOC) oder des inversen Reinforcement Learning.

Während die Gesetze der Bewegung (z. B. Newtonsche Gravitation, Coulomb-Kräfte) bekannt sind, ist die zugrunde liegende Zielsetzung dieser Kräfte in Form einer expliziten Belohnungsfunktion bisher nicht etabliert. Die Autoren fragen, welche dynamischen und statischen Merkmale (wie Bewegung oder Orbitalstrukturen) von den Naturkräften „gewünscht" werden, um ein komplexes Universum zu ermöglichen, und wie diese Merkmale mathematisch als Optimierungsaufgabe formuliert werden können.

2. Methodik

Die Autoren wenden folgende methodische Schritte an:

• Das Least-Cost-Prinzip (Prinzip der geringsten Kosten):
  Es wird ein neues Optimierungsprinzip eingeführt, das dem bekannten Prinzip der kleinsten Wirkung ähnelt, aber als Problem der optimalen Steuerung formuliert ist. Das Ziel ist die Minimierung eines zeitlich diskontierten Integrals ($C$), das aus zwei Komponenten besteht:

  1. Beschleunigungskosten (Control Cost): Eine Strafe für große Beschleunigungen, definiert als $C_a(\ddot{x}) = \sum_i \frac{1}{2}m_i \|\ddot{x}_i\|^2$.
  2. Zustandsabhängige Belohnungsfunktion ($R$): Eine Funktion, die von den Positionen ($x$) und Geschwindigkeiten ($\dot{x}$) abhängt, aber nicht explizit von den Beschleunigungen.

  Die Gesamtkostenfunktion lautet:
  $$C = \int_{t_0}^{\infty} dt \, e^{-\gamma(t-t_0)} \left[ \sum_i \frac{1}{2}m_i \|\ddot{x}_i(t)\|^2 - R(x(t), \dot{x}(t)) \right]$$
  wobei $\gamma > 0$ ein Diskontfaktor ist.

• Herleitung der Beschleunigungskosten aus ersten Prinzipien:
  Anstatt die quadratische Form der Beschleunigungskosten willkürlich anzunehmen (wie es in der optimalen Steuerung oft aus mathematischer Bequemlichkeit geschieht), leiten die Autoren diese Form her. Sie nutzen Symmetrieprinzipien (Zeit- und Rotationsinvarianz) und eine spezifische Invarianzbedingung: Die Änderung der Kosten durch interne Kräfte muss unabhängig von der Wahl eines homogen beschleunigten Bezugssystems sein. Dies führt eindeutig zur quadratischen Form $\sum \frac{1}{2}m_i \|\ddot{x}_i\|^2$.

• Inverses Optimales Steuern (IOC):
  Unter Verwendung der Bellman-Gleichung und der Hamilton-Jacobi-Bellman-Gleichung wird die unbekannte Belohnungsfunktion $R(x, \dot{x})$ aus den bekannten Bewegungsgleichungen ($m_i \ddot{x}_i = F_i$) rekonstruiert. Dies ermöglicht es, die explizite Form von $R$ für beliebige Kräfte $F$ zu bestimmen.

3. Schlüsselbeiträge und Ergebnisse

• Allgemeine Form der Belohnungsfunktion:
  Für ein System mit Kräften $F_{ik}$ wird die optimale Belohnungsfunktion als:
  $$R(x, \dot{x}) = -\sum_{ik,jp} \dot{x}_{ik} \dot{x}_{jp} \frac{\partial F_{ik}}{\partial x_{jp}} - \frac{1}{2} \sum_{ik} \frac{F_{ik}^2}{m_i} + \dots$$
  hergeleitet. Der erste Term begünstigt hohe Geschwindigkeiten, der zweite Term bestraft starke Kräfte.

• Spezifische Ergebnisse für Gravitation und Coulomb-Kräfte:
  Durch Anwendung auf die Newtonsche Gravitation und Coulomb-Kräfte ergibt sich eine Belohnungsfunktion mit zwei dominierenden Termen (Term I und Term II):

  1. Term I (Relativbewegung): Dieser Term ist positiv und proportional zum Quadrat der relativen Geschwindigkeit zwischen Partikelpaaren ($\|\dot{x}_i - \dot{x}_j\|^2$). Er wird durch den Abstand moduliert ($1/r^3$).
     • Bedeutung: Das System „belohnt" hohe relative Geschwindigkeiten, insbesondere bei kleinen Abständen.
  2. Term II (Orbitalgeometrie): Dieser Term ist negativ und proportional zum Quadrat des Skalarprodukts aus dem Abstandvektor und der relativen Geschwindigkeit ($[(x_i - x_j) \cdot (\dot{x}_i - \dot{x}_j)]^2$).
     • Bedeutung: Da dieser Term negativ ist (und somit die Gesamtkosten erhöht, wenn er groß ist), wird er minimiert, wenn das Skalarprodukt null ist. Das bedeutet, die Bewegung wird optimiert, wenn sie orthogonal zum Abstandvektor verläuft. Dies fördert quasi-kreisförmige Orbits.

• Numerische Validierung:
  Simulationen mit $N=5$ und $N=10$ Partikeln unter Newtonscher Gravitation bestätigen die analytischen Ergebnisse:

  • Die Trajektorien bilden gekrümmte Bahnen und tendieren zu kreisähnlichen Umlaufbahnen.
  • Die berechneten Kosten („Cost-to-Go") sind minimal, wenn die Kraft exakt dem $1/r^2$-Gesetz folgt.
  • Bei Störungen des Kraftgesetzes (z. B. $1/r^{2+\epsilon}$) steigen die Kosten signifikant an, was beweist, dass das $1/r^2$-Gesetz die optimale Lösung für die abgeleitete Belohnungsfunktion ist.

• Coulomb-Kräfte:
  Für elektrische Ladungen gelten analoge Regeln. Bei entgegengesetzten Ladungen (Anziehung) verhält es sich wie bei der Gravitation (Förderung von relativer Bewegung und Kreisbahnen). Bei gleichen Ladungen (Abstoßung) kehren sich die Effekte um: Relative Bewegung wird minimiert, und die Bewegung tendiert dazu, parallel zum Abstandvektor zu verlaufen.

4. Signifikanz und Implikationen

• Neue Perspektive auf Naturgesetze: Die Arbeit zeigt, dass Bewegung und komplexe Strukturen (wie stabile Orbits) nicht einfach als gegeben angenommen werden müssen, sondern als optimierte Größen interpretiert werden können. Die Naturkräfte scheinen so „designed" zu sein, dass sie relative Bewegung und kreisförmige Dynamiken maximieren, während sie gleichzeitig den Einsatz starker Kräfte (hohe Beschleunigungen) minimieren.
• Verbindung zu Komplexität: Die Förderung von strukturierter Bewegung und Orbitaldynamik wird als wesentlicher Baustein für die Entstehung von Komplexität im Universum identifiziert. Dies korreliert mit anderen Prinzipien wie dem „Maximum Occupancy Principle" oder „Empowerment".
• Theoretische Brücke: Das Paper verbindet die klassische Mechanik (Prinzip der kleinsten Wirkung) mit der modernen Steuerungstheorie (Optimale Steuerung, Reinforcement Learning). Es zeigt, dass die Gesetze der Physik als Lösungen eines inversen Steuerungsproblems verstanden werden können, bei dem ein „Agent" (das Universum) eine Belohnungsfunktion maximiert, die Bewegung und Stabilität fördert.
• Diskontfaktor ($\gamma$): Die Einführung eines nicht-null Diskontfaktors $\gamma < 1$ ist entscheidend, da sie transienten Phänomenen Vorrang vor stationären Verteilungen gibt. Dies ist physikalisch plausibel, wenn man eine endliche Lebensdauer des Universums annimmt, und ermöglicht die Entstehung dynamischer Komplexität über verschiedene Zeitskalen hinweg.

Zusammenfassend liefert das Paper eine mathematisch fundierte Antwort darauf, warum Gravitation und elektromagnetische Kräfte so wirken, wie sie wirken: Sie optimieren eine spezifische Belohnungsfunktion, die relative Bewegung und kreisförmige Bahnen begünstigt, um ein komplexes, strukturiertes Universum zu ermöglichen.