The Reward Function and the Least Cost Principle for Gravitation and other Laws of Physics

Dit paper past het principe van inverse optimal control toe om af te leiden dat de natuurwetten voor zwaartekracht en Coulomb-krachten een beloningsfunctie maximaliseren die relatieve snelheid en orthogonale beweging ten opzichte van de afstandvector bevoordeelt, wat impliceert dat centrale krachten in de natuur dynamisch en statisch gericht zijn op relatieve beweging en quasi-circulaire banen.

De kern

De Universele Reisgids: Waarom de Zwaartekracht en Elektrische Krachten precies doen wat ze doen

Stel je voor dat het heelal een enorme, ingewikkelde videospelletje is. In dit spel bewegen planeten, sterren en atomen op een heel specifieke manier. Ze draaien om elkaar, botsen soms, of vliegen in perfecte cirkels.

De vraag die de auteur, Rubén Moreno-Bote, zich stelt, is: Wie heeft dit spel ontworpen en wat is de 'score' die de natuur probeert te maximaliseren?

In de natuurkunde zeggen we vaak: "De zwaartekracht trekt dingen naar elkaar toe." Maar dit artikel gaat dieper. Het vraagt zich af: Welke beloning (reward) krijgt het universum als het zich zo gedraagt?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. De Omgekeerde Detectivestory

Normaal gesproken kijken natuurkundigen naar de regels (de krachten) en voorspellen ze hoe dingen bewegen.
Deze auteur doet het andersom. Hij kijkt naar hoe de dingen daadwerkelijk bewegen (zoals planeten die om de zon draaien) en vraagt zich af: "Welke beloning zou een 'speler' moeten krijgen om dit gedrag te kiezen?"

Dit heet Inverse Optimal Control. Het is alsof je een speler ziet die een spelletje perfect speelt, en je probeert te raden wat de puntenverdeling is die hem zo slim maakt.

2. De "Minimale Inspanning" Regel

De auteur introduceert een nieuw principe: het Minimaal Kosten Principe.

Stel je voor dat je een auto moet besturen van punt A naar punt B.

• De oude manier (Actie-principe): Je probeert de kortste of snelste route te vinden.
• De nieuwe manier (Kosten-principe): Je probeert de route te vinden waarbij je minst mogelijk gas geeft (minimale versnelling), maar wel maximale plezier (beloning) haalt uit je rit.

In dit universum "kost" het energie om hard te versnellen of te remmen. De natuur wil dus liever niet hard gas geven. Maar als het toch moet, moet het de moeite waard zijn. Er moet een beloning zijn die het waard maakt om die versnelling te gebruiken.

3. Wat is die Beloning? (Het Geheim)

De auteur heeft uitgerekend wat die beloning precies is voor zwaartekracht (zoals bij planeten) en elektrische krachten (zoals bij atomen). Het resultaat is verrassend en mooi:

Het universum krijgt een grote beloning als twee dingen gebeuren:

1. Hoge Snelheid: De objecten bewegen snel ten opzichte van elkaar.
2. De "Dans" (Cirkels): De beweging is loodrecht op de lijn die hen verbindt.

De Vergelijking:
Stel je twee danspartners voor die aan een touw vastzitten.

• Als ze stil staan, krijgen ze 0 punten.
• Als ze recht op elkaar af rennen en botsen, krijgen ze negatieve punten (dat is niet leuk, dat is een crash).
• Maar als ze snel om elkaar heen dansen in een cirkel, krijgen ze maximale punten!

De natuur "houdt" dus van beweging en cirkelvormige banen. Het universum is ontworpen om deze dans te maximaliseren, terwijl het probeert om niet te hard te hoeven versnellen (zoals een slimme danser die niet hoeft te springen, maar gewoon soepel draait).

4. Waarom is dit belangrijk?

Dit verklaart waarom het heelal eruitziet zoals het eruitziet.

• Waarom draaien planeten in cirkels rond de zon? Omdat dat de manier is waarop het universum de meeste "punten" (beloning) haalt.
• Waarom bewegen atomen in bepaalde patronen? Omdat ook daar de "dans" de beste score geeft.

De auteur zegt: "Complexiteit en interessante structuren (zoals leven) ontstaan omdat het universum probeert deze dans te optimaliseren." Als alles stil zou staan of rechtuit zou vliegen, zou het heelal saai zijn. Door te dansen (cirkels en snelle beweging), wordt het heelal interessant en complex.

Samenvatting in één zin

Het universum is als een enorme dansvloer waar de natuurwetten proberen de snelste en mooiste cirkeldans te creëren, terwijl ze zo weinig mogelijk energie verbruiken om te versnellen.

De kernboodschap:
De zwaartekracht en elektrische krachten zijn niet zomaar "trekkers" of "duwers". Ze zijn de dansmeesters die ervoor zorgen dat alles in een prachtige, snelle cirkelbeweging blijft, omdat dat het enige is wat het universum echt "beloning" geeft.

Technische samenvatting

Probleemstelling

De kernvraag van dit onderzoek is: als het universum een specifiek ontwerp volgt, welke kostfunctie (of omgekeerd, welke beloningsfunctie) wordt dan geoptimaliseerd door de waargenomen natuurkrachten?
Traditioneel worden bewegingswetten (zoals Newtoniaanse gravitatie of Coulomb-krachten) beschreven via principes zoals het principe van de minste actie. Echter, binnen het kader van inverse optimale controle (IOC) of inverse versterkingsleer (IRL), wordt geprobeerd de onderliggende beloningsfunctie af te leiden uit de dynamica van het systeem. Tot nu toe was de functionele vorm van deze belonings- en kostfuncties voor klassieke interacties niet vastgesteld. Het doel is om te bepalen welke dynamische en statische eigenschappen door de natuurkrachten worden "beoogd" of geoptimaliseerd.

Methodologie

De auteur hanteert een benadering die gebaseerd is op inverse optimale controle en introduceert het Principe van de Minste Kosten (Least Cost Principle).

1. Het Principe van de Minste Kosten:
   De bewegingswetten worden afgeleid als de optimale oplossing voor een controleprobleem dat de volgende tijdsgedempte cumulatieve kost ($C$) minimaliseert:
   $$C = \int_{t_0}^{\infty} dt \, e^{-\gamma(t-t_0)} \left[ \sum_{i} \frac{1}{2}m_i \|\ddot{x}_i(t)\|^2 - R(x(t), \dot{x}(t)) \right]$$

   • De eerste term is de versnellingskost (control cost): een kwadratische straf voor grote versnellingen (krachten).
   • De tweede term is de beloningsfunctie $R(x, \dot{x})$, die afhankelijk is van de positie ($x$) en snelheid ($\dot{x}$), maar niet expliciet van de versnelling.
   • $\gamma$ is een tijdsdisconteringsfactor.

2. Afleiding van de Versnellingskost:
   In plaats van de kwadratische vorm van de versnellingskost ($\sum m_i \|\ddot{x}_i\|^2$) als wiskundig gemak te veronderstellen, leidt de auteur deze af uit eerste principes. Door eisen te stellen aan tijdshomogeniteit, rotatie-invariantie, additiviteit over deeltjes, en invariantie van de kostverandering onder homogene versnelling van het referentiekader, wordt bewezen dat de versnellingskost noodzakelijkerwijs kwadratisch moet zijn.

3. Inverse Afleiding van de Beloningsfunctie:
   Met de bekende bewegingswetten ($m_i \ddot{x}_i = F_i$) en de afgeleide vorm van de kostfunctie, wordt de onbekende beloningsfunctie $R$ afgeleid via de Hamilton-Jacobi-Bellman (HJB) vergelijking. Dit leidt tot een algemene uitdrukking voor $R$ in termen van de krachten $F$ en hun afgeleiden.

Belangrijkste Bijdragen

1. Formulering van het Principe van de Minste Kosten:
   Het paper vestigt een nieuw principe dat bewegingswetten in systemen met centrale krachten ziet als de oplossing voor een optimalisatieprobleem waarbij men de beloning maximaliseert terwijl men de zwakst mogelijke krachten gebruikt. Dit verschilt van het principe van de minste actie, omdat het een optimalisatieprobleem voor controle is (afhankelijk van versnelling) in plaats van een padoptimalisatieprobleem.

2. Afleiding van de Beloningsfunctie voor Gravitation en Coulomb:
   De auteur leidt de expliciete functionele vorm van de beloningsfunctie af voor Newtoniaanse gravitatie en Coulomb-krachten. De gevonden beloningsfunctie bestaat uit drie termen (voor gravitatie):

   • Term I (Positief): Hangt af van het kwadraat van de relatieve snelheid tussen deeltjespaar ($\|\dot{x}_i - \dot{x}_j\|^2$). Dit beloont hoge relatieve beweging.
   • Term II (Negatief): Hangt af van het inproduct van de afstandvector en de relatieve snelheidsvector. Deze term is negatief (een "straf") tenzij de beweging loodrecht staat op de afstandvector. Dit bevordert cirkelvormige of quasi-cirkelvormige banen.
   • Term III: Een term die voortkomt uit de interactie van meerdere deeltjes en de kwadratische kost.

3. Kwantitatieve Karakterisering:
   Het paper gaat voorbij aan kwalitatieve beschrijvingen van "aantrekking" of "afstoting". Het toont kwantitatief aan dat de natuurkrachten actief relatieve beweging en cirkelvormige banen maximaliseren.

Resultaten

• Analytische Bevindingen:
  De afgeleide beloningsfunctie voor gravitatie (Eq. 9) toont aan dat het systeem wordt gestuurd om de relatieve snelheid tussen deeltjes te maximaliseren (Term I) en beweging te bevorderen die loodrecht staat op de verbindingslijn tussen de deeltjes (Term II). Dit verklaart waarom deeltjes onder gravitatie de neiging hebben om in banen te draaien in plaats van recht op elkaar af te bewegen of uit elkaar te vliegen.
  Voor Coulomb-krachten geldt een analoog resultaat, waarbij bij gelijke ladingen de beweging wordt geminimaliseerd en parallel aan de afstandvector wordt gericht, terwijl bij tegenovergestelde ladingen dezelfde regels gelden als voor gravitatie.

• Numerieke Simulaties:
  Simulaties met $N=5$ en $N=10$ deeltjes bevestigen de analytische resultaten:

  • De gegenereerde banen zijn voornamelijk kromlijnig en vormen cirkelvormige banen wanneer de deeltjes dicht bij elkaar zijn.
  • De berekende "cost-to-go" (totale kost) is minimaal wanneer de krachten exact volgen de Newtoniaanse wet ($1/r^2$).
  • Bij verstoring van de krachtwet (bijv. $1/r^{2+\epsilon}$) neemt de totale kost toe, wat aantoont dat de Newtoniaanse wet de optimale oplossing is voor de afgeleide beloningsfunctie.

Significantie en Implicaties

• Oorsprong van Complexiteit:
  De studie suggereert dat relatieve beweging en gestructureerde, cirkelvormige banen fundamentele dynamische eigenschappen zijn die door de natuurkrachten worden geoptimaliseerd. Deze eigenschappen worden gezien als essentiële ingrediënten voor het ontstaan van complexiteit in het universum.
• Verband met Andere Principes:
  Het maximaliseren van beweging en diversiteit sluit aan bij andere concepten zoals het "maximum occupancy principle" en "empowerment" in cognitieve systemen. Het paper toont aan dat beweging niet slechts een aangenomen principe is, maar een geoptimaliseerde grootheid in de natuur.
• Theoretische Unificatie:
  Door inverse optimale controle toe te passen op fundamentele natuurwetten, biedt het paper een nieuw perspectief op de relatie tussen fysica en optimalisatie. Het suggereert dat de wetten van de fysica kunnen worden gezien als de oplossing voor een onderliggend optimalisatieprobleem dat gericht is op het creëren van rijke, gestructureerde dynamiek met minimale energie-investering (kracht).

Kortom, dit werk levert een wiskundig onderbouwde verklaring voor waarom de natuurkrachten werken zoals ze doen: ze zijn ontworpen om een universele beloningsfunctie te maximaliseren die draait om dynamische interactie en stabiele, cirkelvormige structuren.