Technische Samenvatting: Emergentie van Fysieke Intelligentie via Controleerbare Informatieproductie

Probleemstelling

Huidige benaderingen voor Intrinsieke Motivatie (IM) in robotleren kampen met drie fundamentele structurele tekortkomingen. Ten eerste vertrouwen ze voornamelijk op wederzijdse informatie tussen door de ontwerper gekozen willekeurige variabelen, die fungeren als proxies voor systeemniveau-fenomenen zoals complexiteit of chaos, in plaats van deze fenomenen direct te meten. Ten tweede introduceert de noodzaak voor een ontwerper om deze variabelen expliciet te specificeren een bias, wat impliciet beperkt hoe een agent waarneemt en handelt. Ten derde ontbreekt het, ondanks dat deze doelstellingen worden gebruikt om controle aan te sturen, aan een principiële connectie met de theorie van Optimale Controle (OC), wat de interpreteerbaarheid beperkt en de ontwikkeling van efficiënte controlemethoden belemmert. Bijgevolg falen bestaande IM-methoden vaak om oprecht nieuwe, taakrelevante fysieke gedragingen, zoals zelf-rechtzetten, te induceren zonder externe beloningssignalen.

Methodologie: Controleerbare Informatieproductie (CIP)

De auteurs introduceren Controleerbare Informatieproductie (CIP), een nieuw IM-paradigma dat direct is geworteld in de invariante eigenschappen van dynamische systemen en de theorie van Optimale Controle.

Theoretische Grondslag

CIP wordt gedefinieerd als de snelheid waarmee een gecontroleerd systeem informatie produceert langs zijn trajecten, formeel geïdentificeerd als de Kolmogorov-Sinai-entropie (KSE) die wordt veroorzaakt door de acties van de agent.

• Open-Loop versus Closed-Loop: Het kader onderscheidt tussen de informatiedproductiesnelheid onder feedbackcontrole (closed-loop KSE, $h_{ks}(f^{cl})$) en de snelheid als verstoringen ongeregelde zouden blijven (open-loop KSE, $h_{ks}(f^{ol})$).
• Afleiding uit Optimale Controle: De auteurs tonen aan dat CIP natuurlijk voortkomt uit de Hessiaan van de optimale waardenfunctie in OC. Door het optimale beleid te ontleden in extrinsieke (doelgerichte drift) en intrinsieke (verstoring-regulerende feedback) componenten, laten ze zien dat de waarde-Hessiaan de groei van infinitesimale verstoringen codeert.
• Kerninzicht: De open-loop KSE ($h_{ks}(f^{ol})$), afgeleid van de waarde-Hessiaan, dient als de CIP-doelstelling. De auteurs bewijzen dat CIP een bovengrens biedt aan de closed-loop KSE ($CIP \ge h_{ks}(f^{cl})$), wat betekent dat het maximaliseren van CIP het systeem drijft naar gebieden met hoge "controleerbare chaos" — toestanden die in open-loop instabiel zijn maar via feedback stabiliseerbaar.

Efficiënte Schatting

Het berekenen van KSE in hoogdimensionale systemen is historisch gezien uitdagend. Het artikel stelt een numeriek stabiele, schaalbare schatter voor die is afgeleid uit de Discrete Algebraïsche Riccati-vergelijking (DARE).

• In plaats van de Hessiaan-matrix direct te propageren (wat exponentieel groeit), propageert de methode de log-determinant van de inverse Hessiaan in een recursie in het log-domein.
• Deze aanpak omzeilt de behoefte aan QR-decompositie, wat standaard is bij schatting van het Lyapunov-spectrum, maar computationeel duur en instabiel is in hoge dimensies.
• De schatter convergeert sneller dan basismethoden met QR naar bekende KSE-waarden in chaotische systemen (bijvoorbeeld Lorenz-attractoren).

Implementatie

In experimenten wordt CIP geïmplementeerd met behulp van een op willekeurige steekproeven gebaseerd Model Predictive Control (MPC)-schema. De agent optimaliseert een reeks controles over een eindige horizon om de geschatte CIP te maximaliseren, onderworpen aan een controlestraf. Er worden geen externe beloningen of demonstraties gebruikt.

Belangrijkste Bijdragen

1. Nieuw IM-Paradigma: De introductie van CIP, die de doelstelling verschuift van het bevorderen van nieuwheid/diversiteit naar het identificeren en stabiliseren van opvallende gebieden van de toestandsruimte (de "rand van chaos") op basis van dynamische invarianten.
2. Theoretische Grondslag: Een rigoureuze connectie tussen IM en Optimale Controle, waarbij wordt aangetoond dat CIP is gecodeerd in de kromming van het optimale waarde-landschap. Dit biedt een principiële rechtvaardiging voor IM die niet rust op heuristische postulaten.
3. Schaalbare Schatter: De ontwikkeling van een efficiënte, numeriek stabiele recursieve schatter voor KSE die direct werkt op de Jacobianen van het systeem, waardoor eerdere beperkingen in hoogdimensionale toepassingen worden overwonnen.
4. Empirische Validatie: Aantonen dat CIP presteert boven state-of-the-art IM-methoden (waaronder Empowerment, DIAYN, DADS, SMM en ICM) op standaard benchmarks, en uniek complexe fysieke vaardigheden mogelijk maakt zoals het zelf-rechtzetten van humanoïden zonder externe beloningen.

Experimentele Resultaten

De auteurs evalueerden CIP op vier benchmarksystemen in Mujoco-MJX: Cart Pole, Dubbele Slinger, Drievoudige Slinger en een planaire humanoïde (Gibbon).

• Zelf-rechtzetten Prestaties: CIP dreef agenten consequent naar de volledig rechtopstaande positie (genormaliseerde hoogte $\approx 0.93–0.99$) in alle omgevingen.
• Vergelijking met Basismethoden:
  • Vaardigheidsgebaseerde IM (DIAYN, DADS, SMM): Deze methoden faalden om de rechtopstaande positie te stabiliseren en bleven vaak hangen in oscillerende of suboptimale stabiele houdingen. De auteurs schrijven dit toe aan de "selectiedruk" voor diversiteit in de toestandsruimte, die voorkeur geeft aan makkelijker te handhaven toestanden boven de moeilijke rechtopstaande configuratie.
  • Nieuwsgierigheidsgebaseerde IM (ICM): Deze methoden faalden om te stabiliseren, vaak vastzettend in onvoorspelbare bewegingen met hoge snelheid of ophoudend "verrast" te zijn naarmate de voorspellers verbeterden.
  • Empowerment: Hoewel succesvol bij de Cart Pole, slaagde Empowerment slechts gedeeltelijk bij de Dubbele Slinger en faalde het om de Drievoudige Slinger of Gibbon te stabiliseren, waarbij het terugviel naar suboptimale toestanden.
• Entropie-correlatie: De geschatte CIP-waarden namen toe naarmate de agenten bewogen van hangende (lage entropie) naar rechtopstaande (hoge entropie) configuraties, wat bevestigt dat de rechtopstaande toestand overeenkomt met hoge open-loop informatieproductie.

Betekenis en Claims

Het artikel stelt dat fysieke intelligentie ontstaat door systemen te drijven naar de rand van controleerbare chaos. Door de informatieproductie die een agent kan controleren te maximaliseren, biedt CIP een principiële mechanisme voor het ontdekken van nuttig gedrag zonder menselijke bias.

• Theoretische Impact: Het werk verenigt IM en OC, en formaliseert fysieke intelligentie als de controle van informatieproductie. Het onthult een structurele connectie tussen de waardenfunctie en Kolmogorov-Sinai-entropie.
• Praktische Impact: CIP stelt agenten in staat complexe, energie-efficiënte gedragingen (zoals zelf-rechtzetten) te leren die voorlopers zijn voor locomotie, wat eerdere IM-methoden niet autonoom wisten te bereiken.
• Beperkingen: De auteurs erkennen dat de huidige implementatie afhankelijk is van differentieerbare simulatoren om toegang te krijgen tot Jacobianen en een eenvoudige MPC-controller gebruikt, wat de schaalbaarheid naar zeer hoogdimensionale real-world systemen kan beperken. Toekomstig werk heeft tot doel CIP te integreren met geleerde dynamische modellen en state-of-the-art RL-beleidslijnen.

De auteurs concluderen dat CIP een algemeen organiserend principe voor fysieke intelligentie vertegenwoordigt, dat verder gaat dan heuristische doelstellingen naar een kader dat is afgeleid uit de fundamentele wiskunde van controle en dynamische systemen.