📊 statistics

Towards Tsallis Fully Probabilistic Design

Dit artikel introduceert de fundamenten van Fully Probabilistic Design met Tsallis-divergentie in plaats van Kullback-Leibler-divergentie, waarbij een constructieve oplossing en convergerend algoritme worden geboden via een vaste-puntiteratie om de afwezigheid van directe terugwaartse recursie te overwinnen en de flexibiliteit van Bayesiaanse besluitvorming te vergroten.

Oorspronkelijke auteurs: Vyacheslav Kungurtsev, Giovanni Russo

Gepubliceerd 2026-03-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vyacheslav Kungurtsev, Giovanni Russo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Reis van de Perfecte Beslissing: Een Nieuwe Weg door de Mist

Stel je voor dat je een kapitein bent van een schip dat door een zee van onzekerheid vaart. Je hebt een kaart (je doel) en je wilt de beste route vinden, maar de wind en stroming (de wiskundige "ruis" en onzekerheid) veranderen constant.

In de wereld van de wiskunde en robotica heet dit Fully Probabilistic Design (FPD). Het is een manier om te beslissen wat je moet doen, niet op basis van één vaste regel, maar door te kijken naar de kans dat je elke mogelijke route kiest. Je wilt een route kiezen die zo dicht mogelijk ligt bij je ideale plan, maar rekening houdend met de chaos van de werkelijkheid.

1. Het Oude Gereedschap: De "Kluis" (KL-divergentie)

Voorheen gebruikten wetenschappers een heel specifiek meetinstrument om te zien hoe ver je huidige route afwijkt van je ideale route. Ze noemden dit de KL-divergentie (genoemd naar Kullback en Leibler).

Je kunt dit zien als een perfecte liniaal. Als je deze liniaal gebruikt, werkt de wiskunde als een goed geoliede machine: je kunt makkelijk terugrekenen (van het einde van de reis naar het begin) om precies te zien welke beslissing je nu moet nemen. Dit is als een trein op een spoor: voorspelbaar en rechtlijnig.

2. Het Nieuwe Gereedschap: De "Rubberliniaal" (Tsallis-divergentie)

Maar wat als je wereld niet zo rechtlijnig is? Wat als er enorme stormen zijn, of als kleine foutjes op het begin van je reis enorme gevolgen hebben aan het einde? Dan is die oude, stijve liniaal niet genoeg.

De auteurs van dit paper introduceren een nieuw gereedschap: de Tsallis-divergentie.
Stel je dit voor als een rubberliniaal of een elastiek.

De oude liniaal (KL) is stijf: als je hem buigt, breekt hij of meet hij niet meer goed.
De rubberliniaal (Tsallis) is flexibel. Hij kan rekken. Hij kan "dikke staarten" meten (zeldzame, maar rampzalige gebeurtenissen) en lange afstanden in de tijd. Dit is superbelangrijk voor systemen waarbij een klein foutje jaren later een catastrofe kan veroorzaken (zoals bij robotica of klimaatmodellen).

3. Het Probleem: De Liniaal is te Rekbaar

Hier zit de knoop in de theorie.
Bij de oude, stijve liniaal (KL) gold een simpele regel: als je de reis in stukjes deelt, kun je de afwijkingen gewoon optellen. Je kunt makkelijk terugrekenen van het einde naar het begin.

Maar bij de rubberliniaal (Tsallis) werkt die regel niet meer! Als je de reis in stukjes deelt, rekken de stukjes elkaar uit. Je kunt niet simpelweg terugrekenen; de wiskunde "kleeft" aan elkaar vast op een manier die de oude methode niet aankon. Het is alsof je probeert een elastiek terug te vouwen terwijl je er tegelijkertijd aan trekt. De simpele "terugwaartse berekening" (backwards recursion) werkt niet meer.

4. De Oplossing: De "Dansende" Iteratie

De auteurs zeggen: "Oké, we kunnen niet simpelweg terugrekenen. Maar we kunnen wel proberen, fouten maken, en het opnieuw proberen tot we de perfecte route hebben gevonden."

Ze bedachten een slimme truc, een soort dansstap:

De Eerste Gissing: Je begint met een gok voor je hele route (bijvoorbeeld: "We gaan gewoon de ideale route volgen").
De Terugwaartse Dans: Je kijkt naar het einde van de reis en vraagt je af: "Als we hier zijn, wat was de beste beslissing daarvoor, gebaseerd op mijn huidige gok?" Je werkt terug naar het begin.
De Voorwaartse Update: Nu heb je een nieuwe, betere gok voor de route.
Herhaling: Je doet dit steeds opnieuw. Je gebruikt je nieuwe gok als basis voor de volgende ronde.

Dit noemen ze een Vastpunt-Iteratie (Fixed Point Iteration).

Analogie: Stel je voor dat je een foto van een landschap probeert te tekenen. Eerst teken je een ruwe schets. Dan kijk je naar je schets, en verbeter je de details. Dan kijk je weer naar je verbeterde tekening en verfijnt je het nog meer. Uiteindelijk, na genoeg rondjes, zie je dat de tekening niet meer verandert. Je hebt het "vastpunt" bereikt: de perfecte tekening.

5. Waarom is dit geweldig?

De auteurs bewijzen wiskundig dat deze dansstap altijd werkt en dat je uiteindelijk de perfecte oplossing vindt.

Flexibiliteit: Je kunt nu problemen oplossen die te complex of te "riskant" waren voor de oude methode.
Robuustheid: Het systeem is beter bestand tegen onverwachte, extreme gebeurtenissen (de "dikke staarten").
Bewijs: Ze laten niet alleen zien hoe je het doet, maar bewijzen ook dat er een oplossing bestaat en dat je er altijd bij kunt komen.

Samenvatting in één zin

Dit paper introduceert een nieuwe, flexibele manier om beslissingen te nemen in een onzekere wereld, waarbij de oude, stijve wiskundige regels worden vervangen door een slimme, iteratieve "dans" die zelfs de meest complexe en risicovolle scenario's kan oplossen.

Het is de overstap van een stijve trein op een spoor, naar een slimme drone die zich aanpast aan elke windvlaag, en die weet dat hij uiteindelijk op de juiste plek zal landen.

Titel: Towards Tsallis Fully Probabilistic Design

Auteurs: Vyacheslav Kungurtsev en Giovanni Russo
Datum: November 2025 (voorgesteld)

1. Probleemstelling

Het paper adresseert een fundamentele uitdaging binnen het domein van Fully Probabilistic Design (FPD), een methode voor sequentiële Bayesiaanse besluitvorming en stochastische controle.

Context: In de traditionele FPD wordt de Kullback-Leibler (KL) divergentie gebruikt om de afstand tussen een gekozen beleidsdichtheid en een referentiedichtheid te meten. De KL-divergentie heeft een gunstige eigenschap: de ketenregel (chain rule). Hierdoor kan het optimalisatieprobleem via een directe, analytische achterwaartse recursie (backwards induction) worden opgelost.
De Uitdaging: De auteurs willen de KL-divergentie vervangen door de Tsallis-divergentie (TsD). TsD is nuttig omdat deze, via een vormparameter $r$ , langere correlaties en "fat-tail" afhankelijkheden kan modelleren, wat cruciaal is voor systemen waar risico's in de staart van de verdeling (tail risk) mission-critical zijn.
Het Kernprobleem: De Tsallis-divergentie is niet-additief. De standaard ketenregel geldt hier niet; in plaats daarvan geldt een sub-additiviteitsrelatie met een extra kruisterm. Hierdoor is de directe achterwaartse recursie die bij KL-divergentie werkt, niet langer toepasbaar. Er is geen gesloten vorm-oplossing meer die stap voor stap van $N$ naar $1$ kan worden berekend zonder iteratie.

Het doel van het paper is een constructief bewijs te leveren voor het bestaan van een oplossing voor dit FPD-probleem met Tsallis-divergentie en een algoritme te ontwikkelen dat deze oplossing convergeert.

2. Methodologie

De auteurs ontwikkelen een nieuw wiskundig raamwerk dat de beperkingen van de Tsallis-divergentie omzeilt door gebruik te maken van vaste punt-iteraties (fixed point iterations).

A. Formulering van het Optimalisatieprobleem

Het probleem wordt gedefinieerd als het minimaliseren van de Tsallis-divergentie tussen de gezamenlijke dichtheid van het systeem ( $p_{0:N}$ ) en een referentiedichtheid ( $q_{0:N}$ ), gecombineerd met een verwachte kostenfunctie:
$\min \{ D_r(p_{0:N} || q_{0:N}) + \sum E[c_k] \}$
Omdat de Tsallis-divergentie niet-additief is (Lemma 2.4), kan de objectieve functie niet eenvoudig worden gescheiden in onafhankelijke stappen.

B. Het Vaste Punt Iteratieschema

In plaats van een directe achterwaartse recursie, stellen de auteurs een dubbele lus-iteratie voor:

Operator $T$ (Gauss-Seidel type): Deze operator voert een achterwaartse recursie uit van tijdstap $N$ naar $1$. Bij het optimaliseren van het beleid op stap $k$ , worden de beleidsdichtheden van andere stappen ( $j \neq k$ ) "vastgezet" op waarden uit de vorige iteratie ( $l$ ) of de recent berekende waarden ( $l+1$ ).
- Dit maakt het probleem op elke stap $k$ tractabel door het te reduceren tot een vorm die voldoet aan Lemma 2.6 (een optimalisatieprobleem met Tsallis-regularisatie).
- De oplossing voor elke stap $k$ heeft een gesloten vorm die een "vervormde exponentiële kern" (deformed exponential kernel) bevat, gebaseerd op de $q$ -logarithme.
Operator $\tilde{T}_\omega$ (Relaxatie): Om convergentie te garanderen, wordt een relaxatie-parameter $\omega$ ( $0 < \omega \leq 1$ ) geïntroduceerd. De nieuwe iteratie is een lineaire combinatie van de output van $T$ en de huidige schatting:
$p^{l+1} = \omega T(p^l) + (1-\omega)p^l$

C. Constructieve Oplossing per Stap

Voor elke stap in de achterwaartse recursie wordt de optimale beleidsdichtheid $p^*_k$ afgeleid als:
$p^*_k(u_k|x_{k-1}) \propto \text{expr}\left(-\bar{\rho}^{-1} J_k\right) q_k(u_k|x_{k-1})$
Waarbij $\text{expr}$ de Tsallis-exponentiële functie is en $J_k$ een kostenfunctie is die afhankelijk is van de vastgezetten dichtheden uit de andere stappen.

3. Belangrijkste Bijdragen

Nieuw FPD-raamwerk: De eerste formulering van Fully Probabilistic Design die specifiek de Tsallis-divergentie gebruikt in plaats van de KL-divergentie, waardoor meer flexibiliteit in het modelleren van onzekerheid en staartrisico's ontstaat.
Constructief Bewijs van Bestaan: Het paper levert een constructief bewijs dat een oplossing bestaat voor het multistage FPD-probleem met Tsallis-divergentie, ondanks het ontbreken van de ketenregel.
Algoritmisch Schema: Ontwikkeling van een specifiek algoritme (dubbele lus vaste punt-iteratie) dat de exacte oplossing benadert. Dit is een significant verschil met eerdere werken in Model Predictive Control (MPC) die variational inference gebruikten om de exacte oplossing te benaderen; dit paper streeft naar de exacte oplossing.
Convergentiegaranties: Het bieden van theoretische garanties voor de convergentie van het algoritme.

4. Theoretische Resultaten en Convergentie

De auteurs bewijzen de convergentie van het voorgestelde schema met behulp van klassieke stellingen uit de niet-lineaire functionaalanalyse:

Banach-Vaste Puntstelling: Voor een voldoende kleine relaxatieparameter ( $\omega < 1/2$ ) is de operator $\tilde{T}_\omega$ een contractie in de $L_1$ -norm. Dit garandeert dat de iteratie convergeert naar een uniek vast punt, ongeacht de startwaarde.
Schauder-Vaste Puntstelling: Onder specifieke voorwaarden (bijvoorbeeld $r > 3$ of een kwadratische kostenfunctie die coerciviteit garandeert), is de operator $T$ zelf al een vaste punt-operator zonder relaxatie ( $\omega = 1$ ). In dit geval convergeert de iteratie lokaal naar een oplossing, mits de startwaarde dicht genoeg bij de oplossing ligt.

De paper toont aan dat de vaste punten van deze iteratie overeenkomen met de optimale oplossingen van het oorspronkelijke FPD-probleem.

5. Betekenis en Toekomstperspectief

De betekenis van dit werk ligt op meerdere niveaus:

Robuustheid: Door Tsallis-divergentie te gebruiken, kunnen systemen beter worden ontworpen om om te gaan met zeldzame maar catastrofale gebeurtenissen (fat tails), wat essentieel is voor toepassingen zoals robotica en veiligheidskritieke systemen.
Theoretische Uitbreiding: Het overwinnen van het gebrek aan additiviteit in Tsallis-divergentie opent de deur voor het toepassen van niet-KL-maatstaven in complexe dynamische optimalisatieproblemen.
Algorithmische Innovatie: De overgang van directe achterwaartse recursie naar een vaste punt-iteratie biedt een nieuw paradigma voor het oplossen van stochastische controleproblemen met niet-additieve kostenfuncties.

Samenvattend biedt dit paper de theoretische grondslagen en een werkend algoritme om Fully Probabilistic Design uit te breiden naar een meer flexibel en robuust raamwerk voor besluitvorming onder onzekerheid.