🤖 machine learning

Conformal bandits: bringing statistical validity and reward efficiency under weak arm separability

Dit artikel introduceert Conformal Bandits, een nieuw raamwerk dat Conformal Prediction integreert in sequentiële besluitvorming om statistische dekking met eindige steekproeven te bieden terwijl de regret-efficiëntie behouden blijft, waarbij het met name uitblinkt in scenario's met zwakke arm-scheidbaarheid zoals portefeuilleallocatie waar klassieke beleidstrategieën vaak falen.

Oorspronkelijke auteurs: Simone Cuonzo, Nina Deliu

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Simone Cuonzo, Nina Deliu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een crimineel te zoeken, probeer je de beste optie te vinden tussen een heleboel keuzes. Dit is de wereld van "Multi-Armed Bandits", een beroemde puzzel in de informatica en statistiek. Stel je een rij gokautomaten voor in een casino, elk met een andere hendel (of "arm"). Je weet niet welke machine het meeste geld uitbetaalt; je weet alleen dat sommige machines geprogrammeerd kunnen zijn om je niets te geven, terwijl andere jackpot-winnaars kunnen zijn. Jouw taak is om te achterhalen welke machine de beste is door de hendels één voor één over te halen. Het lastige deel is het "dilemma": blijf je de hendel overhalen die je tot nu toe een paar munten heeft opgeleverd (exploitatie), of probeer je een nieuwe, onbekende hendel die misschien nog wel beter is (exploratie)? Als je het fout raadt, verlies je geld, wat statistici "regret" (spijt) noemen.

Normaal gesproken hebben deze machines duidelijke verschillen: de ene is een prutser, en de andere een goudmijn. Maar in de echte wereld is dat zelden zo duidelijk. Soms is het verschil tussen de beste machine en de op één na beste zo klein dat het bijna onmogelijk is om ze uit elkaar te houden, vooral als de machines ook nog eens "ruisachtig" zijn (wat betekent dat ze soms een muntje geven wanneer ze dat niet zouden moeten doen, of een muntje afnemen wanneer ze dat wel zouden moeten doen). Dit wordt "weak arm separability" genoemd. Het is alsoal proberen een fluistering te horen in een orkaan. Traditionele methoden om deze puzzel op te lossen, vertrouwen vaak op strikte regels over hoe de ruis zich gedraagt, wat kan falen wanneer de echte wereld rommelig wordt. Dit artikel stapt in deze rommelige, fluisterende orkaan om te zien of een nieuwe vorm van detectivewerk de beste machine kan vinden zonder de weg kwijt te raken.

De auteurs, Simone Cuonzo en Nina Deliu, introduceren een slim nieuw framework genaamd Conformal Bandits. Denk aan hun aanpak als het geven van een supernauwkeurig, flexibel "onzekerheidsschild" aan de detective. In plaats van te gokken op basis van rigide wiskundige formules die ervan uitgaan dat de ruis perfect voorspelbaar is, gebruiken ze een techniek genaamd Conformal Prediction. Stel je voor dat je probeert de temperatuur van morgen te voorspellen. Een traditionele methode zou zeggen: "Het zal tussen de 60 en 80 graden zijn," gebaseerd op een strikte formule. Conformal Prediction kijkt echter naar hoe het weer daadwerkelijk de afgelopen dagen heeft zich gedragen en zegt: "Op basis van hoe het weer in de afgelopen dagen daadwerkelijk functioneerde, kan ik met 95% zekerheid garanderen dat de temperatuur binnen dit specifieke bereik zal vallen." Het geeft niet om het feit of het weer vreemd of onvoorspelbaar is; het garandeert simpelweg dat zijn voorspellingsbox groot genoeg is om de waarheid meestal te vangen.

In dit artikel vervangen de auteurs de oude, rigide "betrouwbaarheidsintervallen" die in standaard bandit-strategieën worden gebruikt door deze flexibele, op data gebaseerde voorspellingsboxen. Ze noemen hun nieuwe strategie Conformal UCB (Upper Confidence Bound). In hun simulaties hebben ze deze nieuwe methode getest tegen de klassieke "UCB1"-strategie in scenario's waar het verschil tussen de beste en de op één na beste optie minuscuul was (zoals een gat van 0,01 in beloning) en de ruis hoog was. De resultaten lieten zien dat de oude UCB1-strategie moeite had, vaak vastliep in een lus van verwarring en veel "regret" (verloren geld) opbouwde. In contrast hiermee waren de Conformal Bandits veel beter in het onderscheiden van de kleine verschillen, leerden ze sneller en maakten ze minder fouten. Ze lieten ook zien dat deze nieuwe methoden konden garanderen dat hun voorspellingsboxen daadwerkelijk correct waren (een "statistische garantie"), zelfs wanneer de data rommelig, heavy-tailed of scheef verdeeld was—omstandigheden waarin de oude methoden vaak faalden of te conservatief werden.

Het artikel neemt dit idee vervolgens mee naar een speeltuin uit de echte wereld: portfolio allocatie, of hoe beleggers beslissen waar ze hun geld in investeren. Hier zijn de "armen" verschillende beleggingsstrategieën (zoals alleen cash aanhouden, geld gelijkmatig verdelen, of een complexe formule gebruiken om risico en rendement in balans te brengen). De auteurs ontdekten dat de verschillen tussen deze strategieën in de financiële wereld vaak ongelooflijk klein en moeilijk te ontdekken zijn, net als de minuscule gaten in hun simulaties. Ze toonden aan dat hun Conformal Bandit-aanpak deze troebele wateren beter kan navigeren dan traditionele methoden, wat leidt tot hogere rendementen en minder risico op grote verliezen.

Om het nog slimmer te maken, voegden de auteurs een laag van "regime awareness" toe. Ze realiseerden zich dat financiële markten van persoonlijkheid veranderen: soms zijn ze kalm en zonnig (Bull markets), soms zijn ze stormachtig en eng (Bear markets). Ze gebruikten een hulpmiddel genaamd een Hidden Markov Model (denk aan een weersverwachting voor de stemming van de markt) om deze verschuivingen te detecteren. Wanneer de markt kalm was, was hun algoritme optimistisch en zocht het naar de hoogste potentiële winsten. Wanneer de markt stormachtig werd, schakelde het algoritme onmiddellijk over naar een defensieve modus, waarbij de focus lag op het beschermen tegen verliezen. Deze "Regime-Aware" versie van hun strategie presteerde beter dan alles, inclusief de standaardmethoden en zelfs de niet-regime-bewuste versie van hun eigen nieuwe tool. Het bewees dat door de flexibiliteit van Conformal Prediction te combineren met een bewustzijn van de veranderende stemming van de markt, je veel slimmere beslissingen kunt nemen, zelfs wanneer de verschillen tussen je keuzes nauwelijks zichtbaar zijn.

Kortom, dit artikel suggereert dat door oude, rigide regels te vervangen door flexibele, op data gebaseerde "onzekerheidsschilden", we betere beslissingen kunnen nemen in onzekere werelden waar de verschillen tussen opties minuscuul zijn en de ruis luid is. Het beweert niet dat het alle problemen in de financiële wereld of machine learning heeft opgelost, maar in hun tests en simulaties toonde het een duidelijke weg naar meer betrouwbare en efficiënte besluitvorming, vooral wanneer de inzet hoog is en de aanwijzingen vaag zijn.

Technische Samenvatting: Conformal Bandits

Probleemstelling
Het artikel behandelt het Multi-Armed Bandit (MAB) probleem, een paradigma voor sequentiële besluitvorming onder onzekerheid, met een specifieke focus op het regime van zwakke arm-scheidbaarheid (weak arm separability). In veel real-world toepassingen, zoals medische behandelingen, digitale gezondheidsinterventies en de allocatie van financiële portfolio's, is het verschil in verwachte beloningen ( $\Delta = \mu^* - \mu$ ) tussen de optimale arm en suboptimale armen extreem klein. Dit "kleine-gap" of lage signaal-ruisverhouding (SNR) regime vormt aanzienlijke uitdagingen voor klassieke regret-minimaliserende strategieën zoals Upper Confidence Bound (UCB).

Traditionele UCB-policies vertrouwen op distributionele aannames (bijv. sub-Gaussische beloningen) en asymptotische garanties afgeleid van ongelijkheden zoals die van Hoeffding. In settings met een kleine gap zijn deze klassieke betrouwbaarheidsgrenzen vaak instabiel of excessief conservatief, wat leidt tot lineaire cumulatieve regret over eindige horizonten en een falen om armen efficiënt te onderscheiden. Bov bij het is dat de standaard bandit-literatuur de statistische validiteit in eindige steekproeven (d.w.z. gegarandeerde dekking van toekomstige beloningen) grotendeels verwaarloost, waarbij de focus bijna uitsluitend ligt op regret-minimalisatie.

Methodologie
De auteurs stellen Conformal Bandits voor, een framework dat Conformal Prediction (CP) integreert in het bandit-besluitvormingsproces. Deze aanpak vervangt de klassieke, distributie-afhankelijke betrouwbaarheidsgrenzen door statistisch valide, distributievrije predictie-intervallen.

Conformal Quantile Regression (CQR): Om heteroscedasticiteit en asymmetrie in de distributie van beloningen (gebruikelijk in de financiële sector) aan te pakken, maakt het framework gebruik van CQR. Dit houdt het volgende in:
- Het fitten van conditionele kwantielmodellen (onder en boven) op een trainingsset.
- Het berekenen van conformiteitsscores (residuen) op een kalibratieset.
- Het construeren van predictie-intervallen $C_{k,t+1}^{1-\alpha} = [L_{k,t+1}, U_{k,t+1}]$ die marginale dekking garanderen: $P(Y_{k,t+1} \in C_{k,t+1}^{1-\alpha}) \geq 1-\alpha$ onder de enige aanname van uitwisselbaarheid (exchangeability).
- Het inzetten van Adaptive Conformal Inference (ACI) om het niveau van misdekking $\alpha$ dynamisch aan te passen, om de schending van uitwisselbaarheid aan te pakken die wordt veroorzaakt door de sequentiële aard van de bandit-armselectie.
Conformal UCB (CP-UCB): De eenvoudigste policy in het framework selecteert de arm met de hoogste conformale bovengrens ( $U_{k,t+1}$ ), waarbij het principe van "optimisme in het aangezicht van onzekerheid" behouden blijft, maar met data-gedreven, distributievrije intervallen.
Algemene CP-Bandit: De auteurs introduceren een flexibele familie van policies geparametriseerd door een mengcoëfficiënt $\lambda \in [0, 1]$ . De selectiescore is een convexe combinatie van de conformale boven- en ondergrens:
$\text{Score}_k = (1-\lambda)U_{k,t+1} + \lambda L_{k,t+1}$
- $\lambda = 0$ : Volledig optimistisch (equivalent aan CP-UCB).
- $\lambda = 1$ : Volledig conservatief (maximin-regel, gericht op de ondergrens).
- $0 < \lambda < 1$ : Risico-bewuste policies die een balans zoeken tussen opwaarts potentieel en neerwaartse bescherming. Deze formulering voldoet aan shift-equivariance en dominance-consistency.
Regime-Bewuste Uitbreiding: Voor de toepassing van portfolio-allocatie wordt het framework uitgebreid om niet-stationariteit aan te pakken. Een Hidden Markov Model (HMM) wordt gebruikt om marktregimes (Bull, Neutral, Bear) te infereren. De policy past zich dynamisch aan:
- In Bull/Neutral regimes: Het handelt optimistisch (selectie op basis van bovengrenzen).
- In Bear regimes: Het handelt defensief (selectie op basis van ondergrenzen om neerwaarts risico te minimaliseren).

Belangrijkste Bijdragen

Framework Integratie: De introductie van Conformal Bandits, die de kloof overbrugt tussen regret-minimaliserende bandit-policies en statistische validiteit in eindige steekproeven.
Risico-bewuste Policy Familie: De ontwikkeling van de CP-Bandit familie, die een principiële interpolatie mogelijk maakt tussen optimistische en conservatieve strategieën via het Hurwicz-criterium, wat een distributievrije analogie biedt voor Value-at-Risk (VaR) bij bandit-selectie.
Prestaties in Small-Gap Regimes: Demonstratie dat Conformal Bandits superieure cumulatieve regret en best-arm selectierates bereiken in small-gap en lage-SNR regimes waar klassieke UCB1 faalt (en lineaire regret vertoont).
Financiële Toepassing: Een innovatieve toepassing op portfolio-allocatie die de specifieke uitdagingen van financiële markten aanpakt: kleine beloningsverschillen, niet-stationariteit en de noodzaak voor risicobeheer. De integratie van HMM's stelt de bandit in staat om te adapteren aan regime-wisselende dynamiek.

Resultaten

Simulatiestudies: In Monte Carlo-simulaties met Gaussische, Student-t (heavy-tailed) en Skewed Student-t beloningen presteerden Conformal Bandit-varianten (met name met $\lambda=0.5$ ) consistent beter dan de klassieke UCB1. Ze bereikten lagere cumulatieve regret en snellere convergentie naar de optimale arm. Cruciaal is dat terwijl UCB1 overly conservatieve intervallen produceerde met slechte dekking in heavy-tailed scenario's (bijv. een dekking van 71,42% bereikte versus de nominale doelstelling van 80% in de Student-t setting specifiek bij de grotere gap $\Delta=0.05$ ), Conformal Bandits de nominale dekkingsgaranties handhaafden terwijl ze nauwere, meer informatieve intervallen boden.
Portfolio Allocatie Casestudy: Toegepast op dagelijkse ETF-data (2018–2025), presteerde de Regime-Aware CP policy significant beter dan stationaire bandit-strategieën en traditionele portfolio-benchmarks (Equal Weight, Mean-Variance).
- Het behaalde het hoogste Totaal Rendement (1,54 vs. 0,62 voor CP-UCB) en de hoogste Sharpe Ratio (1,80 vs. 0,60).
- Het demonstreerde superieur risicobeheer, met de laagste Maximum Drawdown (0,086 vs. 0,259) en de hoogste Calmar Ratio (1,66 vs. 0,27).
- Het regime-bewuste mechanisme slaagde erin om tijdens Bear-marktperiodes over te schakelen naar een "Sell-All" (cash) strategie, waardoor verliezen werden beperkt die stationaire policies niet konden vermijden.

Betekenis en Claims
Het artikel claimt dat Conformal Bandits een robuuste oplossing bieden voor sequentiële besluitvorming in omgevingen die worden gekenmerkt door zwakke arm-scheidbaarheid en complexe, niet-standaard distributies van beloningen. Door model-afhankelijke betrouwbaarheidsgrenzen te vervangen door distributievrije predictie-intervallen, biedt het framework statistische garanties in eindige steekproeven (dekking) zonder de efficiëntie van de regret op te offeren.

De auteurs benadrukken dat deze aanpak bijzonder waardevol is in domeinen zoals de financiële sector en de gezondheidszorg, waar kleine verschillen in verwachte uitkomsten cruciaal zijn en waar klassieke aannames (normaliteit, stationariteit) vaak niet standhouden. De integratie van regime-wisselende modellen demonstreert verder het vermogen van het framework om te adapteren aan structurele breuken, wat de risico-gecorrigeerde rendementen verhoogt terwijl een rigoureuze onzekerheidskwantificatie behouden blijft. Het werk suggereert een pad naar het verenigen van statistische validiteit met besluitvormings-efficiëntie in sequentieel leren.

Technische Samenvatting: Conformal Bandits

Meer zoals dit