🤖 machine learning

MPFlow: Learning Budgeted Max-Flow Optimization on the Lightning Network with Deep Graph Reinforcement Learning

Dit artikel introduceert MPFlow, een deep graph reinforcement learning-framework dat de plaatsing van liquiditeit in het Bitcoin Lightning Network optimaliseert door te leren welke kanaalopeningen worden geselecteerd om de routeringscapaciteit onder budgetbeperkingen te maximaliseren, een methode die succesvol in productie is ingezet om meer dan 267 BTC over 30 nodes te beheren.

Oorspronkelijke auteurs: Harrison Rush, Vincent Davis, Simone Antonelli, Vikash Singh, Jesse Shrader, Emanuele Rossi

Gepubliceerd 2026-07-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harrison Rush, Vincent Davis, Simone Antonelli, Vikash Singh, Jesse Shrader, Emanuele Rossi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het Bitcoin Lightning Network voor als een enorme, bruisende stad van onzichtbare pijpen die miljoenen mensen met elkaar verbinden. Deze pijpen vervoeren digitale munten, maar ze hebben een strikte regel: een pijp kan alleen zoveel water vervoeren als de breedte ervan toelaat. Als je probeert een vloedgolf aan munten door een smalle pijp te duwen, raakt het hele systeem verstopt en mislukt de betaling.

Jarenlang hanteerden de mensen die deze pijpen beheren (de "nodes") een simpele, ouderwetse regel voor het beslissen waar ze nieuwe verbindingen zouden maken: "Verbind met de grootste, bekendste buren." Ze keken naar wie de meeste pijpen had (graad) of wie op de meeste kruispunten zat (betweenness) en sloten zich daar simpelweg bij aan. Het was alsof een toerist in een nieuwe stad altijd probeerde de burgemeester een knuffel te geven, denkend dat dat de enige manier is om er rond te komen.

Maar een team van onderzoekers van Amboss Technologies en CISPA stelde een andere vraag: Wat als de burgemeester al te druk is, en het echte geheim om geld te verplaatsen het vinden van de stille, smalle steegjes is die momenteel leeg zijn?

Ze bouwden een nieuw soort digitaal brein genaamd MPFlow. Denk aan MPFlow als een superintelligente stadsplanner die niet alleen kijkt naar wie beroemd is, maar ook daadwerkelijk de doorstroming van water door de pijpen simuleert om te zien waar de knelpunten zitten.

Het Spel: Een Budget van 5 Pijpen

De onderzoekers zetten een spel op. Stel je voor dat je een nieuwe node bent (een nieuw huis in de stad) en een strikt budget hebt: je kunt slechts 5 nieuwe pijpen (kanalen) openen. Elke pijp kost 0,20 BTC (ongeveer een specifiek deel van een bedrag). Je doel is niet alleen om populair te zijn; je doel is om te maximaliseren hoeveel geld er van jouw huis naar elk ander huis in de stad kan stromen.

Ze maakten hiervan een videogame voor een AI-agent.

Het Niveau: Een momentopname van het echte Lightning Network, een gigantische kaart met duizenden nodes.
De Zet: De AI kiest één buur om mee te verbinden.
De Score: Na elke verbinding berekent de AI de "Max-Flow". Dit is een wiskundig concept dat de absolute maximale hoeveelheid water meet die van punt A naar punt B kan stromen zonder over de randen te lekken. De AI krijgt een punt voor elke extra druppel water die het vrijmaakt.

Het Geheime Ingrediënt: De Beroemde Negeren

Hier deden de onderzoekers iets slims. Ze wisten dat als ze de AI de "super-hubs" (de enorme, beroemde nodes) zouden laten zien tijdens de training, de AI gewoon de oude regel zou kopiëren: "Verbind met de grootste jongen." Dus speelden ze een trucje met de AI.

Ze trainden de agent op kaarten waar de top 50 grootste hubs volledig waren gewist. De AI moest leren hoe het geld verplaatst zonder te vertround op de beroemde buren. Het werd gedwongen om de verborgen, efficiënte paden te vinden die de oude "verbind met de beroemde" regel miste. Dit wordt een "hub-exclusion curriculum" genoemd.

Wanneer ze de AI uiteindelijk testten op de volledige, echte kaart (met alle hubs weer terug), negeerde de AI de hubs niet alleen; het leerde de hubs te vermijden wanneer ze niet nuttig waren. De AI realiseerde zich dat het koppelen aan een enorme, drukke hub vaak een verkeersopstopping veroorzaakt, terwijl het verbinden met een middelgrote, onderbenutte node een hele nieuwe snelweg opent.

De Resultaten: De Oude Regels Verslaan

De onderzoekers draaiden dit spel 1.000 keer op een enorme sectie van 5.000 nodes uit het netwerk. Dit is wat er gebeurde:

De Oude Manier (Betweenness): De standaard industriemethode, die simpelweg verbindt met de meest centrale nodes, wist de doorstroom met ongeveer 0,163 BTC te vergroten.
De Nieuwe Manier (MPFlow): De AI, die gebruikmaakte van de "negeer de beroemde" training, vergrootte de doorstroom met 0,168 BTC.

Dat klinkt misschien als een klein verschil, maar in de wereld van razendsnel geld is het enorm. De AI versloeg de oude methode in 62,3% van de spellen. Belangrijker nog: het was geen geluk; het vond consistent betere paden.

Het papier laat zien dat de AI niet zomaar gokte. Het koos daadwerkelijk andere buren dan de oude methode. Terwijl de oude methode de top 50 hubs 52% van de tijd koos, koos de AI ze slechts 17% van de tijd. In plaats daarvan koos het nodes die veel lager gerangschikt waren in populariteit (rond rang 312 van de 5.000), wat bewees dat het op zoek was naar capaciteit, niet naar roem.

Bewijs uit de Praktijk

Dit is niet alleen een simulatie in een laboratorium. Het artikel meldt dat deze exacte AI-agent in de echte wereld is ingezet op het Amboss-platform. Het heeft al 4.640 beslissingen genomen om kanalen te openen voor echte gebruikers. In totaal heeft het geholpen bij het alloceren van 267,3 BTC (wat destijds meer dan $16 miljoen waard was) over 30 beheerde nodes.

Wat Dit Betekent (En Wat Het Niet Betekent)

Het artikel suggereert dat voor het beheren van geld op het Lightning Network, slimme, op data gebaseerde beslissingen beter zijn dan eenvoudige populariteitswedstrijden. Door een AI te trainen om naar knelpunten te kijken in plaats van alleen naar grote namen, kun je meer geld verplaatsen met hetzelfde bedrag aan cash.

De auteurs zijn echter voorzichtig met een paar opmerkingen:

Ze maten het potentieel om geld te verplaatsen (max-flow), niet noodzakelijkerwijs elke individuele succesvolle betaling in de echte wereld, omdat echte betalingen afhangen van verborgen factoren zoals hoeveel geld er op elk gegeven moment daadwerkelijk in elke pijp zit.
Ze gebruikten een vast budget van 5 acties per node. Ze beweren niet dat dit het perfecte aantal is voor elke situatie, maar wel dat het het beste werkte voor hun training.
De AI is goed in het vinden van de structuur voor doorstroming, maar voorspelt nog niet de exacte economische winst uit transactiekosten, hoewel dat de volgende stap is.

Kortom, het paper bewijst dat een lichtgewicht AI, getraind om de "coole kinderen" te negeren en te focussen op de lege pijpen, een betere geldsnelweg kan bouwen dan de oude vuistregels. Het is een overwinning voor de stille, efficiënte paden boven de drukke, beroemde routes.

Technische Samenvatting: MPFlow

Probleemformulering

Het artikel behandelt het liquiditeitsplaatsingsprobleem binnen het Bitcoin Lightning Network (LN). Gegeven een vast budget om $k$ betalingskanalen te openen of aan te vullen, is het doel om te bepalen met welke peers een node verbinding moet maken om de routeringscapaciteit te maximaliseren.

De auteurs formuleren dit als een budgetbeperkt combinatorisch optimalisatieprobleem op een graaf. In tegenstelling tot bestaande industriële praktijken die vertrouwen op statische graafheuristieken (bijv. graad of betweenness centrality), die gerichte balansen en budgettaire interventies negeren, streeft dit werk ernaar om $k$ randtoevoegingen te selecteren die de $s$ – $t$ max-flow op de geobserveerde capaciteitsgraaf maximaliseren. De max-flow metriek is gekozen als een theoretisch onderbouwde proxy voor routeringscapaciteit, aangezien deze het volume van leverbare betalingen begrenst en computationeel efficiënt opnieuw te berekenen is (via push-relabel algoritmen) tijdens de training.

Het probleem wordt gemodelleerd als een eindige-horizon Markov Beslissingsproces (MDP):

Toestand ( $S_t$ ): Codeert de huidige graaftopologie, inclusief node-kenmerken (centraliteitsmetrieken) en edge-kenmerken (fees, capaciteiten).
Actie ( $A_t$ ): Het selecteren van een node om een kanaal mee te openen (of een bestaand kanaal aan te vullen).
Beloning ( $R_t$ ): De marginale verbetering in absolute max-flow ( $r_t = F_t - F_{t-1}$ ), waarbij $F_t$ de som is van de max-flows van een bron naar een set doel-nodes.

Methodologie: MPFlow

De voorgestelde oplossing, MPFlow, combineert een Message-Passing Neural Network (MPNN) met Proximal Policy Optimization (PPO) en action masking.

1. Agent Architectuur

Message-Passing Ruggegraat: De agent maakt gebruik van een permutatie-invariante MPNN. In tegenstelling tot standaard MPNN's die mean of sum aggregatie gebruiken, gebruikt MPFlow een max-aggregatie operator.
- Rationale: Max-aggregatie legt de nadruk op de meest beperkende buur, wat het detecteren van bottlenecks nabootst. Dit stelt de policy in staat zich te concentreren op lokaal bindende capaciteitsbeperkingen in plaats van diffuse gemiddelden.
- Input Kenmerken: Node-kenmerken bevatten PageRank, capaciteitsratio, genormaliseerde graad en lokale clusteringcoëfficiënt. Edge-kenmerken bevatten base fee, fee rate en capaciteit (log-getransformeerd).
Actor-Critic Heads:
- Actor: Brengt node-embeddings in kaart naar logits, waarbij een softmax over zichtbare nodes wordt toegepast om een stochastische policy te genereren.
- Critic: Gebruikt globale max pooling over node-embeddings voor een lineaire laag om de state-waarde te schatten. Dit richt de waarde-inschatting op de meest kritieke graafsubstructuren (bottlenecks) in plaats van op een gemiddelde van alle nodes.
Action Masking: Een binaire maskering zorgt ervoor dat de agent alleen operationeel haalbare acties selecteert (uitsluitend zelf-edges, gedisconnecteerde nodes of reeds bezochte peers), waardoor de exploratie binnen de inzetbare controle-oppervlakte blijft.

2. Trainingsprotocol

Optimizer: De agent wordt getraind met PPO (Proximal Policy Optimization), gekozen vanwege de stabiliteit en sample-efficiëntie vergeleken met A2C of DDPG in voorlopige experimenten.
Hub-Exclusie Curriculum: Een cruciaal onderdeel van de trainingsstrategie. De agent wordt getraind op subgrafen waarbij de top-50 hoogste-graad nodes (hubs) zijn verwijderd.
- Doel: Dit voorkomt dat de policy een degeneratieve strategie leert om simpelweg aan de grootste hubs te koppelen (wat centraliteitsheuristieken al doen). Het dwingt de policy om een capaciteitsbewuste plaatsing en bottleneck-verlichting te leren die geldig blijft, zelfs wanneer hubs aanwezig zijn tijdens de evaluatie.
Budget: De agent voert $k=5$ acties uit per episode, waarbij elke actie een kanaalopening van een vaste grootte (0,20 BTC) vertegenwoordigt.

Belangrijkste Bijdragen

Optimalisatie-gealigneerde RL Formulering: Het artikel presenteert de liquiditeitsplaatsing als een graaf-beslissingsproces waarbij de beloning wordt gedefinieerd door de marginale verbetering in max-flow, waardoor het leerdoel direct wordt afgestemd op de structurele routeringscapaciteit.
Eenvoudige, Inzetbare Policy: De introductie van een compacte MPNN–PPO agent met max-aggregatie en action masking, specifiek ontworpen voor de heavy-tailed, heterogene aard van het Lightning Network.
Hub-Exclusie Curriculum: De demonstratie dat training op subgrafen die de top-hubs uitsluiten, de policy dwingt om bottleneck-bewuste structuren te leren, wat resulteert in een policy die liquiditeit grotendeels onafhankelijk van top-hubs toewijst en beter presteert dan varianten waarbij hubs zichtbaar waren.
Empirische Validatie op Real-Topology: Uitgebreide evaluatie op echte Lightning Network snapshots (mei, juli, oktober 2025) die consistente verbeteringen laat zien ten opzichte van sterke heuristische baselines.
Praktische Implementatie: De aanpak is reeds in productie ingezet om peer-aanbevelingen te informeren.

Experimentele Resultaten

Experimenten werden uitgevoerd op 5.000-node subgrafen afgeleid van echte LN-snapshots, met 1.000 gepaarde episodes voor evaluatie.

Prestaties vs. Baselines: MPFlow behaalde een absolute max-flow winst van 0,168 ± 0,003 BTC, wat aanzienlijk beter is dan de sterkste heuristische baseline, Betweenness Centrality (0,163 ± 0,003 BTC).
- Gepaard Uplift: MPFlow vertoonde een statistisch significante gepaarde uplift van +8,59% ten opzichte van Betweenness.
- Win Rate: MPFlow won 62,3% van de gepaarde episodes tegen Betweenness.
Ablatie Studies:
- Graafschaal: MPFlow presteert gelijkwaardig aan of beter dan Betweenness over verschillende graafgroottes (1k tot 5k nodes).
- Hub Verwijdering: Naarmate de top-hubs uit de evaluatiegraaf werden verwijderd, werd het voordeel van MPFlow ten opzichte van Betweenness groter (tot +8,89% relatieve verbetering bij het verwijderen van 25 hubs), wat bevestigt dat de policy vertrouwt op bottleneck-verlichting in plaats van het najagen van hubs.
- Actie Distributie: MPFlow reserveerde slechts 17% van zijn acties voor de top-50 hubs (mediaan rang 312), terwijl Betweenness 52% toewezag (mediaan rang 43) en een GCN-baseline 56% (mediaan rang 9).
Cross-Snapshot Generalisatie: Wanneer getraind op één snapshot en getest op een latere snapshot (bijv. mei $\to$ juli), toonde MPFlow robuuste generalisatie, met relatieve verbeteringen van +90,6% en +99,5% over een Random baseline, waarbij het alle andere geleerde en heuristische policies versloeg.

Betekenis en Claims

Het artikel claimt dat MPFlow een praktisch, direct voordeel biedt voor Lightning Network-operators door de heersende industriële heuristiek (Betweenness Centrality) te overtreffen zonder complexe betalingssporen of zware modellen te vereisen.

Productie-impact: De lichtgewicht agent is al in productie ingezet op het Amboss-platform. Het heeft 4.640 kanaalopenings-beslissingen uitgevoerd, waarbij cumulatief 267,3 BTC (meer dan $16 miljoen) is toegewezen over 30 beheerde nodes.
Theoretisch Inzicht: De resultaten suggereren dat een eenvoudige MPNN met max-aggregatie, end-to-end getraind met PPO, betrouwbaar beter kan presteren dan alleen op topologie gebaseerde heuristieken door te leren structurele bottlenecks te identificeren en te verlichten, in plaats van simpelweg aan hoog-graad nodes te koppelen.
Beperkingen: De auteurs erkennen dat het doel structureel is (max-flow vormt een bovengrens voor succes, maar bepaalt dit niet) en dat de huidige opzet een uniforme balans-sampler en een vast budget gebruikt. Toekomstig werk richt zich op het kwantificeren van de overdracht naar gerealiseerd betalingssucces met behulp van simulators met vraagmatrices en fee-bewuste routing.