The DeepXube Software Package for Solving Pathfinding Problems with Learned Heuristic Functions and Search

Each language version is independently generated for its own context, not a direct translation.

DeepXube: De Slimme Wegwijzer voor Complexe Puzzels

Stel je voor dat je in een enorm, donker labyrint staat. Je wilt naar de uitgang, maar je hebt geen kaart. Je kunt alleen maar gissen: "Als ik linksaf ga, kom ik misschien verder, maar misschien loop ik tegen een muur." Dit is precies het probleem dat DeepXube oplost.

DeepXube is een gratis computerprogramma (een "softwarepakket") dat helpt bij het vinden van de beste route door complexe situaties, of dat nu het oplossen van een Rubik's kubus is, het plannen van een robotbeweging, of het vinden van de juiste chemische reactie om een medicijn te maken.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Leermeester die nooit moe wordt

Stel je voor dat je een student bent die een nieuwe stad moet leren kennen. In het begin weet je niets. Je loopt rond, maakt fouten, en loopt soms in dode hoeken.

Het oude probleem: Mensen moesten zelf regels schrijven voor de computer: "Ga altijd links als je een rode muur ziet." Dit is lastig en werkt niet voor elke situatie.
De DeepXube-oplossing: DeepXube laat de computer zelf leren. Het is alsof je de computer een "leermethode" geeft. De computer probeert duizenden keren een route te vinden. Als hij faalt, kijkt hij terug en denkt: "O, dat was een slecht idee." Als hij slaagt, denkt hij: "Dat was slim!"
De "Heuristiek": Dit is het belangrijkste woord in de tekst. Denk hieraan als aan een intuïtie of een gok. Na veel oefenen ontwikkelt de computer een "gevoel" voor welke kant hij op moet. Hij leert een functie (een soort slimme schatting) die zegt: "Als ik hier sta, is de uitgang waarschijnlijk 10 stappen verder, niet 100."

2. De Superkracht van de "Gymnastiekzaal" (GPU's en CPU's)

Leren duurt lang als je alleen maar met één pen en papier oefent. DeepXube doet het anders.

De CPU's (De Werknemers): Stel je voor dat je 100 werknemers hebt die elk een eigen kaart van het labyrint tekenen. Ze rennen allemaal tegelijkertijd rond om nieuwe routes te testen.
De GPU's (De Supercomputers): Terwijl de werknemers de routes tekenen, is er een supersterke trainer (de grafische kaart) die al die tekeningen in één oogopslag bekijkt en de "intuïtie" van de computer direct verbetert.
Het resultaat: Waar een mens misschien een week nodig heeft om een route te leren, doet DeepXube dit in een paar uur door alles tegelijk te laten gebeuren.

3. De "Terugkijkende" Trainer (Hindsight Experience Replay)

Soms loopt de computer in een doodlopende straat en haalt hij de uitgang niet. In het verleden zou je zeggen: "Dit was een mislukte poging, gooi het weg."
DeepXube is slimmer. Het gebruikt een techniek die Hindsight Experience Replay heet.

De analogie: Stel je voor dat je probeert een bal in een hoek van een kamer te gooien, maar hij landt in het midden. Je faalt.
De DeepXube-methode: De trainer zegt: "Oké, je hebt de bal niet in de hoek gegooid. Maar stel dat je wilde dat de bal in het midden landde? Dan was je poging perfect!"
De computer leert dus ook van zijn mislukkingen door te zeggen: "Oké, ik wilde hierheen, maar ik kwam daar. De volgende keer probeer ik dat doel te bereiken." Hierdoor leert het veel sneller, zelfs als de oorspronkelijke doelen heel moeilijk zijn.

4. De Bouwstenen (Mixins)

Het programma is zo ontworpen dat je het kunt gebruiken voor elk soort probleem, van chemie tot robotica.

De Lego-blokken: In plaats van alles opnieuw te bouwen, biedt DeepXube "mixins" (een soort bouwstenen). Als je een robot wilt programmeren, klik je op de blok "Robot". Als je een chemisch probleem hebt, klik je op "Chemie".
Zwarte doos: Je hoeft niet te weten hoe de binnenkant van de robot of de chemische formule werkt. Je geeft het programma alleen de regels: "Dit is de start, dit is het doel, en dit is wat er gebeurt als ik deze knop indruk." De rest regelt DeepXube zelf.

5. De Visuele Controle (De Dashboard)

Tijdens het leren houdt DeepXube een dashboard bij.

Je kunt zien hoeveel procent van de puzzels er opgelost zijn.
Je ziet hoe snel de computer leert.
Je kunt zelfs kijken hoe de "intuïtie" van de computer verandert: "Kijk, eerst dacht hij dat links goed was, maar na 1000 pogingen weet hij nu dat rechts beter is."

Samenvattend: Wat doet DeepXube voor jou?

DeepXube is als een onvermoeibare, super-snelle leermeester die duizenden simulaties tegelijk uitvoert. Hij leert een computer om slimme gissingen te doen over hoe je van punt A naar punt B komt, zonder dat jij de regels voor elke mogelijke situatie hoeft uit te schrijven.

Of je nu een puzzel wilt oplossen, een robot wilt laten lopen, of een nieuwe chemische stof wilt ontwerpen: DeepXube bouwt de "intuïtie" die nodig is om de beste weg te vinden, en doet dit allemaal automatisch, snel en gratis.

Kortom: Het maakt het vinden van de weg door een donker labyrint een stukje makkelijker door de computer te leren voelen waar het licht is.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem

Padvindingsproblemen (pathfinding) komen voor in diverse domeinen zoals wiskunde, chemie, robotica en informatica. Traditionele oplossingen maken gebruik van handmatig ontworpen algoritmen, patroondatabases of heuristieken die zijn afgeleid van formele domeinrepresentaties. Een beperking van deze methoden is dat ze vaak afhankelijk zijn van vooraf bestaande oplossers of specifieke domeinkennis.

Recente ontwikkelingen tonen aan dat het gebruik van diepe neurale netwerken (DNN's) om heuristische functies te leren, in combinatie met heuristische zoekalgoritmen, superieure resultaten kan behalen. Dit gebeurt echter vaak met gespecialiseerde, niet-gestandaardiseerde implementaties. Er is behoefte aan een geautomatiseerd, open-source framework dat padvindingsproblemen kan oplossen op basis van slechts een "black-box" implementatie van het domein en een DNN-architectuur, zonder dat de gebruiker diepgaande kennis van de onderliggende zoekalgoritmen hoeft te hebben.

2. Methodologie

DeepXube is een Python-pakket en command-line tool dat machine learning (voornamelijk Deep Reinforcement Learning) combineert met geavanceerde zoekalgoritmen. De kernmethodologie omvat:

Domeindefinitie als Black Box: Gebruikers definiëren een padvindingsdomein door essentiële methoden te implementeren (zoals samp_prob_insts voor het genereren van probleeminstanties, next_state voor transities, en is_solved voor doelen). Het framework accepteert willekeurige Python-code, inclusief externe bibliotheken (bijv. RDKit voor chemie).
Heuristische Functies:
- Heuristiek-v: Schat de kosten van een staat tot het doel ( $h(s, g)$ ).
- Heuristiek-q: Schat de kosten van een actie in een staat tot het doel ( $q(s, g, a)$ ).
- Deze functies worden gemodelleerd door DNN's (PyTorch) en getraind via gradient descent.
Zoekalgoritmen: DeepXube implementeert diverse zoekmethoden die zijn geoptimaliseerd voor DNN's en GPU-parallelisme:
- Batch Weighted A (BWAS) en Q Search (BWQS):** Varianten van A* en Q* die gebruikmaken van batch-verwerking en gewogen kosten ( $\lambda$ ) om de zoekdiepte te controleren.
- Beam Search: Een zoekmethode die geen gesloten dictionary bijhoudt, maar een "beam" van de beste $B$ knopen behoudt. Dit kan stochastisch worden gemaakt via een temperatuurparameter ( $\tau$ ) of $\epsilon$ -greedy strategie.
Trainingsparadigma's:
- Reinforcement Learning (RL): Gebruikt Limited-Horizon Bellman-based Learning (LHBL) en Hindsight Experience Replay (HER). Bij HER wordt, als een probleem niet wordt opgelost, een nieuw doel gekozen uit de diepste knoop in de zoekboom om leerervaringen te genereren.
- Supervised Learning: Trainen op de kosten van willekeurige wandelingen (random walks) zonder dat een DNN nodig is om de doelen te berekenen, wat de training versnelt.
Parallelisatie: Het systeem splitst taken op: CPU's genereren probleeminstanties en voeren zoektochten uit, terwijl GPU's de DNN-updates en inferentie parallel verwerken.

3. Belangrijkste Bijdragen

De paper introduceert DeepXube met de volgende specifieke bijdragen:

Geautomatiseerde Workflow: Een volledig geautomatiseerd proces dat van domeindefinitie via datageneratie en training tot het oplossen van problemen reikt, met minimale handmatige ingreep.
Flexibele Architectuur via Mixins: Een robuust meerervoudige-erfgoed (multiple-inheritance) systeem. Gebruikers kunnen "mixins" (zoals ActsEnum voor telbare acties of GoalSampleableFromState voor willekeurige wandelingen) gebruiken om domeinen snel te definiëren en uit te breiden zonder de basislogica te herschrijven.
Efficiënte Parallelisatie: Een unieke architectuur die trainingstaken over meerdere CPU's (voor datageneratie en zoektocht) en GPU's (voor DNN-inferentie en updates) verdeelt, wat de trainingstijd aanzienlijk verkort.
Ondersteuning voor Geavanceerde Doelstellingen: Integratie met Answer Set Programming (ASP) via de GoalGrndAtoms mixin, waarmee doelen kunnen worden gespecificeerd als logische predicaten in plaats van specifieke toestanden. Dit maakt expressieve doelstellingen mogelijk (bijv. "een molecuul met eigenschap X" in plaats van "molecuul Y").
Gebruiksgemak en Visualisatie:
- Een krachtige command-line interface (deepxube) voor het uitvoeren van training, zoeken en visualisatie.
- Integratie met TensorBoard en aangepaste visualisaties voor het monitoren van voortgang (opgelost percentage, zoekiteraties, kosten).
- Ondersteuning voor NumPy-mixins om de snelheid van domeinoperaties te verhogen.

4. Resultaten en Prestaties

Hoewel het paper voornamelijk de software-architectuur en functionaliteit beschrijft, worden de volgende resultaten en validaties benadrukt:

Breed Toepassingsgebied: Het framework is succesvol toegepast op diverse complexe domeinen, waaronder puzzels (Rubik's kubus, schuifpuzzels), chemische reactiemechanismen, kwantumcircuit-synthese en parkeeroptimalisatie.
Schaalbaarheid: Door het gebruik van batch-gebaseerde zoekalgoritmen (BWAS/BWQS) en GPU-parallelisme kan het systeem grote zoekruimtes efficiënt doorzoeken, wat essentieel is voor DNN-gestuurde zoektochten.
Effectiviteit van HER en LHBL: Het gebruik van Hindsight Experience Replay en Limited-Horizon Bellman Learning helpt bij het overwinnen van "depressiegebieden" in de zoekruimte en verbetert de convergentie van de heuristische functies, zelfs bij moeilijke probleeminstanties.
Flexibiliteit: Het systeem ondersteunt zowel discrete als (in beperkte mate) continue actie-ruimtes en kan werken met zowel heuristiek-v als heuristiek-q functies, afhankelijk van de specifieke DNN-architectuur.

5. Betekenis en Impact

DeepXube is significant omdat het de drempel verlaagt voor het toepassen van geavanceerde AI-technieken op padvindingsproblemen.

Democratisering van AI: Onderzoekers en ontwikkelaars hoeven geen expert te zijn in zoekalgoritmen of DNN-architecturen om state-of-the-art oplossingen te bouwen; ze hoeven alleen het domein en het doel te definiëren.
Reproduceerbaarheid: Als open-source pakket (beschikbaar op GitHub) faciliteert het de reproduceerbaarheid van experimenten in het veld van heuristische zoektochten en deep reinforcement learning.
Toekomstgericht: Het framework legt de basis voor toekomstige ontwikkelingen zoals het leren van transitiefuncties (model-based RL) voor domeinen waar geen expliciete overgangsregels bestaan (bijv. robotica), en het gebruik van kunstmatige nieuwsgierigheid voor betere verkenning van de zoekruimte.

Kortom, DeepXube verenigt de kracht van deep learning, versterkt leren en formele zoekmethoden in één geïntegreerd, schaalbaar en gebruiksvriendelijk ecosysteem voor het oplossen van complexe combinatorische problemen.