Online Structure Learning and Planning for Autonomous Robot Navigation using Active Inference

Technische Samenvatting: Online Structuurleren en Planning voor Autonome Robotnavigatie via Active Inference

Probleemstelling

Autonome mobiele robots die opereren in onbekende omgevingen worden geconfronteerd met de uitdaging om gelijktijdig te lokaliseren, te mappen en te plannen zonder afhankelijkheid van vooraf gedefinieerde kaarten, uitgebreide offline training of menselijk toezicht. Bestaande benaderingen lijden vaak aan specifieke afruiloverwegingen (trade-offs):

• Metrische SLAM-systemen (bijv. ORB-SLAM3, FAST-LIO2) bieden nauwkeurige pose-schattingen, maar zijn gevoelig voor drift in grote of ongestructureerde omgevingen en missen intrinsieke exploratiebeleid.
• Padplanners brengen vaak hoge computationele kosten met zich mee of vertrouwen op hebzuchtige heuristieken (bijv. frontier-gebaseerde exploratie) die leiden tot redundante backtracking.
• Leergebaseerde benaderingen (bijv. Neural-SLAM, ViKiNG, NoMaD) verbeteren de flexibiliteit, maar vereisen doorgaans uitgebreide offline dataverzameling, pre-training of teleoperatieve demonstraties in de doelomgeving, wat de aanpasbaarheid aan werkelijk nieuwe settings beperkt.

De kernuitdaging die wordt aangepakt, is het creëren van een verenigd systeem dat online structuurleren en planning uitvoert op een volledig zelfgesuperviseerde wijze, veerkrachtig tegen sensorruis, odometrische drift en omgevingsveranderingen, zonder dat daarvoor pre-training of handmatig ontworpen priors nodig zijn.

Methodologie: AIMAPP-framework

De auteurs stellen AIMAPP (Active Inference MAPping and Planning) voor, een framework dat mapping, lokalisatie en besluitvorming verenigt binnen één generatief model gebaseerd op het Active Inference Framework (AIF).

1. Staat-representatie en Cognitieve Mapping

AIMAPP onderhoudt een sparse topologische kaart waarbij de latente staat is gedecomposed in twee componenten:

• $s_t$ (Discrete Staat): Een topologische index die een distinct knooppunt in de graaf vertegenwoordigt (een "plaats").
• $p_t$ (Continue Metrische Positie): Lokale 2D metrische coördinaten die worden gebruikt voor ruimtelijke redenering.
  Deze decompositie weerspiegelt biologische navigatiesystemen (het scheiden van de identiteit van place-cells van de padintegratie van grid-cells). De kaart groeit adaptief; nieuwe knooppunten worden aangemaakt wanneer bewegingsvoorspellingen de "invloedsradius" van bestaande staten overschrijden, bepaald door free-energy vergelijkingen. Observaties worden opgeslagen als 360°-panoramafoto's (of abstracte sensordata) gekoppeld aan de knooppunten.

2. Generatief Model en Inferentie

Het systeem werkt als een Partially Observable Markov Decision Process (POMDP). Het generatieve model bevat:

• Staat-transities ($B_s$): De waarschijnlijkheid van beweging tussen topologische staten.
• Positie-transities ($B_p$): De waarschijnlijkheid van beweging tussen metrische posities.
• Observatie-waarschijnlijkheden ($A_o$): De waarschijnlijkheid van het observeren van een specifiek panorama bij een bepaalde staat.
• Positie-waarschijnlijkheden ($A_p$): De waarschijnlijkheid van het bezetten van een metrische positie bij een bepaalde staat.

Lokalisatie is belief-driven. De agent extrapoleert zijn huidige staat door de Variational Free Energy (VFE) te minimaliseren, waarbij voorspelde beweging wordt gecombineerd met sensorische bewijsvoering. Dit stelt het systeem in staat om robuust te zijn tegen odometrische drift; als er drift optreedt, geeft de agent prioriteit aan consistentie tussen voorspelde en geobserveerde uitkomsten, waarbij hij her-lokaliseert door op zoek te gaan naar vertrouwde observaties in plaats van enkel te vertrouwen op ruwe odometrie.

3. Planning en Besluitvorming

Actie-selectie wordt gedreven door de minimalisatie van Expected Free Energy (EFE) ($G$). In tegenstelling tot traditionele reinforcement learning, waar exploratie en exploitatie aparte doelstellingen zijn, leidt AIMAPP beide af uit dezelfde EFE-term:

• Epistemische Waarde (Exploratie): Verwachte informatiewinst om onzekerheid over de omgeving (staten en parameters) te verminderen.
• Pragmatische Waarde (Exploitatie): Verwachte afstemming met voorkeursobservaties (bijv. een doel bereiken of botsingen vermijden).

Kandidaat-policies worden geëvalueerd met behulp van Monte Carlo Tree Search (MCTS) om de combinatorische complexiteit van de actieruimtes te beheersen. De EFE voor een policy $\pi$ is gedecomposed in termen die informatiewinst op staten/parameters, verwachte botsingsvermijding en utility-termen voor observaties, posities en staten vertegenwoordigen.

4. Online Learning en Kaartexpansie

Het systeem werkt zijn interne parameters continu bij. Kaartexpansie wordt getriggerd wanneer een "geëxpandeerd model" (dat een nieuwe staat bevat) een lagere free energy ($\Delta F < 0$) oplevert vergeleken met het huidige model. Transitiemodellen ($B_s$) en observatie-waarschijnlijkheden ($A_o$) worden bijgewerkt met behulp van Dirichlet pseudo-counts gebaseerd op ervaren versus voorspelde transities, waardoor de agent zijn wereldmodel kan verfijnen vanuit sensorimotorische feedback zonder pre-training.

Belangrijkste Bijdragen

1. Verenigd Active Inference Framework: AIMAPP integreert mapping, lokalisatie en planning in één enkel generatief model, waardoor de noodzaak voor aparte modules of handmatig afgestemde trade-offs tussen exploratie en doelbereiking vervalt.
2. Volledig Zelf-gesuperviseerd Online Leren: De agent bouwt en verfijnt zijn topologische kaart vanaf de eerste interactie zonder pre-training, offline dataverzameling of teleoperatieve demonstraties.
3. Robuustheid tegen Drift en Ruis: Door prioriteit te geven aan belief-consistentie boven ruwe odometrie, kan het systeem sensorische drift tolereren en opereert het effectief in omgevingen met perceptuele aliasing en matige veranderingen.
4. Modulariteit en Agnosticisme: De architectuur is sensor-agnostisch (ondersteunt RGB, diepte, LiDAR) en platform-agnostisch (ROS-compatibel), waarbij de cognitieve laag wordt gescheiden van perceptie en bewegingsbesturing.
5. Schaalbare Evaluatie: Het systeem wordt geëvalueerd in omgevingen tot 325 m² (reëel en gesimuleerd), een schaal die voorheen onbereikbaar was voor Active Inference navigatiesystemen.

Experimentele Resultaten

De auteurs hebben AIMAPP geëvalueerd tegen state-of-the-art baselines (Frontier-gebaseerd, GBPlanner, FAEL) en menselijke teleoperatie in vier gesimuleerde en drie real-world omgevingen.

• Exploratie-efficiëntie: In gesimuleerde omgevingen bereikte AIMAPP een coverage-efficiëntie die vergelijkbaar is met of hoger is dan state-of-the-art methoden (FAEL, GBPlanner). Specifiek bereikte het gemiddeld 90,3% van de coverage-efficiëntie van menselijke teleoperatie. In real-world trials presteerde AIMAPP consequent beter dan frontier-gebaseerde exploratie wat betreft snelheid van dekking en succespercentage.
• Robuustheid: AIMAPP opereerde succesvol in condities waarin odometrie-gebaseerde baselines (zoals Frontiers met Nav2) faalden, zoals zanderige parkeerplaatsen en tapijtvloeren met significante drift. Het toonde veerkracht tegen verplaatste obstakels in simulatie en sensorruis in real-world settings.
• Doelgerichtheid: Het systeem bereikte doel-bereikingsprestaties binnen 74% van de menselijke teleoperatieve prestaties over alle geteste omgevingen zonder taakspecifieke her-tuning.
• Succespercentages: AIMAPP behaalde een succespercentage van 79% in het verkrijgen van vijf succesvolle exploratie-trials per omgeving, waarmee het Frontiers (52%) en FAEL (48%) overtrof, hoewel het iets onder GBPlanner (87%) bleef. Falen werd primair toegeschreven aan onherstelbare kaart-overlaps door ernstige drift in grote onverkende gebieden of fysieke botsingen met niet-gedetecteerde obstakels.

Betekenis en Claims

Het artikel claimt dat AIMAPP aantoont dat Active Inference, oorspronkelijk een theorie uit de computationele neurowetenschap, succesvol kan worden aangepast tot een modulaire, robuuste navigatiestrategie voor echte robots. De betekenis ligt in het behandelen van navigatie als hypothesetesten: voorspellingen over toekomstige staten worden gegenereerd, geëvalueerd door actie, en herzien op basis van "verrassing" (voorspellingsfout).

De auteurs benadrukken dat AIMAPP een modulaire, zelf-gesuperviseerde oplossing biedt voor schaalbare navigatie in ongestructureerde settings. Door exploratie en doelbereiking te verenigen binnen één enkele doelstelling (minimalisatie van Expected Free Energy), vermijdt het systeem de noodzaak voor taakspecifieke afstemming of vooraf bestaande kennis van de omgeving. Dit werk vormt een stap richting autonome agenten die de structuur van hun omgeving kunnen ontdekken vanaf de eerste interactie, en effectief kunnen opereren in dynamische, ongestructureerde en onbekende ruimtes waar traditionele metrische mapping of getrainde leer-modellen moeite mee hebben.