Technische Samenvatting: Een Cognitief Raamwerk voor Autonome Agenten

Probleemstelling

Autonome systemen, in het bijzonder multi-agent-systemen die worden gebruikt voor detectie en exploratie, worden geconfronteerd met aanzienlijke uitdagingen bij het efficiënt voltooien van taken binnen complexe, gedeeltelijk observeerbare en onzekere omgevingen. Terwijl traditionele technische oplossingen zwaar leunen op instrumenteel leren (leren van acties op basis van consequenties om beloningen te maximaliseren), negeren zij vaak Pavloviaans leren (het associëren van omgevingssignalen met uitkomsten voordat de uitkomst plaatsvindt). In de menselijke cognitie bestaan en interageren deze twee systemen; Pavloviaanse associaties stellen organismen in staat om voorspellende signalen te gebruiken om gedrag reflexief te sturen, wat de adaptatie versnelt. Huidige ontwerpen voor autonome agenten verwaarlozen dit duale-systeemmechanisme grotendeels, wat leidt tot tragere convergentie en minder efficiënte exploratie in onbekende omgevingen, vooral wanneer zij uitsluitend vertrouwen op model-vrije of standaard model-gebaseerde Reinforcement Learning (RL).

Methodologie

De auteurs stellen een mens-geïnspireerde RL-architectuur voor die Pavloviaanse en instrumentele processen integreert, waarbij specifiek gebruik wordt gemaakt van Radiofrequente (RF) stimuli als geconditioneerde signalen. Het raamwerk is gestructureerd rond de volgende componenten:

1. Duaal-Systeem Architectuur:

   • Pavloviaans-Instrumenteel (P-I) Model-Vrij Subsysteem: Bootst de amygdala en de ventrale striatum na. Het leert associaties tussen omgevingssignalen (bijv. RF-signalen die "poorten" of "GPS-loze" zones aangeven) en uitkomsten. Dit genereert snelle, reflexieve biases (benadering of vermijding) die de actie-selectie moduleren voordat de uitkomst gerealiseerd is.
   • Instrumenteel Model-Vrij Subsysteem: Maakt gebruik van standaard Q-learning of SARSA om actiewaarde-functies te leren op basis van trial-and-error ervaringen, vergelijkbaar met gewoontegedrag bij mensen.
   • Instrumenteel Model-Gebaseerd Subselsysteem: Gebruikt een Dyna-Q benadering om een intern model van omgevingsdynamiek (transitie-waarschijnlijkheden en beloningen) te leren. Dit maakt voorwaartse planning en simulatie mogelijk om langetermijndoelen te optimaliseren.

2. Arbitratiemechanisme:

   • Een meta-controller weegt dynamisch de bijdragen van de model-vrije en model-gebaseerde systemen.
   • Betrouwbaarheid wordt gekwantificeerd met behulp van voorspellingsfouten: Reward Prediction Errors (RPE) voor model-vrij leren en State Prediction Errors (SPE) voor model-gebaseerd leren.
   • Het systeem verschuift de controle naar de model-gebaseerde planner wanneer het interne model accuraat is, en naar het robuuste model-vrije systeem wanneer de onzekerheid hoog is.

3. Policy Design:

   • Actie-selectie maakt gebruik van een softmax policy die de instrumentele actiewaarden combineert met een Pavloviaanse bias-term.
   • De Pavloviaanse term is staat-afhankelijk en actie-afhankelijk, waardoor een "risico-belonings potentiaalveld" ontstaat dat agenten naar informatieve gebieden leidt (bijv. Line-of-Sight corridors) en weg van gevarenzones (bijv. GPS-loze gebieden), zonder dat daarvoor expliciete beloningsmaximalisatie voor elke stap vereist is.

4. Experimentele Opstelling:

   • Scenario: Een team van vier autonome agenten (UAV's) navigeert door een $24 \times 36$ raster om een doelwit met een specifieke Position Error Bound (PEB) te lokaliseren.
   • Omgeving: Bevat obstakels, GPS-loze gebieden (negatieve signalen) en "poorten" (positieve signalen) die Line-of-Sight (LOS) naar het doelwit bieden.
   • Sensing: Agenten gebruiken Received Signal Strength (RSS) voor lokalisatie en vertrouwen op RF-signalen om omgevingskenmerken te identificeren.
   • Training: Agenten werden getraind over 2.400 episodes met behulp van off-policy Q-learning en een Pavloviaanse criticus, waarbij leercurves en temperatuurparameters in de loop van de tijd afnemen.

Belangrijkste Bijdragen

• Integratie van Pavloviaanse-Instrumentale Transfer (PIT): Het artikel vertaalt het neurowetenschappelijke concept van PIT naar een digitaal agent-raamwerk, en demonstreert hoe RF-signalen als geconditioneerde stimuli kunnen fungeren om instrumentele besluitvorming te sturen.
• Hybride Leerraamwerk: Het stelt een nieuwe architectuur voor die model-vrij (gewoonte-matig), model-gebaseerd (planning) en Pavloviaans (reflexief) leren verenigt, gereguleerd door een arbitratiemechanisme gebaseerd op voorspellingsfouten.
• RF als Cognitieve Signalen: Het werk identificeert en benut specifiek radiofrequente kenmerken (LOS vs. NLOS, beschikbaarheid van GPS) als voorspellende signalen, wat voordelen biedt boven visuele signalen die in situaties met slecht zicht onbetrouwbaar kunnen zijn.
• Mapping van Menselijke-Digitale Cognitie: De auteurs bieden een gedetailleerde "woordenlijst" (Tabel II) en een functionele vergelijking (Tabel III) die menselijke neurale systemen (bijv. amygdala, prefrontale cortex) koppelen aan digitale agent-modules, wat een fundamenteel kader schept voor mens-geïnspireerd ontwerp.

Resultaten

Simulatie-resultaten, gemiddeld over 60 Monte Carlo-runs, demonstreren de effectiviteit van het voorgestelde raamwerk:

• Versnelde Convergentie: De Instrumental-Pavlovian met Model-based agent bereikte competente policies aanzienlijk sneller dan agenten die enkel instrumenteel leren gebruiken. De door signalen gestuurde aanpak verminderde het aantal stappen dat per episode nodig was om de missie te voltooien.
• Verminderde Variantie: De hybride aanpak vertoonde een lagere variantie in prestaties over verschillende trials vergeleken met de instrumental-only baseline, wat wijst op stabieler leren.
• Geoptimaliseerde Trajecten:
  • Instrumental-only agenten vertrouwden op ongeïnformeerde trial-and-error, volgden vaak langere, inefficiënte paden en betraden soms GPS-loze zones.
  • Pavloviaans-beïnvloede agenten ontwikkelden directe trajecten die veilige marges rond GPS-loze gebieden handhaafden en effectief gebruik maakten van LOS-corridors.
• Evolutie van de Waarde-functie: De Pavloviaanse waarde-functies evolueerden van willekeurige distributies naar duidelijke "risico-belonings potentiaalvelden" tegen episode 400, met lokale maxima rond poorten en minima in GPS-loze regio's, wat de zoekruimte voor de instrumentele leerder effectief inkrimpt.

Betekenis en Claims

Het artikel beweert dat de integratie van menselijke leerprincipes, specifiek de interactie tussen Pavloviaanse en instrumentele systemen, de intelligentie van digitale agenten kan hervormen. De primaire betekenis ligt in het aantonen dat:

1. Signaalgestuurd leren de exploratie in complexe, gedeeltelijk observeerbare omgevingen effectief versnelt door onmiddellijke motivationele signalen te bieden.
2. Een hybride aanpak (het samenvoegen van model-gebaseerde en model-vrije processen met een Pavloviaanse bias) beter presteert dan traditionele instrumental-solo agenten in zowel snelheid van adaptatie als de uiteindelijke kwaliteit van de policy.
3. Radiofrequente signalen dienen als een levensvatbaar en robuust mechanisme voor voorspellende signalering bij autonome navigatie, wat voordelen biedt ten opzien van visuele signalen in specifieke condities.

De auteurs positioneren dit werk als een stap naar meer biologisch plausibele en efficiënte autonome systemen, waarbij zij suggereren dat toekomstig onderzoek deze principes kan uitbreiden naar collectief leren, geavanceerde arbitratiestrategieën en de extractie van signalen uit semantische radiokaarten.