Memory Is Communication: The Frontier Between Remembering and Signaling

In de wereld van intelligente systemen, zowel biologisch als kunstmatig, bestaat er een constante spanning tussen wat een entiteit onthoudt en wat het aan anderen moet vragen. Stel je een team ontdekkingsreizigers voor die een donker bos proberen te navigeren. Elke ontdekkingsreiziger heeft een beperkte capaciteit om een kaart in zijn hoofd te dragen, en een beperkt vermogen om instructies naar zijn teamgenoten te roepen. Als een ontdekkingsreiziger het pad dat hij net heeft afgelegd onthoudt, heeft hij wellicht geen richting nodig te vragen. Omgekeeld, als een teamgenoot een duidelijke waarschuwing roept, hoeft de eerste ontdekkingsreiziger misschien minder te onthouden. Deze afweging vormt de kern van een nieuwe onderzoekslijn die verkent hoe agenten — of het nu computerprogramma's of robots zijn — de last van kennis delen. De vraag gaat niet alleen over hoeveel informatie kan worden opgeslagen of verzonden, maar over hoe de kosten worden verdeeld tussen het bijhouden van een geschiedenis van het verleden en het signaleren van het heden. Wanneer middelen schaars zijn, is de meest efficiënte strategie niet voor de hand liggend, en het vinden van de perfecte balans zou ons kunnen helpen bij het bouwen van slimmere, meer coöperatieve machines.

Onderzoekers aan de Universiteit van Alberta en het Network for Applied Technology zijn begonnen met het in kaart brengen van deze balans, waarbij ze een concept voorstellen dat ze de "herinnerings–signaleringsfrontlijn" noemen. Deze frontlijn vertegenwoordigt de meest efficiënte manier om geheugen en communicatie te combineren om een taak op te lossen. Als een agent meer geheugen gebruikt om gebeurtenissen uit het verleden te herinneren, kan hij zich het versturen van minder berichten veroorloven. Als hij minder op geheugen vertrouwt, moet hij meer berichten sturen om hetzelfde resultaat te bereiken. De onderzoekers hypothetiseren dat als een agent veel nuttige informatie uit zijn eigen geschiedenis kan extraheren, hij aanzienlijk minder hulp van zijn tijdgenoten zal nodig hebben. Om dit te testen, zetten ze een reeks experimenten op waarbij digitale agenten een spel van aanwijzen en raden speelden, waarbij ze probeerden een specifiek object te identificeren tussen vele opties, terwijl ze de hoeveelheid data die ze konden opslaan of verzenden strikt beperkten.

De experimenten vonden plaats in een vereenvoudigde versie van een signaleringsspel. In elke ronde keek een "zender"-agent naar vier vormen op een scherm, elk met een unieke combinatie van kleur, grootte en vorm. Een van deze vormen was het doelwit. De zender moest dit doelwit communiceren naar een "ontvanger"-agent met behulp van een zeer korte code bestaande uit symbolen zoals A, B of C. De ontvanger moest vervolgens de juiste vorm raden. Het addertje onder het gras was dat de agenten slechts een beperkt aantal symbolen konden verzenden, en dat ze moesten vertrouwen op een privé-notitieblok om hun eerdere interacties te onthouden. De onderzoekers wilden zien hoe de agenten hun strategie aanpasten wanneer het doelwit voorspelbaarder werd. In één scenario herhaalde het doelwit vaak dezelfde vorm van de vorige ronde. In een ander scenario volgden de doelwitten een verborgen, roterende cyclus die de agenten niet konden zien, maar die zich in de loop van de tijd herhaalde.

De resultaten onthulden een fascinerend verschil in hoe de agenten deze twee soorten voorspelbaarheid aanpakten. Wanneer het doelwit simpelweg de vorige herhaalde, bereikten de agenten succes met minder symbolen naarmate de waarschijnlijkheid van herhaling toenam. Bij het hoogste niveau van herhaling konden ze het doelwit bijna altijd identificeren met slechts één enkel symbool. Omdat de agenten hun privé-notitieblokken behielden en hun geleerde symboolkoppelingen gedurende de runs behielden, isoleerden deze resultaten niet specifiek de bijdrage van de geschiedenis alleen. Echter, de situatie veranderde drastisch wanneer de doelwitten de verborgen roterende cyclus volgden. Ondanks dat het patroon in theorie volkomen regelmatig en voorspelbaar was, verkortten de agenten hun berichten niet naarmate de rotatie consistenter werd; sterker nog, ze moesten langere berichten sturen om succesvol te zijn. De interpretatie is beperkt omdat de doelwitprocessen verschilden in regelcomplexiteit en in het aantal verschillende doelwitten die werden aangetroffen, in plaats van enkel door een onvermogen om geheugen te gebruiken.

Dit contrast suggereert dat niet alle geschiedenis gelijk is. De onderzoekers ontdekten dat het vermogen om communicatiekosten te verlagen sterk afhangt van de aard van de opgeslagen informatie. Wanneer het verleden het heden op een eenvoudige manier direct voorspelt, fungeert geheugen als een krachtig substituut voor communicatie. Maar wanneer het patroon complex of verborgen is, vertaalt het simpelweg onthouden van het verleden zich niet automatisch in kortere berichten. Het team vermoedt dat de agenten er niet in slaagden de roterende patronen te comprimeren tot een bruikbaar geheugenformaat, waardoor ze meer afhankelijk waren van het verzenden van verse informatie. Deze vroege bevindingen, afkomstig van simulaties met grote taalmodellen, zijn nog geen definitief bewijs. De onderzoekers erkennen dat hun initiële tests beperkt werden door de specifieke gebruikte modellen en de korte duur van de spellen.

Om voorbij deze voorlopige aanwijzingen te gaan, ontwerpt het team striktere tests. Ze zijn van plan om eenvoudigere, wiskundig oplosbare taken te gebruiken waarbij het perfecte antwoord bekend is, zodat ze kunnen vergelijken wat de lerende agenten bereiken tegenover het theoretische optimum. Ze zijn ook van plan om hun experimenten uit te breiden naar complexere groepstaken, zoals het coördineren van een netwerk van agenten om problemen op te lossen zoals het inkleuren van een kaart of het kiezen van een leider. Door de hoeveelheid beschikbaar geheugen en de toegestane communicatie systematisch te variëren, hopen ze de volledige "herinnerings–signaleringsfrontlijn" voor verschillende soorten problemen te tekenen. Het doel is om precies te begrijpen wanneer een agent naar binnen moet kijken naar zijn eigen geschiedenis en wanneer hij naar buiten moet kijken naar zijn tijdgenoten. Tot die tijd staat de studie als een zorgvuldige verkenning van de grens tussen wat we in onze geest bewaren en wat we aan elkaar moeten zeggen.