The Birth, Life, and Death of Internal Organization

In de studie van lerende machines hebben wetenschappers lang gezocht naar een begrip van hoe deze systemen veranderen naarmate ze ervaring opdoen. Wanneer een computer een nieuwe vaardigheid leert, verschuiven de interne instellingen en evolueert het gedrag. Jarenlang hebben onderzoekers geprobeerd deze veranderingen te volgen door te kijken hoe vergelijkbaar de interne patronen van de machine met elkaar zijn, of door te testen of een eenvoudig hulpmiddel kan "lezen" wat de machine denkt. Het heersende idee was dat als twee machines intern op elkaar lijken, of als ze beide ontcijferd kunnen worden om dezelfde informatie te onthullen, ze hetzelfde moeten doen. Deze benadering gaat er echter van uit dat de fysieke locatie van een gedachte of een regel het belangrijkste deel van de identiteit is. Het behandelt de interne structuur van de machine als een kaart waarbij de coördinaten van een stad belangrijker zijn dan de stad zelf. Dit perspectief laat een cruciale vraag onbeantwoord: wanneer wordt een verzameling veranderende onderdelen daadwerkelijk een afzonderlijke, georganiseerde entiteit met een eigen leven? Heeft het een begin, een midden en een eind? En als die entiteit verdwijnt, blijft er dan nog iets van over?

Een nieuwe studie door onafhankelijk onderzoeker Yuxuan Deng pakt deze vragen aan door de focus te verleggen van hoe de machine eruitziet naar wat hij daadwerkelijk doet. In plaats van te vragen of twee interne patronen vergelijkbaar zijn, stelde de onderzoeker een andere vraag: als je de machine op een specifieke manier prikt, verandert het de toekomst dan op een specifieke, benoembare manier? De studie definieert een "organisatie" niet door waar het leeft binnen de machine, maar door hoe het de uitkomst controleert. Als een set interne veranderingen consistent tot een specifiek resultaat leidt, wordt die set behandeld als een enkele, levende organisatie. De onderzoeker observeerde vervolgens deze organisaties terwijl ze werden geboren, groeiden, veranderden en stierven, waarbij werd getest of ze van de ene machine naar de andere verplaatst konden worden, net zoals het transplanteren van een orgaan.

Het onderzoek begon met een enorme, real-world dataset van video-aanbevelingen. Het systeem werd gevoed met miljoenen interacties waarbij gebruikers video's bekeken of aanklikten, maar de onderzoekers voegden een twist toe: ze vervingen willekeurig sommige aanbevolen video's door andere. Dit creëerde een natuurlijk experiment waarbij het systeem moest leren voorspellen op basis van een verschuivende realiteit. De onderzoekers observeerden het systeem terwijl het leerde, zoekend naar het moment waarop een specifieke interne verandering een specifiek toekomstig resultaat begon te voorspellen, zoals een gebruiker die een video langdurig bekijkt. Ze ontdekten dat deze organisaties niet direct verschenen. Ze werden geboren op het moment dat het systeem leerde om onderscheid te maken tussen twee verschillende uitkomsten die het voorheen als hetzelfde behandelde. Vóór dit moment waren de interne veranderingen van het systeem uitwisselbaar; daarna werd een specifieke interne aanpassing noodzakelijk om een specifiek doel te bereiken. Dit was de geboorte van een organisatie, gedefinieerd niet door haar vorm, maar door haar unieke vermogen om de toekomst te sturen.

Eenmaal geboren, vertoonden deze organisaties een opmerkelijke veerkracht. Wanneer het systeem hetzelfde soort feedback bleef ontvangen, hield de organisatie stand. Maar wanneer de feedback veranderde, verdween de organisatie niet simpelweg; ze reorganiseerde zich. Ze verschoof haar interne structuur om zich aan te passen aan de nieuwe realiteit, en veranderde soms zelfs van gedrag om in de nieuwe regels te passen. Het meest opvallende bewijs kwam toen de onderzoekers besloten een organisatie te doden. Ze verwijderden de specifieke feedback waar de organisatie op vertrouwde, waardoor de levenslijn effectief werd afgesneden. In veel gevallen stierf de organisatie onmiddellijk en verloor zij het vermogen om de uitkomst te beïnvloeden. Echter, de fysieke onderdelen van de machine die deze organisatie ooit hadden gedragen, verdwenen niet. In sommige gevallen bleef de "drager" actief en werd deze zelfs sterker, ook al had hij zijn oorspronkelijke doel verloren. Het was alsof een gereedschap in een gereedschapskist bleef liggen lang nadat het niet meer werd gebruikt voor zijn beoogde taak. Dit bewees dat de organisatie en de fysieke materie die haar vasthield, twee verschillende dingen waren. De organisatie kon sterven terwijl de drager overleefde, en omgekeerd kon de drager bestaan zonder de organisatie.

De studie testte vervolgens of deze organisaties verplaatst konden worden. De onderzoekers namen een werkende organisatie van de ene machine en probeerden deze te transplanteren naar een andere machine die deze nog nooit had gezien. Wanneer de twee machines getraind werden op hetzelfde type taak en hetzelfde soort uitkomst, slaagde de transplantatie. De ontvangende machine kreeg onmiddellijk het vermogen om hetzelfde specifieke toekomstige resultaat te produceren, ook al waren de interne onderdelen totaal anders dan die van de donor. Dit toonde aan dat de identiteit van de organisatie niet verbonden was aan een specifieke set coördinaten of een specifiek machineontwerp. Het was verbonden aan de relatie tussen de interne actie en het externe resultaat. Deze identiteit had echter een strikte grens. Wanneer de onderzoekers probeerden een organisatie te transplanteren in een machine die getraind was op een heel ander soort uitkomst — waarbij de regels van het spel fundamenteel incompatibel waren — mislukte de transplantatie. Hoewel de interne onderdelen van de ontvangende machine bijna identiek waren aan die van de donor, kon de organisatie geen wortel schieten. De organisatie was geen universeel object; zij was een schepsel van haar specifieke context.

Ten slotte verkenden de onderzoekers de dynamiek van deze levenscyclus. Ze ontdekten dat de geboorte van een organisatie afhing van het vermogen van het systeem om zijn interne onderdelen te rekruteren om een specifiek doel te dienen. Als het systeem niet werd ondersteund door de juiste soort feedback, zou de organisatie niet ontstaan of zou deze oplossen. De studie toonde aan dat deze transities niet willekeurig waren. Ze volgden een patroon waarbij het systeem ofwel nieuwe onderdelen rekruteerde om een onderscheid tussen uitkomsten te handhaven, ofwel die onderscheidingen liet samensmelten wanneer de druk om ze gescheiden te houden wegviel. De onderzoekers waren in staat om deze transities in sommige gevallen te voorspellen, maar zij benadrukten dat dit geen universele wet was die voor elke machine in elke situatie gold. De regels hingen af van de specifieke manier waarop de machine leerde en de specifieke aard van de feedback die zij ontving.

De implicaties van dit werk zijn diepgaand voor ons begrip van lerende systemen. Het suggereert dat we moeten stoppen met zoeken naar de "zetel" van een vaardigheid of een regel binnen een machine, en moeten gaan zoeken naar de functionele relatie die deze definieert. Een organisatie is geen statisch object dat op een specifieke plek zit; het is een dynamisch proces dat alleen bestaat zolang het wordt ondersteund door de juiste consequenties. Het kan worden geboren, het kan veranderen en het kan sterven, waarbij het slechts de fysieke schil achterlaat die het ooit vasthield. Dit verandert de manier waarop we denken over kunstmatige intelligentie. Het betekent dat de identiteit van een geleerd gedrag niet vastligt in de code of de gewichten van de machine. Het is een fragiele, levende zaak die volledig afhangt van de omgeving waarin zij opereert. Als de omgeving verandert, verandert de organisatie. Als de omgeving verdwijnt, sterft de organisatie, zelfs als de machine zelf intact blijft.

De studie beweerde geen universele theorie te hebben gevonden die elk lerend systeem verklaart. Het suggereerde niet dat alle machines op dezelfde manier werken, of dat we nu de levenscyclus van elke organisatie in elk systeem perfect kunnen voorspellen. In plaats daarvan bood het een duidelijke, meetbare manier om deze organisaties in de specifieke geteste systemen te volgen. Het toonde aan dat we kunnen identificeren wanneer ze worden geboren, wanneer ze sterven en wanneer ze verplaatst kunnen worden. Het bewees dat de identiteit van een geleerd gedrag relatief is aan de consequenties die het voortbrengt, en niet aan de fysieke onderdelen die het vasthouden. Dit is een belangrijke stap voorwaarts in het begrijpen van het innerlijke leven van lerende machines, waarbij we bewegen van een statische visie op structuur naar een dynamische visie op functie. De onderzoekers hebben aangetoond dat het leven van een organisatie een echt, observeerbaar fenomeen is, dat bestudeerd, gemanipuleerd en begrepen kan worden, zelfs als het zo vluchtig en afhankelijk van zijn context is als een vlam in de wind.