Backward through Time, Algebraically

Stel je een wereld voor waarin computers niet alleen rigide regels volgen, maar leren om de tijd zelf te navigeren. In het domein van kunstmatige intelligentie worden systemen zoals neurale netwerken vaak getraind om beslissingen te nemen op basis van sequenties van gebeurtenissen, zoals een robot die leert lopen of een software-agent die een elektriciteitsnet beheert. Om deze systemen te onderwijzen, gebruiken ingenieurs een speciaal soort logica die beschrijft hoe een systeem zich gedurende een bepaalde periode moet gedragen, waarbij wordt gewaarborgd dat veiligheidsregels nooit worden geschonden en dat doelen uiteindelijk worden bereikt. Traditioneel was deze logica een simpel spel van ja of nee: een conditie was ofwel voldaan, of niet. Echter, real-world data is zelden zo zwart-wit. Het is vaak een waas van waarschijnlijkheden en zachte waarden, waarbij een systeem "grotendeels" veilig is of "bijna" zijn doel heeft bereikt. Wanneer ingenieurs probeerden om strikte ja-of-nee-logica toe te passen op deze vage, real-world scenario's, stortte het trainingsproces in. De computer kon niet leren van zijn fouten omdat de feedback die het ontving te bot was; het was alsof je een schip probeerde te sturen door alleen te horen "je bent op koers" of "je bent uit koers", zonder informatie over hoe ver je van koers af was of in welke richting je moest bijsturen.

Dit is de uitdaging waar Konstantin Kogkalidis zich op richtte in zijn werk aan lineaire temporele logica. Hij realiseerde zich dat voor deze intelligente systemen om effectief te kunnen leren, de logica die hun prestaties beoordeelt, vloeiend en differentieerbaar moest zijn. Dit betekent dat in plaats van een plotselinge sprong van falen naar succes, het systeem een zacht, continu signaal moet ontvangen dat precies aangeeft hoe dicht het bij het gewenste resultaat was. Dit signaal is cruciand omdat het het leeralgoritme in staat stelt om het gedrag van het systeem stap voor stap in de juiste richting te duwen. Het probleem was dat bestaande methoden om logica "zacht" te maken ofwel te rigide, te traag, of wiskundig gebrekkig waren op manieren die voorkamen dat het systeem efficiënt over lange perioden kon leren. Kogkalidis benaderde dit niet door één nieuwe manier van doen te kiezen, maar door een flexibele motor te bouwen die veel verschillende wiskundige benaderingen kon testen en uitvoeren, om uiteindelijk één te ontdekken die perfect werkte voor de taak van leren over de tijd.

De reis begon met een eenvoudige observatie: de standaardmanier om te controleren of een systeem correct functioneert over de tijd, houdt in dat men sequenties van gebeurtenissen bekijkt en vragen stelt als "zal deze conditie uiteindelijk gebeuren?" of "zal dit slechte ding nooit gebeuren?". In de oude, rigide wereld van de informatica werden deze vragen beantwoord door een hele sequentie van gebeurtenissen één voor één te scannen. Hoewel dit werkte voor eenvoudige gevallen, werd het een bottleneck wanneer de sequenties lang werden of wanneer de data zacht en vaag was. De onderzoekers ontdekten dat veel van de populaire methoden die gebruikt worden om deze logische regels te verzachten, leden aan een fataal gebrek: ze zouden uiteindelijk stoppen met het leveren van nuttige feedback. Terwijl het systeem probeerde te leren over een lang traject in de tijd, zou het signaal dat het vertelt hoe het kan verbeteren, ofwel volledig verdwijnen, of vastlopen op een maximale waarde, of zich slechts op één enkel moment concentreren terwijl de rest genegeerd wordt. Het was also als een docent die een jaartraject van een student beoordeelt en plotseling besluit alleen de laatste pagina te beoordelen, of het geheel als een enkel pass of fail te beoordelen, waardoor de student geen idee heeft hoe de rest van het werk verbeterd kan worden.

Om dit op te lossen, bouwde Kogkalidis een nieuw soort evaluatiemotor. In plaats van één manier om logica te hanteren hard te coderen, creëerde hij een framework dat elk wiskundig systeem, of "algebra", kon accepteren dat de gebruiker wilde proberen. Deze motor fungeerde als een universele vertaler, die de logische regels en de sequentie van gebeurtenissen nam en deze door welke wiskundige regels dan ook liet lopen die gekozen waren. Dit stelde het team in staat om een breed scala aan bestaande methoden te testen en te zien hoe ze zich gedroegen. Ze ontdekten dat hoewel sommige methoden wiskundig elegant waren, ze in de praktijk faalden omdat ze niet in staat waren om de constante, continue feedback te leveren die nodig is voor leren. Anderen waren snel maar produceerden resultaten die te rigide waren. Het onderzoek onthulde een diepe verbinding tussen de wiskundige eigenschappen van deze systemen en hun vermogen om te leren: de zeer kenmerken die sommige systemen snel of eenvoudig maakten, waren vaak dezelfde kenmerken die ervoor zorgden dat ze faalden in het leveren van nuttige feedback over de tijd.

Na het testen van tientallen verschillende benaderingen, ontdekten de onderzoekers dat geen van de bestaande methoden alles perfect kon doen. Sommigen konden een duidelijk oordeel geven of een systeem veilig was, maar gaven geen nuttige feedback over hoe het te verbeteren. Anderen konden rijke feedback geven, maar gaven oordelen die veranderden afhankelijk van hoe lang het systeem al draaide, wat hen onbetrouwbaar maakte. De doorbraak kwam toen ze beseften dat ze de ruimte waarin de berekeningen plaatsvonden, moesten veranderen. In plaats van te proberen de logica binnen de standaard regels van getallen te dwingen, brachten ze het probleem naar een nieuwe, abstracte ruimte waar de berekeningen zo konden worden herschikt dat ze zowel snel als accuraat waren. In deze nieuwe ruimte konden ze informatie van verschillende momenten in de tijd combineren op een manier die het belang van elk enkel moment behield.

Het resultaat van deze verkenning was een nieuw wiskundig instrument genaamd "mellowmax". Dit instrument werkt als een geavanceerd gemiddelde-mechanisme dat een lange sequentie van gebeurtenissen kan bekijken en kan bepalen of een conditie is vervuld, zonder het vermogen te verliezen om het systeem exact te vertellen hoe het kan verbeteren. In tegenstelling tot eerdere methoden zorgt mellowmax ervoor dat elk moment in de sequentie bijdraagt aan het uiteindelijke antwoord. Het laat het signaal niet wegsterven naarmate de tijd verstrijkt, noch blijft het steken op één enkel moment. Het biedt een constante, vloeiende stroom van feedback waardoor het leersysteem zijn gedrag nauwkeurig kan aanpassen, ongeacht hoe lang de sequentie van gebeurtenissen is. Dit betekent dat een kunstmatige intelligentie nu kan worden geleerd om complexe regels over lange perioden te volgen, waarbij het duidelijke begeleiding krijgt over hoe het bij elke stap beter kan worden, in plaats van alleen aan het einde te horen dat het gefaald heeft.

De betekenis van dit werk ligt in het vermogen om de kloof te overbruggen tussen rigide logische regels en de rommelige, continue realiteit van leersystemen. Door een flexibele motor te creëren die verschillende wiskundige benaderingen kan testen en uitvoeren, konden de onderzoekers de specifieke eigenschappen identificeren die een systeem geschikt maken om te leren over de tijd. Ze toonden aan dat het mogelijk is om zowel een betrouwbaar oordeel te hebben over de vraag of een systeem correct functioneert, als een rijke, continue signalering om de verbetering te sturen. Deze ontdekking opent de deur naar robuustere en betrouwbaardere systemen van kunstmatige intelligentie die getraind kunnen worden om complexe, tijdsgevoelige taken met grotere precisie aan te pakken. Het nieuwe instrument, mellowmax, vormt een praktische oplossing voor een probleem dat de ontwikkeling van deze systemen lang heeft gehinderd, door een manier te bieden om machines te leren denken over de tijd op een manier die zowel wiskundig solide als computationeel effectief is.

Uiteindelijk demonstreert het werk dat de weg naar betere kunstmatige intelligentie vaak vereist dat men een stap terug doet om de fundamentele instrumenten te onderzoeken waarmee we ze onderwijzen. Door te weigeren de beperkingen van bestaande methoden te accepteren en in plaats daarvan een framework te bouwen om het volledige landschap van mogelijkheden te verkennen, vonden de onderzoekers een manier om logica te laten werken voor de echte wereld. Het resultaat is een systeem dat kan leren van zijn fouten over de tijd, door middel van heldere en consistente feedback die het richting succes leidt. Dit is niet slechts een theoretische verbetering; het is een praktisch instrument dat nu kan worden gebruikt om slimmere, betrouwbaardere systemen te trainen. De reis van een rigide ja-of-nee-logica naar een flexibel, leer-vriendelijk systeem laat zien dat de beste manier om vooruit te gaan soms is om achterom te kijken, door de fundamenten opnieuw te onderzoeken om iets sterkers en krachtiger op te bouwen.