It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

In de wereld van kunstmatige intelligentie worden machines vaak geleerd om beslissingen te nemen door een enkel doel na te streven, zoals een robotstofzuiger die een vloer schoonmaakt of een programma dat een partij schaken wint. Maar de echte wereld is zelden zo eenvoudig. Vaak moet een agent meerdere concurrerende doelen tegelijkertijd balanceren, zoals een zelfrijdende auto die een bestemming snel wil bereiken terwijl hij ook veilig blijft en energie bespaart. Wanneer deze doelen met elkaar in conflict komen, heeft de machine een manier nodig om te beslissen welk doel belangrijker is. Bovendien kunnen de gevolgen van een beslissing zich over verschillende tijdsperioden afspelen. Een kleine fout kan een onmiddellijk probleem veroorzaken, terwijl een reeks kleine fouten pas maanden later tot een ramp kan leiden. Jarenlang hebben onderzoekers verschillende wiskundige instrumenten ontwikkeld om deze situaties aan te pakken, maar ze hebben elke tijdsperiode over het algemeen behandeld als een apart probleem, waarbij ze voor onmiddellijke risico's een andere methode kozen dan voor langetermijngemiddelden.

Een nieuwe studie daagt deze scheiding uit en stelt dat beslissingen in de echte wereld vaak vereisen dat een agent zich tegelijkertijd zorgen maakt over onmiddellijke, middellange en langetermijngevolgen. De onderzoekers, werkzaam bij instellingen in België, Brazilië en Australië, laten zien dat het vertrouwen op slechts één van deze traditionele methoden kan leiden tot gevaarlijke of inefficiënte uitkomsten wanneer meerdere tijdschalen betrokken zijn. Door een scenario te simuleren waarbij werknemers worden blootgesteld aan giftige stoffen, laten zij zien dat een strategie die ontworpen is om te beschermen tegen langetermijnblootstelling, per ongeluk een werknemer kan opofferen aan een kortstondige piek in gevaar, terwijl een strategie die gericht is op onmiddellijke veiligheid een langzaam opbouwende gezondheidscrisis kan negeren. Hun werk suggereert dat we, om echt veilige en effectieve kunstmatige intelligentie te bouwen, nieuwe manieren van denken nodig hebben die deze verschillende klokken tegelijkertijd kunnen balanceren.

De kern van het probleem ligt in hoe we "geluk" of "nut" voor een agent meten. In veel standaard AI-systemen berekent de machine het gemiddelde beloningsniveau dat het over een lange periode verwacht te krijgen en probeert dit getal te maximaliseren. Dit werkt goed voor een fabriek die duizenden videobestanden per dag verwerkt; als het gemiddelde energieverbruik en de snelheid goed zijn, wordt het systeem als succesvol bescheld, zelfs als één specifiek bestand te lang duurde om te verwerken. Echter, deze aanpak faalt wanneer een enkele slechte uitkomst catastrofaal is. Denk aan een patiënt die een medische behandeling ondergaat. Die patiënt ervaart de behandeling slechts één keer. Die patiënt geeft niet om de gemiddelde uitkomst van duizenden andere patiënten; die patiënt geeft om het eigen specifieke resultaat. Als een behandeling een niet-lineair risico heeft — wat betekent dat een kleine toename in dosering een enorme sprong in gevaar veroorzaakt — dan verbergt de gemiddelde berekening het werkelijke risico. De patiënt heeft een systeem nodig dat de specifieke uitkomst van hun eigen individuele reis evalueert, niet het gemiddelde van vele reizen.

Er is een derde manier om naar tijd te kijken, die zich richt op de allereerste volgende stap. Stel je voor dat een auto tegen een muur botst. Het gevaar van letsel hangt niet-lineair af van de kracht van de impact. Een harde klap is veel gevaarlijker dan een zachte klap, en het risico telt niet simpelweg op over de tijd; honderd zachte botsingen zijn niet gelijk aan één harde crash. In dit scenario moet het systeem het risico van elk moment evalueert terwijl het gebeurt, door onmiddellijk een straf toe te passen als er een gevaarlijke combinatie van factoren optreedt. Decennialang hebben onderzoekers deze drie perspectieven — langetermijngemiddelden, uitkomsten van een enkele reis en onmiddellijke stap-voor-stap risico's — behandeld als aparte instrumenten voor aparte taken. De auteurs van dit nieuwe artikel betogen dat deze scheiding een gebrek is. Zij stellen voor dat veel complexe problemen vereisen dat een agent zich tegelijkertijd zorgen maakt over alle drie de tijdschalen.

Om dit punt te bewijzen, creëerden de onderzoekers een vereenvoudigde simulatie met drie werknemers en drie verschillende taken, elk met een verschillend niveau van toxiciteit. Het doel was om deze werknemers over een periode van een maand aan taken toe te wijzen, terwijl ze veilig werden gehouden. De toxiciteit van het werk was niet alleen een simpel getal; het had verschillende effecten afhankelijk van wanneer het werd gemeten. Er was een onmiddellijk risico van een hoge dosis binnen een enkele dag, een middellange termijn risico van de totale blootstelling over de maand, en een langetermijnrisico van cumulatieve schade over vele maanden. Het team draaide de simulatie met de drie traditionele methoden afzonderlijk, en probeerde ze vervolgens te combineren.

Wanneer het systeem zich alleen richtte op het langetermijngemiddelde, vond het een strategie die twee ervaren werkers veilig hield door hen constant te roteren, maar het offerde effectief de derde, minder ervaren werker op door deze persoon herhaaldelijk de gevaarlijkste taken toe te wijzen. De logica was dat het gemiddelde risico voor de groep laag was, waardoor het systeem negeerde dat één persoon werd overbelast. Wanneer het systeem zich alleen richtte op de uitkomst van een enkele reis, leerde het de werkers frequent te roteren om ervoor te zorgen dat niemand ooit een gevaarlijk hoge totale dosis kreeg voor die specifieke maand. Dit hield iedereen relatief veilig, maar resulteerde in veel wisselingen die misschien niet efficiënt waren. Wanneer het systeem zich alleen richtte op het onmiddellijke stap-voor-stap risico, vermeed het het wisselen van werkers volledig en gaf de voorkeur aan het houden van werkers op taken die pasten bij hun vaardigheidsniveau, wat een veilige maar rigide aanpak was.

Het meest onthullende resultaat kwam voort toen de onderzoekers probeerden te optimaliseren voor alle drie de tijdschalen tegelijkertijd. Ze gebruikten een methode die de onmiddellijke, maandelijkse en langetermijnrisico's combineerde in één enkel doel. De resulterende strategie was een mix van de anderen, maar het onthulde een kritiek gebrek in het proberen te balanceren van deze concurrerende klokken zonder een nieuw kader. Het systeem neigde opnieuw naar het opofferen van de minst ervaren werker, door deze persoon de zwaarste taken toe te wijzen om de anderen te beschermen tegen zowel onmiddellijke pieken als langetermijnaccumulatie. De simulatie toonde aan dat het simpelweg proberen te middelen van de verschillende tijdschalen niet werkt; de niet-lineaire aard van de risico's betekent dat het beschermen van één tijdschaal onbedoeld een andere in gevaar kan brengen. De onderzoekers ontdekten dat de beleidsregels die goed werkten voor één tijdschaal, vaak de slechtste keuzes waren wanneer alle schalen samen in overweging werden genomen.

Deze bevinding onderstreept een aanzienlijk gat in het huidige onderzoek naar kunstmatige intelligentie. Hoewel we krachtige instrumenten hebben om langetermijngemiddelden of onmiddellijke risico's te behandelen, missen we een allesomvattende methode om ze samen te behandelen. De auteurs suggereren dat toekomstige systemen de distributie van mogelijke uitkomsten moeten leren begrijpen, waarbij ze niet alleen het gemiddelde resultaat begrijpen, maar het volledige bereik van wat er over verschillende tijdsvensters zou kunnen gebeuren. Ze erkennen dat dit een moeilijke uitdaging is, aangezien het aanpassen van een beleid om de veiligheid op één tijdschaal te verbeteren, deze op een andere tijdschaal kan verslechteren, wat een complex landschap van afwegingen creëert. Zij geloven echter dat het ontwikkelen van deze gecombineerde benaderingen essentieel is voor praktische toepassingen, van het beheren van radiotherapie in de geneeskunde tot het optimaliseren van klantenservice in het bedrijfsleven, waar de veiligheid en tevredenheid van individuen moeten worden afgewogen tegen de efficiëntie van het geheel.

De studie concludeert dat de manier waarop we machines momenteel leren beslissingen te nemen, te nauw is. Door tijd als een enkele dimensie te behandelen of door één perspectief boven de andere te kiezen, riskeren we systemen te creëren die in theorie veilig zijn, maar in de praktijk gevaarlijk. De weg vooruit vereist nieuwe algoritmen die in staat zijn om meerdere tijdschalen tegelijkertijd in gedachten te houden, zodat een agent niet alleen een gemiddelde maximaliseert of een enkele slechte dag vermijdt, maar ook echt het volledige gewicht van zijn acties over de gehele breedte van zijn bestaan begrijpt. Dit is niet alleen een technische aanpassing, maar een noodzakelijke evolutie om ervoor te zorgen dat kunstmatige intelligentie de complexe, gelaagde realiteit van het menselijk leven kan navigeren.