Allocating cognitive work across people, language models and deterministic tools: A task-analytic method
Dit artikel stelt een taalanalysemethode voor voor de toewijzing van cognitieve arbeid tussen mensen, taalmodellen en deterministische instrumenten binnen een observeer-oriënteer-beslis-handel kader, waarbij wordt aangetoond door middel van synthetische tanker-join experimenten dat deze gelaagde aanpak de beslissingsnauwkeurigheid en efficiëntie aanzienlijk verbetert terwijl normatieve keuzes worden voorbehouden aan menselijke toezichthouders.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne werkomgeving is een nieuw soort werknemer gearriveerd: de kunstmatige intelligentie-agent. Dit zijn computerprogramma's die in staat zijn om instructies te lezen, informatie te zoeken, code te schrijven en documenten op te stellen, vaak sneller dan een mens de output kan lezen. Naarmate deze agenten bekwaamere worden, krijgt één menselijke supervisor vaak de taak om een groeiend team van hen te overzien. Het probleem is niet dat de machines traag zijn, maar dat ze te snel zijn. Als een supervisor elke boodschap probeert te lezen, elke berekening te controleren en elk concept goed te keuren, raakt hij overweldigd. Dit fenomeen, in de techniek bekend als de "wet van uitgerekte systemen" (law of stretched systems), suggereert dat naarmate machines sneller worden, we simpelweg meer werk aan hen delegeren, waardoor de mens uiteindelijk overspoeld wordt met zoveel data dat hij het overzicht verliest. Het resultaat is een verlies van bewustzijn; de supervisor stopt met weten wanneer hij moet ingrijpen omdat hij begraven ligt onder een berg tekst.
Om dit op te lossen, onderzoeken onderzoekers hoe de taken niet alleen verdeeld kunnen worden tussen mensen en machines, maar ook tussen verschillende soorten machines en mensen. Sommige taken zijn eenvoudig en zeker, zoals het berekenen van een vliegroute, wat een standaard computerprogramma perfect kan doen. Andere zijn rommelig en vereisen begrip van context, zoals het interpreteren van een vage radio-instructie, wat een geavanceerder taalmodel kan vereisen. De uitdaging is om te beslissen welk instrument welk deel van de taak afhandelt en, cruciaal, wanneer te stoppen en om hulp te vragen aan een mens. Als het systeem te rigide is, faalt het wanneer zaken ingewikkelder worden. Als het te losjes is, verdrinkt de menselijke supervisor in de details. Het doel is om een team te creëren waarin het juiste instrument het juiste werk doet, en de mens alleen in de loop blijft wanneer dat nodig is, zodat hun aandacht gericht blijft op het grote plaatje.
Dit is de kernvraag waar Simon Vajda, een onderzoeker aan Deakin University, een antwoord op wilde vinden. Hij ontwikkelde een methode om specifieke beslissingen zorgvuldig toe te wijzen aan het juiste niveau van het team: een eenvoudig computertool, een klein taalmodel, een krachtig redeneermodel of een menselijke supervisor. De methode behandelt elke taak als een cyclus van het observeren van de situatie, het begrijpen ervan, het nemen van een beslissing en het handelen. Door een complexe taak op te delen in deze kleine stappen, kon de onderzoeker elke stap analyseren om te zien hoe formeel de beslissing moest zijn. Als een beslissing kon worden opgeschreven als een strikte regel, ging deze naar een computertool. Als het het begrijpen van natuurlijke taal vereiste maar nog steeds routinematig was, ging het naar een klein taalmodel. Als de situatie ingewikkeld was en diepgaand redeneren vereiste, nam een groter, krachtiger model de leiding. Echter, als een beslissing een oordeel van waarde betrof — het beslissen wat er zou moeten gebeuren in plaats van alleen wat er is — werd deze voorbehouden aan een mens.
Het systeem bevat een veiligheidsmechanisme genaamd "onthouding" (abstention). Als een machine-niveau onzeker is, of als de taak te moeilijk is voor de specifieke capaciteiten, dwingt het geen antwoord af. In plaats daarvan wijst het beleefd af en geeft het de beslissing door aan het volgende, meer bekwame niveau. Als het krachtigste model nog steeds onzeker is, bereikt de beslissing uiteindelijk een mens. Dit zorgt ervoor dat fouten worden opgevangen voordat ze plaatsvinden. Bovendien, wanneer een mens een moeilijke beoordeling maakt, kan het systeem die keuze opslaan als een beleid. Als exact dezelfde situatie zich opnieuw voordoet, kan het systeem de eerdere beslissing van de mens oproepen en deze automatisch toepassen, waardoor de noodzaak voor de mens om herhaaldelijk in te grijpen wordt verminderd.
Om deze aanpak te testen, creëerde de onderzoeker een gesimuleerd scenario bestaande uit een pilootopleiding waarbij een trainee een gesimuleerd vliegtuig moet besturen om een tanker te ontmoeten voor bijtanken. In deze omgeving moest het systeem diverse taken afhandelen, zoals het berekenen van de juiste koers, het interpreteren van radiocommando's en het beslissen of er van een plan wordt afgeweken voor trainingsdoeleinden. De studie vergeleken dit nieuwe, toegewezen systeem met twee andere benaderingen: één waarbij een enkel krachtig model probeerde de hele taak alleen uit te voeren, en één waarbij een router simpelweg vragen doorstuurde naar verschillende modellen op basis van een gok welke het goedkoopst was.
De resultaten lieten zien dat het toegewezen systeem aanzienlijk nauwkeuriger was. In de simulaties nam het bijna 90 procent van de gevallen de juiste beslissing waar een feitelijk antwoord vereist was. In contrast hiermee was het enkele krachtige model, wanneer het de hele taak in één keer kreeg, slechts in ongeveer 67 procent van de gevallen correct. Het toegewezen systeem gebruikte ook veel minder middelen. Het verwerkte ongeveer een derde van de invoertekst en een achtste van de uitvoertekst vergeleken met het enkele model dat alles probeerde te doen. Deze efficiëntie kwam voort uit het feit dat het krachtige model geen tijd verspilde aan eenvoudige taken die het gemakkelijk zelf kon afhandelen, en van de kleinere modellen die moeilijke vragen snel naar boven in de keten doorstuurden in plaats van te gokken.
De studie vond ook dat het systeem effectief fouten wegfilterde. Wanneer de kleine modellen een fout antwoord tegenkwamen, hielden zij dit 97 procent van de tijd achter en gaven het door aan het redeneermodel. Het redeneermodel hield op zijn beurt zijn eigen foutieve kandidaten 93 procent van de tijd achter. Deze gelaagdheid fungeerde als een hoogwaardig filter. Het systeem was echter niet perfect. In één specifiek geval betreffende een geplande oefening met radiostoring, slaagde het systeem er niet in te herkennen dat een beslissing over het trainingsontwerp voor een mens gereserveerd had moeten worden, wat benadrukt dat de regels voor het toewijzen van werk zorgvuldig moeten worden vormgegeven. Daarnaast, hoewel het systeem het aantal keren dat een mens een beslissing moest nemen verminderde door te leren van eerdere keuzes, testte de studie niet hoe dit zou aanvoelen voor een echte menselijke supervisor in termen van stress of bewustzijn.
Uiteindelijk demonstreert het onderzoek dat het opdelen van een complexe taak in kleine, geanalyseerde stappen en het toewijzen van elke stap aan het meest geschikte instrument, mens-AI-teams nauwkeuriger en efficiënter kan maken. Het suggereert dat de toekomst van toezicht niet gaat over het lezen van elk woord dat een AI schrijft, maar over het ontwerpen van een systeem waarbij de AI zijn grenzen kent, om hulp vraagt wanneer nodig, en leert van menselijke begeleiding om routinematige situaties zelfstandig af te handelen. Hoewel de computationele resultaten veelbelovend zijn, merken de onderzoekers op dat de echte test nog moet komen: hoe dit systeem de bekwaamheid van de menselijke supervisor beïnvloedt om bewust en in controle te blijven wanneer het werk echt is en de belangen groot zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.