Using profiles of cognitive capability to assess AI suitability for workplace tasks

In de moderne werkplek stelt een stille maar dringende vraag de manier waarop organisaties over hun toekomst denken opnieuw vorm: welke banen kunnen veilig worden overgedragen aan kunstmatige intelligentie, en welke moeten in menselijke handen blijven? Jarenlang was het antwoord ongrijpbaar. Bedrijven vertrouwen vaak op brede, geaggregeerde testscores om de intelligentie van een machine te beoordelen, vergelijkbaar met hoe een directeur een leerling het hele jaar zou beoordelen op basis van één enkel eindcijfer voor een examen. Deze scores bieden een momentopname van algemene prestaties, maar ze leggen zelden uit waarom een systeem slaagt of faalt, noch voorspellen ze hoe het omgaat met de rommelige, onvoorspelbare complexiteit van echt werk. Wanneer een machine faalt in een gecontroleerde test, is dat vaak een mysterie; wanneer het faalt in een echt kantoor of een fabriek, kunnen de gevolgen kostbaar en gevaarlijk zijn. De kernuitdaging is dat kunstmatige intelligentie niet denkt als een mens. De sterktes en zwaktes ervan zijn grillig en ongelijkmatig; het kan over een enorme bibliotheek aan feiten beschikken, maar worstelen met de eenvoudige logica van het plannen van een reeks gebeurtenissen. Om deze systemen veilig in te zetten, hebben leiders een manier nodig om de specifieke cognitieve eisen van een baan af te zetten tegen de specifieke cognitieve vermogens van een machine, om zo voorbij te gaan aan gokwerk en te komen tot een duidelijke, op bewijs gebaseerde beoordeling.

Een nieuw technisch rapport van onderzoekers aan de Universiteit van Cambridge en andere instellingen biedt een oplossing voor dit probleem. In plaats van te vragen of een machine een specifieke taak kan uitvoeren, heeft het team een pijplijn ontwikkeld om de onderliggende mentale vaardigheden die voor die taak nodig zijn te profileren en deze direct te vergelijken met de capaciteiten van de machine. Ze begonnen met het opdelen van de complexe wereld van kunstmatige intelligentie-testen in achttien kerncognitieve vaardigheden, zoals geheugen, redeneren, planning en sociaal begrip. Met behulp van een enorme collectie bestaande testvragen hebben ze elke vraag geannoteerd om precies te bepalen welke van deze mentale vaardigheden nodig waren en hoe moeilijk ze waren. Dit creëerde een gedetailleerde "vraagkaart". Vervolgens gebruikten ze deze kaart om het werkelijke cognitieve profiel van zes verschillende AI-systemen af te leiden, niet alleen door naar hun eindscores te kijken, maar door te analyseren hoe ze presteerden over de verschillende soorten mentale uitdagingen. Het resultaat was een profiel voor elke machine dat precies liet zien waar de vermogens sterk en waar ze kwetsbaar waren, wat onthulde dat hoewel de systemen varieerden in algemene kracht, ze een opmerkelijk vergelijkbare vorm van sterktes en zwaktes deelden.

Om deze profielen bruikbaar te maken voor beslissingen in de echte wereld, moesten de onderzoekers weten wat menselijke werknemers daadwerkelijk nodig hebben om hun werk te doen. Ze surveyden 410 werknemers uit zes verschillende beroepsvelden, variërend van logistiek in magazijnen en productie tot klantenservice en data-analyse. In plaats van deze werknemers te vragen hoe goed zij denken dat een machine zou presteren, vroegen de onderzoekers hen om de meest cruciale mentale vaardigheden te identificeren die nodig zijn voor hun dagelijkse taken. De werknemers rangschikten het belang van vaardigheden zoals probleemoplossend vermogen, planning en communicatie voor hun specifieke rollen. Dit proces onthulde een "cognitieve kern" die voor bijna alle banen geldt: een zware afhankelijkheid van geheugen, taal en het vermogen om vooruit te plannen. Hoewel verschillende banen andere secundaire vaardigheden benadrukten — zoals ruimtelijk inzicht voor magazijnmedewerkers of sociaal begrip voor verkoopmedewerkers — was de fundamentele mentale machinerie die nodig is voor werk verrassend consistent over de hele linie.

Wanneer de onderzoekers de AI-profielen over de baanvereisten legden, kwam er een duidelijk beeld van geschiktheid naar voren. De studie toonde aan dat de meest geavanceerde AI-systemen het best geschikt zijn voor taken die zwaar leunen op taal, feitelijke kennis en sociale interactie, gebieden waarin huidige machines uitblinken. Ze hadden echter consequent moeite met taken die complexe planning, redeneren over fysieke objecten of het begrijpen van oorzaak-gevolgrelaties in dynamische omgevingen vereisen. Cruciaal was dat de onderzoekers ontdekten dat de verschillen tussen de diverse AI-modellen veel kleiner waren dan de verschillen tussen de verschillende soorten cognitieve vaardigheden. Met andere woorden, één AI-systeem was niet radicaal anders dan een ander in zijn algemene "persoonlijkheid"; in plaats daarvan waren ze allemaal sterk in sommige gebieden en zwak in andere. De meest capabele systemen vertoonden slechts bescheiden verbeteringen in planning en controle vergeleken met hun tijdgenoten, wat suggereert dat hoewel machines beter worden in het organiseren van informatie, ze nog lang niet het niveau hebben bereikt van het flexibele, doelgerichte gedrag dat mensen als vanzelfsprekend beschouwen.

Het kader bood ook een manier om een "geschiktheidsscore" te berekenen voor een specifieke baan, waardoor organisaties kunnen zien welke taken klaar zijn voor automatisering en welke niet. Door het capaciteitsprofiel van de machine te combineren met het belang van de taak voor het bedrijf, kon het systeem de hoogste prioriteitscategorieën aanwijzen waar AI zowel effectief als waardevol zou zijn. Zo kwamen taken zoals data-analyse en administratief onderzoek naar voren als sterke kandidaten voor automatisering, terwijl rollen die diepe intermenselijke verstandhouding of complexe fysieke redenering vereisen, stevig in het menselijke domein bleven. De onderzoekers testten deze aanpak bij een enkel bedrijf, waarbij ze lieten zien hoe dezelfde methode op maat gemaakt kon worden voor de unieke behoeften van een specifieke organisatie, van brede industriële trends naar de specifieke taken van individuele werknemers.

De studie pleit expliciet tegen het idee dat een enkele, hoge testscore genoeg is om de betrouwbaarheid van een machine in de werkomgeving te garanderen. Het toont aan dat een systeem met een hoge gemiddelde score nog steeds catastrofaal kan falen als het een specifieke, verborgen vaardigheid mist die vereist is voor een bepaalde baan. De onderzoekers waarschuwen ook dat hun bevindingen gebaseerd zijn op de huidige generatie AI-modellen en de specifieke tests die vandaag de dag beschikbaar zijn. Naarmale nieuwe machines worden gebouwd en nieuwe tests worden ontwikkeld, zullen de profielen moeten worden bijgewerkt. De methode zelf blijft echter robuust. Door het meten van wat een machine kan doen te scheiden van het meten van wat een baan vereist, biedt het kader een stabiele, wetenschappelijke taal voor het gesprek over de toekomst van werk. Het suggereert dat de weg vooruit niet gaat over het vinden van een machine die alles kan doen, maar over het zorgvuldig afstemmen van de specifieke, ongelijkmatige capaciteiten van onze huidige instrumenten op de specifieke, ongelijkmatige eisen van menselijke arbeid, om ervoor te zorgen dat automatisering wordt ingezet waar het echt zal slagen.