Economic Evaluations of Language Models
Dit artikel introduceert EconEvals, een kosteneffectieve, open-source evaluatiesuite en simulatieframework dat het potentieel van taalmodellen om tijd te besparen binnen Amerikaanse beroepen beoordeelt, waarbij wordt onthuld dat hoewel huidige modellen een significante impact kunnen hebben op bijna alle banen, hun feitelijke adoptie momenteel beperkt wordt door privacyzorgen en barrières van propriëtaire systemen in plaats van door technische capaciteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van kunstmatige intelligentie voor als een enorme, drukke bibliotheek waar de boeken elke dag slimmer worden. Al een tijdje testen de bibliothecarissen (de wetenschappers) deze nieuwe, superintelligente boeken door ze wiskundige puzzels te laten oplossen of code te laten schrijven. Het is alsof je controleert of een nieuwe auto een race op een circuit kan winnen. Maar hier is het probleem: het echte leven is geen racecircuit. Het echte leven is een rommelige, complexe stad waar mensen duizenden verschillende banen hebben, van het repareren van leidingen tot het beheren van ziekenhuizen. De grote vraag die iedereen stelt is: "Als deze AI-boeken zo slim zijn, hoeveel zullen ze ons dan echt helpen in ons dagelijks werk? Zullen ze ons tijd besparen, of zullen ze gewoon in de kast blijven staan?"
Om dit te beantwoorden, moeten we een paar dingen begrijpen. Ten eerste zijn er "benchmarks", wat gestandaardiseerde tests voor AI zijn. Als een AI een hoge score haalt, betekent dit dat hij goed is in die specifieke test. Ten tweede is er "exposure", wat een chic woord is voor: "Hoeveel van de werkdag van een werknemer zou deze AI daadwerkelijk kunnen overnemen?" En ten slotte is er de kloof tussen wat AI kan in een test en wat het daadwerkelijk doet in de echte wereld. We geven erom omdat als we het antwoord niet weten, we de toekomst niet kunnen plannen. We zouden kunnen denken dat AI morgen alles gaat veranderen, of we zouden kunnen denken dat het helemaal niets zal veranderen, en beide gokken kunnen fout zijn.
Hier komt een team onderzoekers van Stanford en de Universiteit van São Paulo aan de pas, die besloten te stoppen met gokken en te beginnen met meten. Ze bouwden een nieuwe, open-source toolkit genaamd ECONEVALS. Zie deze toolkit als een gigantische, digitale kaart van de gehele Amerikaanse arbeidsmarkt. In plaats van alleen naar een paar populaire banen zoals software engineers te kijken, brachten ze meer dan 1.000 verschillende beroepen in kaart, onderverdeeld in bijna 19.000 kleine taken. Het is alsof je een microscoop hebt die kan inzoomen op elk ding dat een werknemer doet, van "de telefoon opnemen" tot "een brug ontwerpen".
Het team kreeg te maken met een lastig probleem: ze wilden weten wat echte mensen daadwerkelijk aan AI vragen wanneer ze aan het werk zijn, maar het grootste deel van die gegevens is privé. Dus deden ze twee dingen. Eerst groeven ze door miljoenen publieke gesprekken om echte werkgerelateerde vragen te vinden. Ten tweede, toen ze geen echte data hadden voor een specifieke baan, creëerden ze "synthetische" data. Stel je een robotacteur voor die een rol speelt als verpleegkundige, leraar of bouwvakker, en een AI om hulp vraagt bij hun specifieke dagelijkse taken. Ze gebruikten deze mix van echte en rollenspel-data om 10 verschillende AI-modellen te testen.
Wat hebben ze gevonden? De resultaten lijken een beetje op een verhaal van "potentieel versus realiteit". De onderzoekers ontdekten dat huidige AI-modellen eigenlijk best goed zijn in het helpen bij werk. Sterker nog, hun simulaties suggereren dat voor 47% van alle Amerikaanse beroepen AI werknemers een aanzienlijke hoeveelheid tijd kan besparen op minstens de helft van hun dagelijkse taken. Dat is een enorme hap uit de beroepsbevolking!
Er zit echter een twist aan het verhaal: het feit dat AI een baan kan doen, betekent niet dat mensen de AI ook daadwerkelijk gebruiken om de baan te doen. Het team kwam erachter dat voor 79% van de taken waarbij AI theoretisch gezien veel tijd zou kunnen besparen, mensen tools zoals Claude niet veel gebruiken. Het is alsof je een Ferrari in je garage hebt die 320 km/u kan rijden, maar je rijdt hem alleen maar naar de brievenbus omdat je bang bent voor de snelheid of niet weet hoe je moet schakelen.
Dus, wat houdt ons tegen om AI meer te gebruiken? De onderzoekers voerden een speciale simulatie uit waarbij ze precies ontleedden waarom AI geen tijd kon besparen op bepaalde taken. Ze ontdekten dat de grootste knelpunten niet zijn dat de AI te dom is; het is dat de echte wereld te ingewikkeld is. De belangrijkste redenen waarom AI nog niet kan helpen zijn onder andere:
- Fysieke handelingen: AI kan geen hamer oppakken of een lekkende leiding repareren.
- Privacy: Je kunt een AI niet je privé medische dossiers of juridische bestanden laten lezen.
- Propriëtaire systemen: Veel bedrijven gebruiken oude, geheime software waar AI niet op kan aansluiten.
- Live interactie: AI heeft moeite met real-time, face-to-face gesprekken waarbij de situatie direct verandert.
Het artikel vergeleek hun nieuwe, gedetailleerde methode ook met oudere manieren om AI te meten. De oude methoden waren als het bekijken van een lijst met superkrachten en zeggen: "Deze AI kan alles!" De nieuwe methode is meer als het daadwerkelijk zien van de AI terwijl hij de baan probeert te doen en zien waar hij struikelt. Ze ontdekten dat de oude methoden veel te optimistisch waren en voorspelden dat AI bij 68% van de banen kon helpen, terwijl hun meer realistische simulatie suggereert dat het dichter bij 47% ligt.
Kortom, dit artikel vertelt ons dat AI een krachtig hulpmiddel is dat klaar is om met veel van ons werk te helpen, maar dat we het nog niet gebruiken vanwege hindernissen in de echte wereld, zoals privacyregels en de noodzaak voor fysieke handen. De onderzoekers hebben een kaart en een meetlat gebouwd die geüpdatet kan worden naarmate AI slimmer wordt, wat ons helpt te begrijpen waar de technologie de volgende stap zet, in plaats van alleen maar te gokken. Ze zeggen niet dat AI de economie heeft opgelost, maar ze hebben ons een veel duidelijker beeld gegeven van waar de wegversperringen liggen en waar de open banen zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.