Economic Evaluations of Language Models
Dieses Paper stellt EconEvals vor, eine kosteneffiziente Open-Source-Evaluierungs-Suite und ein Simulationsframework, das das Potenzial von Sprachmodellen zur Zeiteinsparung über US-Berufe hinweg bewertet und aufzeigt, dass aktuelle Modelle zwar fast die Hälfte aller Jobs erheblich beeinflussen könnten, ihre tatsächliche Anwendung jedoch derzeit eher durch Datenschutzbedenken und proprietäre Systembarrieren als durch technische Fähigkeiten begrenzt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der künstlichen Intelligenz als eine riesige, belebte Bibliothek vor, in der die Bücher jeden Tag klüger werden. Lange Zeit haben die Bibliothekare (die Wissenschaftler) diese neuen, superintelligenten Bücher getestet, indem sie sie baten, mathematische Rätsel zu lösen oder Code zu schreiben. Es ist so, als würde man prüfen, ob ein neues Auto auf einer Rennstrecke gewinnen kann. Aber hier liegt das Problem: Das echte Leben ist keine Rennstrecke. Das echte Leben ist eine chaotische, komplizierte Stadt, in der Menschen tausende verschiedene Jobs ausüben, vom Reparieren von Rohren bis hin zum Verwalten von Krankenhäusern. Die große Frage, die sich alle stellen, laeutet: „Wenn diese KI-Bücher so klug sind, wie sehr werden sie uns tatsächlich in unseren täglichen Aufgaben helfen? Werden sie uns Zeit sparen oder werden sie einfach nur im Regal stehen?“
Um dies zu beantworten, müssen wir ein paar Dinge verstehen. Erstens gibt es „Benchmarks“, die wie standardisierte Tests für KI sind. Wenn eine KI eine hohe Punktzahl erreicht, bedeutet das, dass sie gut in diesem spezifischen Test ist. Zweitens gibt es „Exposure“ (Exposition), was ein schickes Wort dafür ist, zu fragen: „Wie viel eines Arbeitstages eines Arbeiters könnte diese KI tatsächlich übernehmen?“ Und schließlich gibt es die Lücke zwischen dem, was eine KI in einem Test kann und dem, was sie in der realen Welt tatsächlich tut. Wir kümmern uns darum, weil wir die Antwort nicht kennen, können wir die Zukunft nicht planen. Wir könnten denken, dass die KI schon morgen alles verändern wird, oder wir könnten denken, dass sie überhaupt nichts verändern wird – und beide Vermutungen könnten falsch sein.
Hier kommt ein Team von Forschern von der Stanford University und der University of São Paulo ins Spiel, die beschlossen haben, nicht mehr zu raten, sondern zu messen. Sie entwickelten ein neues Open-Source-Toolkit namens ECONEVALS. Stellen Sie sich dieses Toolkit wie eine riesige, digitale Landkarte des gesamten US-Arbeitsmarktes vor. Anstatt nur auf ein paar populäre Berufe wie Softwareentwickler zu schauen, kartierten sie über 1.000 verschiedene Berufe und brachen diese in fast 19.000 winzige Aufgaben herunter. Es ist wie ein Mikroskop, mit dem man jede einzelne Sache, die ein Arbeiter tut, vergrößern kann – vom „Telefonieren“ bis zum „Entwerfen einer Brücke“.
Das Team stand vor einem kniffligen Problem: Sie mussten wissen, was echte Menschen tatsächlich von einer KI fragen, wenn sie arbeiten, aber der Großteil dieser Daten ist privat. Also taten sie zwei Dinge. Erstens durchsuchten sie Millionen öffentlicher Konversationen, um echte arbeitsbezogene Fragen zu finden. Zweitens, als sie für einen spezifischen Job keine echten Daten fanden, erstellten sie „synthetische“ Daten. Stellen Sie sich einen Roboter-Schauspieler vor, der die Rolle einer Krankenschwester, einer Lehrerin oder eines Bauarbeiters spielt und eine KI um Hilfe bei ihren spezifischen täglichen Aufgaben bittet. Sie nutzten diese Mischung aus realen und Rollenspiel-Daten, um 10 verschiedene KI-Modelle zu testen.
Was haben sie herausgefunden? Die Ergebnisse ähneln einer Geschichte von „Potenzial vs. Realität“. Die Forscher entdeckten, dass aktuelle KI-Modelle tatsächlich recht gut darin sind, bei der Arbeit zu helfen. Tatsächlich legen ihre Simulationen nahe, dass die KI bei 47 % aller US-Berufe signifikant Zeit sparen könnte, indem sie mindestens die Hälfte ihrer täglichen Aufgaben übernimmt. Das ist ein riesiger Teil der Erwerbsbevölkerung!
Hier kommt jedoch die Wendung: Nur weil eine KI den Job machen kann, bedeutet das nicht, dass die Menschen sie auch nutzen, um den Job zu erledigen. Das Team fand heraus, dass Menschen bei 79 % der Aufgaben, bei denen eine KI theoretisch viel Zeit sparen könnte, Werkzeuge wie Claude bisher kaum nutzen. Es ist, als hätte man einen Ferrari in der Garage stehen können, der 320 km/h fahren kann, aber man fährt ihn nur zum Briefkasten, weil man Angst vor der Geschwindigkeit hat oder nicht weiß, wie man die Gänge schaltet.
Was hält uns also davon ab, KI häufiger zu nutzen? Die Forscher führten eine spezielle Simulation durch, in der sie genau aufgeschlüsselt haben, warum die KI bei bestimmten Aufgaben keine Zeit sparen konnte. Sie fanden heraus, dass die größten Engpässe nicht darin liegen, dass die KI zu dumm ist, sondern dass die reale Welt zu kompliziert ist. Die Hauptgründe, warum die KI noch nicht helfen kann, sind:
- Physische Handlungen: Eine KI kann keinen Hammer halten oder ein leckendes Rohr reparieren.
- Privatsphäre: Man kann eine KI nicht medizinische Patientenakten oder juristische Dokumente lesen lassen.
- Proprietäre Systeme: Viele Unternehmen nutzen alte, geheime Software, mit der eine KI keine Verbindung aufbauen kann.
- Echtzeit-Interaktion: KI hat Schwierigkeiten mit direkten Gesprсьen von Angesicht zu Angesicht, bei denen sich die Dinge augenblicklich ändern.
Das Paper verglich auch ihre neue, detaillierte Methode mit älteren Wegen der Messung von KI. Die alten Methoden waren wie das Betrachten einer Liste von Superkräften und der Aussage: „Diese KI kann alles!“ Die neue Methode ist eher so, als würde man der KI tatsächlich dabei zusehen, wie sie versucht, den Job zu erledigen, und sehen, wo sie stolpert. Sie fanden heraus, dass die alten Methoden viel zu optimistisch waren und vorhersagten, dass die KI bei 68 % der Jobs helfen könnte, während ihre realistischere Simulation nahelegt, dass es näher bei 47 % liegt.
Kurz gesagt: Dieses Paper sagt uns, dass KI ein mächtiges Werkzeug ist, das bereit ist, viel unserer Arbeit zu unterstützen, aber wir nutzen sie noch nicht, weil reale Hürden wie Datenschutzregeln und die Notwendigkeit physischer Hände im Weg stehen. Die Forscher haben eine Landkarte und einen Maßstab gebaut, der aktualisiert werden kann, sobald die KI klüger wird, um uns zu helfen zu verstehen, wo die Technologie als Nächstes landen wird, anstatt nur zu raten. Sie sagen nicht, dass die KI die Wirtschaft gelöst hat, aber sie haben uns ein viel klareres Bild davon gegeben, wo die Schlaglöcher und wo die freien Fahrspuren liegen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.