Using profiles of cognitive capability to assess AI suitability for workplace tasks

In der modernen Arbeitswelt formuliert sich eine leise, aber dringliche Frage, die das Denken von Organisationen über ihre Zukunft neu gestaltet: Welche Aufgaben können sicher an künstliche Intelligenz übertragen werden und welche müssen in menschlicher Hand bleiben? Jahrelang blieb die Antwort darauf schwer fassbar. Unternehmen verlassen sich oft auf breite, aggregierte Testergebnisse, um die Intelligenz einer Maschine zu beurteilen – ganz so, wie ein Schulleiter das gesamte Jahr eines Schülers anhand einer einzigen Abschlussprüfung bewerten könnte. Diese Werte bieten eine Momentaufnahme der allgemeinen Leistung, erklären jedoch selten, warum ein System erfolgreich ist oder scheitert, und sie sagen auch nicht voraus, wie es mit der chaotischen, unvorhersehbaren Komplexität der realen Arbeitswelt umgehen wird. Wenn eine Maschine in einem kontrollierten Test versagt, ist dies oft ein Mysterium; wenn sie in einem echten Büro oder einer Fabrik versagt, können die Folgen kostspielig und gefährlich sein. Die zentrale Herausforderung besteht darin, dass künstliche Intelligenz nicht wie ein Mensch denkt. Ihre Stärken und Schwächen sind zackig und ungleichmäßig; sie mag über eine riesige Bibliothek an Fakten verfügen, aber Schwierigkeiten mit der einfachen Logik der Planung einer Abfolge von Ereignissen haben. Um diese Systeme sicher einzusetzen, benötigen Führungskräfte eine Möglichkeit, die spezifischen kognitiven Anforderungen eines Jobs gegen die spezifischen kognitiven Fähigkeiten einer Maschine abzuwägen und so über bloßes Raten hinauszugehen, hin zu einer klaren, evidenzbasierten Bewertung.

Ein neuer technischer Bericht von Forschern der Universität Cambridge und anderer Institutionen bietet eine Lösung für dieses Problem. Anstatt zu fragen, ob eine Maschine eine bestimmte Aufgabe ausführen kann, entwickelte das Team eine Pipeline, um die zugrunde liegenden mentalen Fähigkeiten zu profilieren, die für diese Aufgabe erforderlich sind, und diese direkt mit den Fähigkeiten der Maschine zu vergleichen. Sie begannen damit, die komplexe Welt des KI-Testens in achtzehn Kern-Kognitionsfähigkeiten zu unterteilen, wie etwa Gedächtnis, logisches Denken, Planung und soziales Verständnis. Unter Verwendung einer massiven Sammlung bestehender Testfragen annotierten sie jede einzelne, um genau zu bestimmen, welche dieser mentalen Fähigkeiten sie erforderte und wie schwierig sie war. Dies erstellte eine detaillierte „Anforderungskarte“ der Tests. Anschließend nutzten sie diese Karte, um das wahre kognitive Profil von sechs verschiedenen KI-Systemen abzuleiten – nicht nur, indem sie deren Endergebnisse betrachteten, sondern indem sie analysierten, wie sie bei den verschiedenen Arten mentaler Herausforderungen abschnitten. Das Ergebnis war ein Profil für jede Maschine, das genau zeigte, wo ihre Fähigkeiten stark und wo sie fragil waren, und offenbarte, dass die Systeme zwar in ihrer Gesamtleistung variierten, aber eine bemerkenswert ähnliche Form von Stärken und Schwächen aufwiesen.

Um diese Profile für reale Entscheidungen nutzbar zu machen, mussten die Forscher wissen, was menschliche Arbeitnehmer tatsächlich benötigen, um ihre Aufgaben zu erfüllen. Sie befragten 410 Angestellte aus sechs verschiedenen Berufsfeldern, die von Lagerlogistik und Fertigung bis hin zu Kundenservice und Datenanalyse reichten. Anstatt diese Arbeiter zu bitten, vorherzusagen, wie gut eine Maschine abschneiden würde, baten die Forscher sie, die kritischsten mentalen Fähigkeiten zu identifizieren, die für ihre täglichen Aufgaben erforderlich sind. Die Mitarbeiter bewerteten die Wichtigkeit von Fähigkeiten wie Problemlösung, Planung und Kommunikation für ihre spezifischen Rollen. Dieser Prozess enthüllte einen „kognitiven Kern“, der für fast alle Jobs gemeinsam ist: eine starke Abhängigkeit von Gedächtnis, Sprache und der Fähigkeit, vorausschauend zu planen. Während verschiedene Jobs unterschiedliche Sekundärfähigkeiten betonten – wie etwa räumliches Vorstellungsvermögen für Lagerarbeiter oder soziales Verständnis für Verkaufspersonal –, war die grundlegende mentale Maschinerie, die für die Arbeit erforderlich ist, über alle Bereiche hinweg überraschend konsistent.

Als die Forscher die KI-Profile über die Jobanforderungen legten, zeichnete sich ein klares Bild der Eignung ab. Die Studie fand heraus, dass die fortschrittlichsten KI-Systeme am besten für Aufgaben geeignet sind, die stark auf Sprache, Faktenwissen und soziale Interaktion beruhen – Bereiche, in denen heutige Maschinen exzellent sind. Sie hatten jedoch konsequent Schwierigkeiten mit Aufgaben, die komplexes Planen, das Denken über physische Objekte oder das Verständnis von Ursache-Wirkungs-Beziehungen in dynamischen Umgebungen erforderten. Entscheidend war, dass die Forscher entdeckten, dass die Unterschiede zwischen den verschiedenen KI-Modellen weitaus geringer waren als die Unterschiede zwischen den verschiedenen Arten von kognitiven Fähigkeiten. Mit anderen Worten: Ein KI-System unterschied sich nicht radikal von einem anderen in seiner allgemeinen „Persönlichkeit“; vielmehr waren alle von ihnen in einigen Bereichen stark und in anderen schwach. Die leistungsfähigsten Systeme zeigten nur moderate Verbesserungen in Planung und Kontrolle im Vergleich zu ihren Nebenwesen, was darauf hindeutet, dass Maschinen zwar besser darin werden, Informationen zu organisieren, aber noch weit davon entfernt sind, die Art von flexiblem, zielgerichtetem Verhalten zu meistern, das Menschen als selbstverständlich voraussetzen.

Das Framework bot zudem eine Möglichkeit, einen „Eignungswert“ für jeden spezifischen Job zu berechnen, was es Organisationen ermöglicht, zu sehen, welche Aufgaben bereit für die Automatisierung sind und welche nicht. Durch die Kombination des Kapazitäts-Profils der Maschine mit der Wichtigkeit der Aufgabe für das Unternehmen konnte das System jene hochprioritären Gelegenheiten hervorheben, in denen KI sowohl effektiv als auch wertvoll wäre. Beispielsweise erwiesen sich Aufgaben wie Datenanalyse und administrative Recherche als starke Kandidaten für die Automatisierung, während Rollen, die tiefes zwischenmenschliches Rapport oder komplexes physisches Denken erfordern, fest im menschlichen Bereich verankert blieben. Die Forscher testeten diesen Ansatz an einem einzelnen Unternehmen und zeigten, wie die Methode auf die spezifischen Bedürfnisse einer Organisation zugeschnitten werden kann, indem man von allgemeinen Branchentrends zu den spezifischen Pflichten einzelner Mitarbeiter übergeht.

Die Studie argumentiert explizit gegen die Vorstellung, dass ein einziger hoher Testwert ausreicht, um die Zuverlässigkeit einer Maschine am Arbeitsplatz zu garantieren. Sie zeigt auf, dass ein System mit einem hohen Durchschnittswert dennoch katastrophal scheitern kann, wenn ihm eine spezifische, verborgene Fähigkeit fehlt, die für einen bestimmten Job erforderlich ist. Die Forscher mahnen zudem an, dass ihre Ergebnisse auf der aktuellen Generation von KI-Modellen und den heute verfügbaren Tests basieren. Wenn neue Maschinen gebaut und neue Tests entwickelt werden, müssen die Profile aktualisiert werden. Die Methode selbst bleibt jedoch robust. Indem sie die Messung dessen, was eine Maschine kann, von der Messung dessen trennt, was ein Job erfordert, bietet das Framework eine stabile, wissenschaftliche Sprache für die Diskussion über die Zukunft der Arbeit. Es legt nahe, dass der Weg nach vorn nicht darin besteht, eine Maschine zu finden, die alles kann, sondern darin, die spezifischen, ungleichmäßigen Fähigkeiten unserer aktuellen Werkzeuge sorgfältig mit den spezifischen, ungleichmäßigen Anforderungen menschlicher Arbeit abzustimmen, um sicherzustellen, dass Automatisierung dort eingesetzt wird, wo sie wirklich erfolgreich sein wird.