EuroExec: Frontier Language Models Fall Short of Expert Judgment on European Executive Decision Tasks
Dieses Paper stellt EuroExec vor, einen Benchmark aus 413 realen europäischen Managementaufgaben, die von menschlichen Experten bewertet wurden und aufzeigt, dass selbst die stärksten führenden Large Language Models deutlich hinter professionellen menschlichen Standards zurückbleiben, indem sie nur 56,9 % der Aufgaben lösen und konsistent von von Experten geschriebenen Referenzen übertroffen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Assistenten ein, der Ihnen helfen soll, ein riesiges, komplexes Unternehmen zu führen. Sie brauchen nicht nur jemanden, der Fakten aus einem Lehrbuch rezitieren kann; Sie brauchen einen Strategen, der in der Lage ist, ein chaotisches, reales Problem zu erfassen, die lokalen Regeln zu verstehen und einen brillanten Plan zu entwerfen, der tatsächlich funktioniert. Dies ist die Welt der „Large Language Models“ (LLMs) – hochintelligente Computerprogramme, die mit riesigen Mengen an Text trainiert wurden und Geschichten schreiben, Fragen beantworten und Rätsel lösen können. Eine Zeit lang haben wir diese KI-Assistenten mit einfachen Multiple-Choice-Quizzes getestet, indem wir sie beispielsweise baten, die richtige Antwort aus einer Liste von vier Möglichkeiten auszuwählen. Doch in der realen Welt kommen Probleme selten mit einer Liste von Auswahlmöglichkeiten daher. Sie sind offen gestaltet, chaotisch und erfordern tiefgreifendes Urteilsvermögen. Die große Frage, die sich alle stellen, lautet: Können diese KI-„Genies“ tatsächlich die hochriskanten, offenen Entscheidungen bewältigen, die echte Führungskräfte jeden Tag treffen, oder sind sie lediglich sehr gut darin, Tests zu absolvieren?
Ein Team von Forschern von Sovrano AI beschloss, dies herauszufinden, indem es eine brandneue, ultra-schwierige Herausforderung namens EuroExec entwickelte. Anstatt ein einfaches Quiz zu erstellen, entwarfen sie eine massive Prüfung, die aus 413 komplexen, langfristigen Fragen auf Basis realer Geschäftsszenarien in Europa bestand. Sie ließen die KI nicht einfach nur raten; sie engagierten 47 echte menschliche Experten – Menschen mit jahrzehntelanger Erfahrung in den Bereichen Finanzen, Marketing, Wirtschaft und Produktmanagement –, um die Fragen zu formulieren und die Antworten zu bewerten. Diese Experten erstellten eine strikte Checkliste mit Anforderungen für jede Antwort und agierten wie ein strenger Chef, der die Arbeit eines Junior-Mitarbeiters überprüft. Anschließend baten sie sechs der weltweit fortschrittlichsten KI-Modelle, diese Probleme zu lösen, und verglichen die Leistung der KI mit den menschlichen Experten.
Die Ergebnisse waren ein kleiner Realitätscheck. Selbst die klügsten KI-Modelle der Welt hatten Mühe, mit den Profis Schritt zu halten. Das beste KI-Modell „löste“ nur etwa 56,9 % der Aufgaben, was bedeutet, dass es bei fast der Hälfte der Fragen den professionellen Standard nicht erfüllte. Im Gegensatz dazu lösten die menschlichen Experten, als sie gebeten wurden, ihre eigenen idealen Antworten zu verfassen, die Probleme mit einer nahezu perfekten Rate von 92,4 %. Als die Forscher die menschlichen Experten baten, die Antworten blind zu bewerten, bevorzugten diese die von Menschen geschriebenen Antworten in 74 % der Fälle gegenüber den Antworten der KI.
Die Studie untersuchte auch, wie die KI scheiterte. Während die Modelle recht gut darin waren, gut strukturierten Text zu verfassen und klar zu kommunizieren, fielen sie in Bezug auf tatsächliche Argumentation und Logik durch. Sie übersahen oft die spezifischen lokalen Regeln europäischer Märkte oder versäumten es, realistische, umsetzbare Pläne zu erstellen. Interessanterweise versuchten die Forscher, andere KI-Programme einzusetzen, um die Antworten automatisch zu bewerten, in der Hoffnung, Zeit und Geld zu sparen. Diese „KI-Richter“ waren jedoch unzuverlässig; sie neigten dazu, die Leistung der besten Modelle zu überschätzen, und übersahen die subtilen Nuancen, die menschliche Experten erfassten.
Letztendlich legt das Paper nahe, dass KI zwar unglaublich gut darin wird, Texte zu generieren, aber noch nicht bereit ist, menschliche Experten in der hochrangigen Entscheidungsfindung zu ersetzen. Die „Lösungsrate“ der besten KI knackte bei den einfachsten Fragen kaum die 50-Prozent-Marke, und selbst die fähigsten Modelle waren weit vom professionellen Standard entfernt, der für die Arbeit auf Führungsebene erforderlich ist. Die Forscher kommen zu dem Schluss, dass für diese Arten von komplexen, realen Aufgaben das menschliche Urteilsvermögen nach wie vor der Goldstandard ist und wir uns noch nicht auf automatische Messungen oder KI-Richter verlassen können, um zu beurteilen, ob ein Computer wirklich wie ein Experte „denkt“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.