MyPCBench: A Benchmark for Personally Intelligent Computer-Use Agents
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen eine persönliche Assistenz ein, die Ihnen helfen soll, Ihr Leben zu managen. Sie würden ihr doch nicht einen brandneuen, leeren Schreibtisch ohne Dateien, ohne Fotos und ohne Erinnerung daran geben, wer Sie sind, oder? Sie würden erwarten, dass sie weiß, welches Ihr Lieblingscafé ist, wie hoch Ihr Kontostand ist, wann Ihr nächster Urlaub ansteht und wann der Geburtstag Ihres Freundes ist.
Das Problem: Der „Leere Schreibtisch“-Test
Derzeit sind die Tests, mit denen wir prüfen, ob KI-Computer intelligent genug sind, um persönliche Assistenten zu sein, so, als würde man ihnen diesen leeren Schreibtisch geben. Die KI wird gebeten, Aufgaben auf einem Computer auszuführen, der keine Historie, keine angemeldeten Konten und keine persönlichen Daten besitzt. Es ist, als würde man jemanden bitten: „Bestell dein übliches Abendessen“, wenn die Person keine Ahnung hat, wer man ist oder was man normalerweise bestellt.
Dieses Paper argumentiert, dass dies eine riesige Lücke ist. Echte persönliche Assistenten müssen ein digitales Leben navigieren, das chaotisch, vernetzt und voller persönlicher Geschichte ist.
Die Lösung: MYPCBENCH (Die „Michael Scott“-Simulation)
Um dies zu beheben, haben die Forscher einen neuen Test namens MYPCBENCH entwickelt. Anstatt eines leeren Schreibtisches haben sie ein voll ausgestattetes digitales Leben für einen bestimmten Charakter erschaffen: Michael Scott aus der Serie The Office.
Stellen Sie sich das wie das Bauen einer massiven, interaktiven Videospielwelt vor, in der:
- Der Charakter: Michael Scott ist der „Nutzer“.
- Die Daten: Der Computer ist vorinstalliert mit 1.812 Banktransaktionen, 2.398 E-Mails, 679 Kalenderereignissen und tausenden Chat-Nachrichten.
- Die Apps: Es gibt 17 verschiedene „falsche“ Websites (wie eine falsche Bank, eine falsche Fluggesellschaft, eine falsche Essensliefer-App), die alle miteinander verbunden sind. Wenn Michael auf der falschen Fluggesellschaft einen Flug bucht, erscheint automatisch eine Abbuchung auf seinem falschen Bankkonto und eine Bestätigungs-E-Mail landet in seinem falschen Posteingang.
- Das Ziel: Die KI muss als Michaels Assistent agieren und diese Apps nutzen, um reale Probleme unter Berücksichtigung seiner spezifischen Historie zu lösen.
Der Test: 184 reale Herausforderungen
Die Forscher haben 184 spezifische Aufgaben erstellt, die auf realen Anfragen basieren, die Menschen tatsächlich an KI-Assistenten richten. Diese Aufgaben reichen von einfach bis unglaublich komplex:
- Einfach: „Sende 100 $ via Zelle an Pam.“ (Die KI muss zuerst prüfen, ob Pam in den Kontakten existiert).
- Komplex: „Ich habe Reisen nach Jamaika und Barbados gebucht. Kann ich mir beides leisten, basierend auf meinem aktuellen Kreditkartenguthaben?“ (Die KI muss die Bank-App prüfen, das Reise-Tool nutzen und rechnen).
- Mustererkennung: „Wie viel Trinkgeld gebe ich normalerweise bei Essenslieferungen?“ (Die KI muss hunderte vergangene Bestellungen scannen, um ein Muster zu finden).
Die Ergebnisse: Die KI kämpft mit dem „echten Leben“
Die Forscher haben sechs der klügsten verfügbaren KI-Modelle (von Unternehmen wie Anthropic, OpenAI und anderen) auf diesen Test angewendet. Dies war das Ergebnis:
- Der beste Performer: Das Top-Modell (Claude Opus 4.6) schaffte es, etwa 55 % der Aufgaben perfekt zu lösen. Das klingt gut, aber denken Sie daran: Dies ist die beste verfügbare KI. Sie scheiterte dennoch fast die Hälfte der Zeit.
- Das „Multi-App“-Problem: Die KI wurde signifikant schlechter, wenn Aufgaben die Nutzung von mehr als einer App erforderten. Wenn eine Aufgabe die KI dazu zwang, zwischen 7 oder mehr verschiedenen Apps zu springen (z. B. E-Mails prüfen, dann den Kalender, dann die Bank, dann eine Reise-Website), sank die Erfolgsquote für die meisten Modelle auf 0 %.
- Das „Langzeitgedächtnis“-Problem: Die KI hatte Schwierigkeiten, lange Aktionsketten im Gedächtnis zu behalten. Wenn eine Aufgabe 50 Schritte erforderte, verlor die KI oft den Faden oder gab auf.
- Unterschiedliche Fehlermuster:
- Einige KIs (wie GPT) neigten dazu, zu früh aufzugeben und sagten „Ich bin fertig“, bevor sie die Aufgabe tatsächlich abgeschlossen hatten.
- Einige KIs (wie Qwen) begannen Dinge zu erfinden und kreierten Fakten über Michael Scott, die nicht in den Daten standen.
- Die beste KI (Claude) nahm manchmal Abkürzungen, indem sie die Befehlszeile des Computers nutzte (wie ein Hacker), anstatt durch die Menüs zu klicken, wie ein normaler Mensch es tun würde.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI zwar immer besser darin wird, Computer zu benutzen, aber noch nicht bereit ist, ein echter „persönlicher“ Assistent zu sein. Sie kann eine saubere, einfache Aufgabe bewältigen, bricht aber zusammen, wenn sie ein chaotisches, vernetztes, reales digitales Leben mit persönlicher Historie navigieren muss.
Die Forscher haben ihre Testumgebung (den „Michael Scott“-Computer) der Öffentlichkeit zur Verfügung gestellt, damit andere Wissenschaftler versuchen können, bessere Assistenten zu bauen, die tatsächlich die Komplexität des digitalen Lebens eines echten Menschen bewältigen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.