ProEvent: An Event-centric Benchmark for Proactive Agents
Das Paper stellt ProEvent vor, den ersten ereigniszentrierten Benchmark zur Evaluierung der Fähigkeit proaktiver Agenten, Nutzerereignisse aus Instant-Messaging-Chats autonom zu verfolgen, wobei aufgezeigt wird, dass aktuelle große Sprachmodelle erheblich mit Timing, Ereignisabsagen und implizitem Schließen zu kämpfen haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten digitalen Assistenten, der nicht nur darauf wartet, dass Sie um Hilfe bitten, sondern Ihr Leben wie ein Falke beobachtet und errät, was Sie brauchen, noch bevor Sie selbst ein Wort sagen. Dies ist der Traum von „proaktiven Agenten“. Im Gegensatz zu einem gewöhnlichen Roboter, der untätig dasitzt, bis man auf einen Knopf drückt, ist ein proaktiver Agent wie ein persönlicher Koch, der sofort mit dem Schneiden des Gemüses beginnt, sobald er den Knoblauch riecht, oder wie ein Freund, der Ihnen den Regenschirm reicht, in dem Moment, in dem der Himmel grau wird. Die große Herausforderung in der Informatik besteht derzeit darin, diesen digitalen Gehirnen beizubringen, dies zu tun, ohne durch die chaotische, unordentliche Realität des menschlichen Lebens verwirrt zu werden. Wir wissen, dass Computer großartig darin sind, strengen Regeln zu folgen, aber das echte Leben ist voller versteckter Hinweise, überlappender Gespräche und Menschen, die ihre Meinung ändern, ohne „Abbrechen“ zu sagen. Wenn wir wollen, dass diese Agenten wirklich hilfreich sind, müssen sie in der Lage sein, unsere zukünftigen Pläne – wie eine Wanderung oder ein Treffen – allein durch das Zuhören auf unsere Textnachrichten zu verfolgen, und sie müssen genau wissen, wann sie das Wort ergreifen und wann sie schweigen sollen.
Hier kommt PROEVENT ins Spiel, ein neues „Trainingsgelände“, das von Forschern entwickelt wurde, um zu testen, ob diese digitalen Assistenten tatsächlich bereit für die reale Welt sind. Stellen Sie sich PROEVENT wie das Level eines riesigen, hochriskanten Videospiels vor, bei dem der Spieler eine KI ist, die versucht, den Kalender eines Menschen zu verwalten. Anstatt der KI eine ordentliche Liste von Terminen zu geben, füttern die Forscher sie mit einem Strom von chaotischen, realistischen Chat-Verläufen. Die KI muss Gesprächen zwischen Freunden, Kollegen und Familienmitgliedern zuhören, herausfinden, welche Ereignisse geplant werden, und dann den Kalender entsprechend aktualisieren. Aber hier ist der Clou: Die Chats sind voller Ablenkungen. Es gibt Nebengespräche über Belanglosigkeiten, Menschen, die Pläne mitten im Prozess ändern, und Nachrichten, die wie Absagen klingen, es aber nicht sind. Die KI muss gleichzeitig Detektiv, Schreiber und Zeitmanager sein.
Die Forscher haben diesen Test erstellt, indem sie tausende, fiktive, aber sehr realistische Chat-Protokolle generiert haben. Sie programmierten „Charaktere“ mit unterschiedlichen Persönlichkeiten und Zielen und simulierten komplexe Szenarien, in denen Menschen Besprechungszeiten verhandeln, Pläne absagen, weil sie sich krank fühlen, oder versuchen, Dinge zu planen, die niemals tatsächlich stattfinden. Sie fügten sogar „Rauschen“ hinzu – zufällige Nachrichten, die nichts mit dem Hauptereignis zu tun haben – um zu sehen, ob die KI abgelenkt würde. Das Ziel war einfach: Kann die KI allein durch das Lesen dieser Chats einen Zeitplan korrekt erstellen und aktualisieren?
Als sie acht verschiedene leistungsstarke KI-Modelle durch diesen Test schickten, waren die Ergebnisse eine Mischung aus „nicht schlecht“ und „oh nein“. Die größte Überraschung war, dass die KIs dazu neigen, übermäßig eifrig zu sein. Stellen Sie sich einen Hund vor, der bei jedem Blatt, das sich bewegt, bellt; diese KIs versuchten ständig, den Kalender zu aktualisieren, selbst wenn sich gar nichts geändert hatte. Tatsächlich versuchten sie bei einigen Modellen wie DeepSeek-V3.2 in mehr als 96 % der Fälle Änderungen vorzunehmen, obwohl sie eigentlich hätten schweigen sollen. Sie waren so sehr darauf bedacht, keine Chance zur Hilfe zu verpassen, dass sie am Ende Chaos anrichteten.
Ein weiteres großes Hindernis war die Stornierung. Wenn ein Nutzer sagt: „Ich fühle mich nicht gut, vielleicht kann ich doch nicht kommen“, weiß ein Mensch, dass das eine Absage ist. Die KIs waren tatsächlich recht gut darin, zu erkennen, dass eine Löschung notwendig sein könnte (sie erkannten etwa die Hälfte der tatsächlichen Absagen), aber sie hatten Schwierigkeiten damit, sich darüber sicher zu sein. Sie löschten häufig Ereignisse, die noch stattfanden, oder entfernten die falschen Pläne komplett. Das Paper legt nahe, dass selbst die fortschrittlichsten Modelle, wie das Modell namens GPT-5.1, in etwa nur in 26,7 % der kniffligen Szenarien die richtige Antwort gaben. Das bedeutet, dass sie in etwa drei von vier Fällen den Zeitplan vermasselten.
Die Studie fand auch heraus, dass diese digitalen Gehirne eine seltsame Schwachstelle haben: Sie verstehen nicht wirklich, wem sie helfen. Wenn ein Nutzer sagt: „Ich kann nicht zur Party kommen“, entfernt die KI oft nur den Namen des Nutzers von der Gästeliste, lässt die Party aber im Kalender stehen. Es ist wie ein Kellner, der, wenn man ihm sagt, dass man satt ist, zwar nur den Namen von der Reservierung streicht, aber den Tisch trotzdem für einen gedeckt lässt. Die KI betrachtet das Ereignis aus der Außenperspektive, wie einen Beobachter aus der dritten Person, anstatt in die Schuhe des Nutzers zu schlüpfen und zu erkennen: „Oh, ich (der Nutzer) gehe nicht, also ist dieses Ereignis für mich beendet.“
Kurz gesagt: Obwohl diese KI-Agenten intelligenter werden, sind sie noch nicht ganz bereit, Ihr proaktiver Lebensmanager zu sein. Sie sind zu sprunghaft, lassen sich von komplexen Gesprächen verwirren und haben Schwierigkeiten, den Unterschied zwischen einem „Vielleicht“ und einem „Nein“ zu verstehen. Die Forscher hoffen, dass sie durch die Nutzung von PROEVENT, um genau aufzuzeigen, wo diese KIs scheitern, in zukünftigen Versionen lernen werden, geduldiger, genauer und endlich mehr wie ein hilfreicher menschlicher Freund zu sein, der genau weiß, wann er einem den Regenschirm reichen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.