← Neueste Arbeiten
💻 computer science

DataSpace: Benchmarking Data Agents for Verifiable Analytics over Heterogeneous Workspaces

Dieses Paper stellt DataSpace vor, einen umfassenden Benchmark und ein KDD Cup 2026 Evaluierungs-Framework, das darauf ausgelegt ist, die Fähigkeit von Datenagenten zu bewerten, verifizierbare tabellarische Ergebnisse aus heterogenen, multimodalen Arbeitsbereichen zu generieren, wobei signifikante Leistungsunterschiede bei der Integration multimodaler Evidenz sowie der erhebliche Einfluss von Agenten-Harness-Wahlen auf die Zuverlässigkeit aufgezeigt werden.

Ursprüngliche Autoren: Boyan Li, Zhuowen Liang, Yupeng Xie, Xiaotian Lin, Tianqi Luo, Xinyu Liu, Yizhang Zhu, Zhangyang Peng, Yuan Li, Zhengxuan Zhang, Jiayi Zhang, Nan Tang, Guoliang Li, Yuyu Luo

Veröffentlicht 2026-08-05
📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre
CC BY 4.0

Ursprüngliche Autoren: Boyan Li, Zhuowen Liang, Yupeng Xie, Xiaotian Lin, Tianqi Luo, Xinyu Liu, Yizhang Zhu, Zhangyang Peng, Yuan Li, Zhengxuan Zhang, Jiayi Zhang, Nan Tang, Guoliang Li, Yuyu Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Ihre Hinweise sind überall verstreut. Einige befinden sich in einer ordentlichen Tabellenkalkulation auf Ihrem Computer, andere sind in einem 50-seitigen PDF-Bericht vergraben, wieder andere sind in einer Datenbank versteckt, und der wichtigste Hinweis könnte ein Video einer Überwachungskamera sein. Dies ist die tägliche Realität für „Data Agents“ – intelligente Computerprogramme, die darauf ausgelegt sind, Fragen zu beantworten, indem sie in den unordentlichen digitalen Dateien einer Organisation auf Spurensuche gehen. Lange Zeit testeten Wissenschaftler diese Agenten an sauberen, einheitlichen Rätseln, wie etwa dem Finden eines Namens in einem Telefonbuch oder dem Stellen einer einfachen Frage an eine Datenbank. Aber in der realen Welt ist die Datenlage ein chaotisches Gemisch aus Sprachen, Formaten und Medien. Die große Frage, die sich Forscher stellen, lautet: Können diese digitalen Detektive tatsächlich eine vollständige Geschichte aus einem ungeordneten Haufen von Beweismitteln zusammensetzen, oder verlieren sie sich, wenn die Hinweise nicht alle gleich aussehen?

Dieses Paper stellt einen neuen, extrem anspruchsvollen Test namens DataSpace vor, um genau zu prüfen, wie gut diese Data Agents darin sind, diese chaotischen, realen Rätsel zu lösen. Die Forscher bauten einen riesigen Spielplatz, der 410 verschiedene Aufgaben und 7.439 digitale Artefakte (Dateien) mit einem Gesamtvolumen von 15,01 GB an Daten umfasst. Sie haben nicht einfach nur wahllos Dateien zusammengewürfelt; sie schufen einen „heterogenen Arbeitsraum“, in dem eine einzige Frage erfordern kann, dass man ein Video sieht, ein PDF scannt, eine Datenbank abfragt und eine JSON-Datei abgleicht – und das alles, während man mit Hinweisen arbeitet, die sowohl auf Englisch als auch auf Chinesisch verfasst sind. Das Ziel ist nicht bloß das Finden eines einzelnen Faktums; der Agent muss eine vollständige, verifizierbare Tabelle mit Antworten erstellen, vergleichbar mit einem finalen Zeugnis.

Die Ergebnisse dieses Tests sind ein wenig wie ein Weckruf. Selbst die klügsten, fortschrittlichsten KI-Modelle, die getestet wurden (einschließlich Giganten wie Grok 4.5 und GPT-5.6), konnten nur etwa 66,34 % der Aufgaben korrekt lösen. Das bedeutet, dass sie etwa bei jedem dritten Rätsel falsch lagen. Die Forscher fanden heraus, dass die Agenten am meisten Schwierigkeiten haben, wenn sie Informationen aus verschiedenen Medientypen kombinieren müssen (wie etwa einen Hinweis aus einem Video mit einer Tabellenkalkulation zu verknüpfen) oder wenn sie komplexe „Joins“ durchführen müssen (das Verknüpfen von Daten aus zwei verschiedenen Quellen). Interessanterweise war die Wahl des „Harness“ – des Software-Frameworks, das der KI vorgibt, wie sie ihre Werkzeuge zu nutzen hat – fast so entscheidend wie das KI-Gehirn selbst und verursachte einen Unterschied von 15,36 Punkten in den Ergebnissen.

Letztendlich zeigt das Paper, dass Data Agents zwar besser werden, aber noch weit von Perfektion entfernt sind. Oft liefern sie die richtigen Zahlen, scheitern aber an der korrekten Formatierung der finalen Tabelle, oder sie übersehen einen entscheidenden Hinweis, der in einem Video verborgen ist. Die Autoren kommen zu dem Schluss, dass wir noch einen weiten Weg vor uns haben, bis diesen Agenten voll vertraut werden kann, komplexe, multiformatige Datenanalysen eigenständig durchzuführen, und sie haben diesen Benchmark als eine Art Landkarte bereitgestellt, die zukünftigen Ingenieuren helfen soll, diese spezifischen Schwachstellen zu beheben.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →

Mehr davon

Alle in dieser Kategorie 💻 cs →