KramaBench: A Benchmark for AI Systems on Data-to-Insight Pipelines over Data Lakes
Die Arbeit stellt KramaBench vor, einen Benchmark mit 104 manuell erstellten Herausforderungen, der zeigt, dass aktuelle KI-Systeme zwar einzelne Datenaufgaben bewältigen können, aber beim Entwurf und der Ausführung funktionsfähiger End-to-End-Pipelines zur Gewinnung von Erkenntnissen aus komplexen Data Lakes erhebliche Schwierigkeiten haben.
Eugenie Lai, Gerardo Vitagliano, Ziyu Zhang, Om Chabra, Sivaprasad Sudhir, Anna Zeng, Anton A. Zabreyko, Chenning Li, Ferdi Kossmann, Jialin Ding, Jun Chen, Markos Markakis, Matthew Russo, Weiyang Wang, Ziniu Wu, Michael J. Cafarella, Lei Cao, Samuel Madden, Tim Kraska2026-03-09🤖 cs.AI