LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes
Dieses Paper stellt LakeQuest vor, einen durch Menschen validierten Benchmark bestehend aus fast 10.000 QA-Paaren über drei diverse Domänen hinweg, der darauf ausgelegt ist, die Einschränkungen aktueller Retrieval-Augmented- und Agentic-Systeme bei der Durchführung von End-to-End-Beantwortungen von Fragen über realistische, heterogene Data Lakes zu evaluieren und aufzuzeigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wären ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines ordentlichen, einheitlichen Notizbuchs mit allen Hinweisen wurde Ihnen ein riesiges, chaotisches Lagerhaus übergeben. In diesem Lagerhaus befinden sich Millionen von losen Papieren, halb geschriebenen Büchern, Haftnotizen und kaputten Aktenschränken, die alle durcheinandergewürfelt sind. Einige Hinweise sind in einfachem Englisch verfasst, andere in komplexen Tabellenkalkulationen und manche sind nur vage Notizen auf der Rückseite von Umschlägen. Dies ist es, wie ein Data Lake in der realen Welt aussieht.
Lange Zeit wurden Computerprogramme, die darauf ausgelegt sind, Fragen zu beantworten (wie ein superintelligenter Detektiv), in sauberen, organisierten Bibliotheken trainiert, in denen jedes Buch an seinem richtigen Platz steht. Sie sind großartig darin, Antworten in diesen ordentlichen Räumen zu finden. Aber wenn man sie in das chaotische Lagerhaus der realen Daten eines Unternehmens wirft, gehen sie oft verloren, werden verwirrt oder erfinden Dinge dazu.
Hier kommt LAKEQUEST ins Spiel, ein neuer „Trainingsplatz“, der von Forschern entwickelt wurde, um zu testen, wie gut diese Detektiv-Programme tatsächlich durch das Chaos navigieren können. Sie bauten eine riesige Simulation mit 9.846 spezifischen Fragen und genau den Hinweisen, die nötig sind, um sie zu beantworten, verteilt auf drei sehr unterschiedliche Arten von chaotischen Lagern:
- Das KI/ML-Lager: Gefüllt mit Millionen von „Model Cards“ (wie Lebensläufen für Computerprogramme) und Datensatznotizen.
- Das Banken-Lager: Gefüllt mit Transaktionsbüchern, Kundenprofilen und strengen Regelwerken darüber, wer Geld überweisen darf.
- Das Arzneimittel-Lager: Eine Mischung aus wissenschaftlichen Forschungspapieren und strukturierten Tabellen über Medikamente.
Die große Entdeckung: Den Hinweis zu finden, ist nicht dasselbe wie das Rätsel zu lösen
Die wichtigste Erkenntnis der Forscher ist, dass nur weil ein Detektiv das richtige Stück Papier findet, bedeutet das noch lange nicht, dass er das Rätsel lösen kann.
In ihren Tests beobachteten sie die Programme dabei, wie sie versuchten, Fragen zu beantworten. Sie maßen zwei Dinge:
- Retrieval (Abruf): Hat das Programm die richtigen Dokumente gefunden?
- Reasoning (Schlussfolgerung): Hat das Programm diese Dokumente tatsächlich richtig gelesen und die Teile korrekt zusammengefügt?
Hier liegt der Clou: Die Programme waren überraschend gut darin, die richtigen Dokumente zu finden (manchmal fanden sie sogar andere Dokumente, die dieselbe Antwort enthielten), aber sie scheiterten oft daran, sie korrekt zu lesen.
- Im KI-Lager: Die Programme waren schrecklich darin, die spezifische Datei zu finden, die sie brauchten (sie fanden die richtige Datei für einige Fragen nur zu etwa 9 %). Wenn sie jedoch die richtige Datei gefunden hatten, konnten sie die Frage in 35 % der Fälle korrekt beantworten. Dies deutet darauf dahin, dass das Hauptproblem darin besteht, die Nadel im Heuhaufen zu finden.
- Im Banken-Lager: Die Programme waren tatsächlich sehr gut darin, die Regelbücher und Transaktionslisten zu finden (sie fanden die Regeln zu 85–94 % der Zeit). Aber als es darum ging, die Regel mit der spezifischen Transaktion zu kombinieren, um eine Entscheidung zu treffen, unterliefen ihnen Fehler. Ihre Genauigkeit sank auf etwa 60 %. Es ist, als fände man das „Nicht rennen“-Schild und das Bild eines rennenden Kindes, stellt aber nicht fest, dass das Kind gegen die Regel verstoßen hat.
- Im Arzneimittel-Lager: Die Programme konnten die Textpassagen fast perfekt finden (98 %), aber wenn sie diesen Text mit einer komplexen Tabelle chemischer Daten kombinieren mussten, stürzte ihre Genauigkeit auf 66 % ab. Sie konnten die Hinweise finden, aber sie konnten die Verbindung zwischen dem Text und den Zahlen nicht herstellen.
Warum das wichtig ist (und was es nicht ist)
Die Forscher schlossen explizit die Idee aus, dass „besseres Suchen“ das Einzige ist, was wir zur Lösung benötigen. Sie bewiesen, dass selbst wenn man einem Programm die perfekten Hinweise (die „Goldene Evidenz“) gibt, es immer noch Schwierigkeiten hat, logisch darüber nachzudenken, insbesondere in den Arzneimittel- und Banken-Lagern. In den Arzneimittel-Tests erreichten die Programme selbst mit den perfekten Hinweisen nur eine Genauigkeit von 62,5 %. Das bedeutet, das Problem ist nicht nur, dass die Programme blind sind; es ist, dass sie schlecht darin sind, zu denken, wenn die Hinweise unordentlich und vermischt sind.
Sie testeten auch „agentische“ Systeme – Programme, die wie kleine Roboter agieren, die mehrere Schritte unternehmen, um zu suchen, zusammenzufassen und zu planen. Obwohl diese Roboter intelligenter waren, waren sie auch viel langsamer und verbrauchten deutlich mehr Rechenleistung (Tokens). Zum Beispiel verbrauchte eine einfache „Vermutung“ des Roboters etwa 0,06 tausend Tokens, während der Roboter, der sich Zeit nahm zu suchen und zu planen, bis zu 1,27 tausend Tokens verbrauchte. Das ist so, als würde man einen Detektiv einstellen, der eine Woche braucht, um ein Verbrechen zu lösen, das in einer Stunde hätte gelöst werden können, nur um ganz sicher zu gehen.
Das Urteil
Das Paper behauptet nicht, das Problem gelöst zu haben. Stattdessen liefert es eine präzise Landkarte dessen, wo die aktuellen „Detektive“ scheitern. Es zeigt, dass wir uns nicht nur auf bessere Suchmaschinen verlassen können; wir müssen diesen Systemen beibringen, wie sie besser in der Synthese werden – also wie sie eine Regel aus einem Richtliniendokument, eine Zahl aus einem Bankbuch und eine Tatsache aus einem Forschungspapier nehmen und sie zu einer einzigen, wahrheitsgetreuen Antwort verweben, ohne Dinge zu erfinden.
Die Forscher haben diesen Benchmark mit 9.846 von Menschen validierten Fragen erstellt, um sicherzustellen, dass jeder einzelne Testfall fair ist und die „goldenen Hinweise“ echt sind. Sie fanden heraus, dass moderne KI zwar besser darin wird, Dinge zu finden, aber immer noch damit kämpft, Sinn aus den unordentlichen, realen Daten zu ziehen, die Unternehmen und Wissenschaftler jeden Tag tatsächlich verwenden. Der Weg nach vorn besteht nicht nur darin, mehr Hinweise zu finden; es geht darum, zu lernen, wie man sie alle gleichzeitig liest.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.