Benchmarking Real-Time Question Answering via Executable Code Workflows
Die Studie stellt RT-QA vor, ein dynamisches Evaluierungsframework, das ausführbare Code-Workflows zur Generierung aktueller Ground-Truth-Daten nutzt, um die signifikanten Defizite moderner KI-Modelle bei der Echtzeit-Informationssuche und insbesondere bei der temporalen Kontextverwaltung aufzudecken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Problem: Der "verstaubte" Wissensspeicher
Stell dir vor, du hast einen sehr klugen, aber etwas verstaubten Bibliothekar (das ist die aktuelle Künstliche Intelligenz). Dieser Bibliothekar hat Millionen Bücher gelesen und weiß alles über Geschichte, Wissenschaft und Fakten, die bis zu einem bestimmten Datum in den Büchern stehen.
Aber wenn du ihn heute fragst: "Was war das Wetter gestern in Berlin?" oder "Welches Fußballspiel gab es heute Abend?", stößt er auf ein Problem. Seine Bücher sind statisch. Die Informationen darin ändern sich nicht. Wenn er versucht, dir zu antworten, greift er oft auf sein "Gedächtnis" zurück, das eigentlich nur alte Daten sind. Er könnte dir sagen: "Nun, im letzten Jahr war es so..." – aber das ist für deine heutige Frage nutzlos.
Bisherige Tests für diese KI-Systeme waren wie ein Quiz mit alten Fragen. Man hat der KI Fragen gestellt, deren Antworten man schon kannte und in einem Ordner abgelegt hatte. Das Problem: Die KI konnte die Antworten einfach auswendig lernen, anstatt wirklich zu suchen. Es war wie ein Schüler, der die Lösungen für die Mathearbeit schon vorher gesehen hat.
Die Lösung: RT-QA – Der "Live-Reporter"
Die Forscher von Li Auto und der Minzu-Universität haben sich gedacht: "Wir brauchen einen neuen Test, bei dem die KI nicht auswendig lernen kann, sondern live recherchieren muss."
Sie haben RT-QA (Real-Time Question Answering) entwickelt.
Die große Idee:
Statt einer festen Antwort in einem Ordner zu speichern, haben sie für jede Frage einen automatischen Roboter-Code geschrieben.
- Die Frage: "Was sind die Aktienkurse von Tesla gerade jetzt?"
- Der Code: Ein kleines Programm, das genau in dem Moment, in dem die KI antworten soll, automatisch auf die Finanz-Website geht, die Zahlen liest und die korrekte Antwort berechnet.
Das ist wie ein Live-Reporter, der direkt am Telefon steht, während die KI antwortet. Wenn die KI lügt oder sich irrt, kann der Reporter sofort sagen: "Nein, das stimmt nicht, hier ist der aktuelle Stand."
Wie funktioniert das im Detail?
- Der Agent (Der Detektiv): Die KI muss nicht nur lesen, sondern aktiv werden. Sie muss wie ein Detektiv durch das Internet surfen, Webseiten öffnen und die richtigen Informationen herausfiltern.
- Der Selbst-Reparatur-Mechanismus: Webseiten ändern sich ständig (neues Design, andere Buttons). Normalerweise würde ein Roboter-Code dabei kaputtgehen. Aber in diesem System gibt es einen "Reparatur-Automaten". Wenn der Code hängen bleibt, analysiert er die neue Webseite, findet den neuen Button und repariert sich selbst, damit er weiterarbeiten kann.
- Die Schwierigkeitsstufen:
- Level 1 (Einfach): "Wie war das Wetter gestern?" (Direkte Suche).
- Level 2 (Mittel): "In welcher Stadt fand der HICOOL-Gipfel 2025 statt und wie war das Wetter dort gestern?" (Hier muss die KI erst herausfinden, wo der Gipfel war, und dann das Wetter suchen).
- Level 3 (Schwer): Noch komplexere Verknüpfungen.
Was haben sie herausgefunden? (Die Überraschung)
Als sie die besten KI-Modelle der Welt (wie GPT-5, Claude, Gemini) getestet haben, kam ein schockierendes Ergebnis: Sie waren überraschend schlecht!
Selbst die "Besten" lagen nur bei ca. 46 % korrekten Antworten. Das ist weniger als ein Münzwurf.
Warum scheitern sie? Die Forscher haben zwei Hauptfehler gefunden:
Der "Faule Sucher" (Lazy Retrieval):
Stell dir vor, du suchst nach einer Information. Die KI schaut sich nur die kurze Zusammenfassung bei Google an (den "Snippet") und glaubt, das sei die ganze Wahrheit. Sie klickt nicht auf die eigentliche Webseite, um nachzulesen.- Analogie: Es ist, als würde ein Detektiv nur den Polizeibericht lesen, ohne den Tatort zu besuchen. Er verpasst wichtige Details.
Die "Zeit-Verwirrung" (Temporal Confusion):
Das ist der lustigste und gefährlichste Fehler. Die KI findet eine alte Information (z. B. "Im Jahr 2024 fand ein Konzert statt") und vergisst, dass wir heute im Jahr 2026 sind. Sie verwechselt die Vergangenheit mit der Gegenwart.- Analogie: Stell dir vor, du fragst: "Wer ist heute der Präsident?" und die KI antwortet mit dem Namen des Präsidenten von 2010, weil sie in einem alten Buch gelesen hat, dass er damals im Amt war. Sie kann den "Zeitanker" nicht setzen.
Warum ist das wichtig?
Diese Studie zeigt uns, dass KI noch nicht wirklich "intelligent" im Umgang mit der lebendigen Welt ist. Sie ist gut darin, alte Bücher zu zitieren, aber schlecht darin, die heutige Welt zu verstehen.
Die Forscher sagen: Wir müssen KI nicht nur besser im Suchen machen, sondern ihr beibringen, die Zeit im Kopf zu behalten. Sie muss wissen: "Das hier ist gestern passiert, das hier ist heute."
Fazit:
RT-QA ist wie ein neuer, strenger Lehrer für KI. Er gibt keine alten Hausaufgaben, sondern verlangt, dass die Schüler live im Internet recherchieren und sich nicht von alten Daten täuschen lassen. Bis die KI diesen Test besteht, sind sie noch keine echten "Assistenten" für unsere schnelle, sich ständig ändernde Welt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.