Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding
Dieses Paper stellt TIDE vor, einen neuen, durch Experten verifizierten Benchmark zur Evaluierung von Large Language Models beim Verständnis zeitlich evolvierender Dokumente, welcher aufzeigt, dass aktuelle Modelle erheblich Schwierigkeiten bei der Versionsauflösung haben und oft vertrauenswürdiges parametrisches Wissen gegenüber autoritativem, zeitspezifischem Text priorisieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die richtige Regel für ein Spiel zu finden, aber das Regelwerk ist ein lebendiges Wesen, das sich jeden Tag verändert. In der Welt der künstlichen Intelligenz gibt es zwei Hauptarten, wie Wissen normalerweise gehandhabt wird. Die erste ist wie eine riesige Enzyklopädie: Wenn sich ein Fakt ändert, wird der alte einfach gelöscht und durch den neuen ersetzt. Wenn Sie nach der Hauptstadt eines Landes fragen, das seinen Namen geändert hat, zeigt die Enzyklopädie einfach nur den neuen Namen an. Der zweite Weg, der weitaus komplizierter ist, gleicht einem Stapel von Rechtsverträgen oder einem Videospiel mit Patches. Hier verschwindet eine alte Regel nicht; sie bleibt für die Zeit, in der sie aktiv war, vollkommen korrekt, während eine neue Regel später übernimmt. Wenn Sie fragen: „Wie hoch war die Geschwindigkeitsbegrenzung im Jahr 2015?“, benötigen Sie die Regel aus dem Jahr 2015 und nicht die aus dem Jahr 2025. Wenn der Computer hier einen Fehler macht, ist das nicht nur ein einfaches Versehen; es könnte so sein, als würde man jemandem sagen, die falschen Steuern zu zahlen oder eine medizinische Richtlinie zu befolgen, die vor Jahren aufgehoben wurde. Dies ist die Herausforderung der „Versionsauflösung“ (Version Resolution): herauszufinden, welche Version einer Regel zu einem bestimmten Datum genau maßgeblich war.
Ein Forscherteam hat einen neuen Test namens TIDE (Temporal Information Drift in Evolving Documents) entwickelt, um zu prüfen, ob die heutigen intelligentesten KI-Computer mit dieser kniffligen Zeitreise-Logik umgehen können. Sie haben nicht einfach nur fiktive Fragen erfunden; sie haben 644 echte, offizielle Dokumente der Regierung von Bangladesch ausgegraben, die Zollgesetze, Steuergesetze und Vorschriften von 1969 bis hin zu 2025 abdecken. Diese Dokumente sind unordentlich, mischen Englisch und Bengali und enthalten ein Geflecht von Änderungen, bei denen eine Regel eine andere aufhebt, welche wiederum durch eine dritte aufgehoben wird. Die Forscher erstellten 3.050 Fragen basierend auf diesen Dokumenten und baten die KI, wie ein Zeitreise-Anwalt zu agieren. Sie testeten neun der leistungsfähigsten verfügbaren KI-Modelle und gaben ihnen drei verschiedene Wege, um Antworten zu finden: sich nur auf das zu verlassen, was sie während des Trainings auswendig gelernt hatten (wie bei einer Klausur ohne Hilfsmittel), die exakten Dokumente zu lesen, die ihnen zur Verfügung gestellt wurden, oder eine Datenbank zu durchsuchen, um die richtigen Seiten zu finden.
Die Ergebnisse waren ein wenig wie ein Weckruf. Selbst die besten KI-Modelle, wenn man ihnen die perfekten Dokumente zum Lesen gab, beantworteten nur etwa 68,5 % der Fragen richtig. Das bedeutet, dass sie immer noch in mehr als jedem dritten Fall versagten, selbst wenn die Antwort direkt vor ihren „Augen“ lag. Die Studie stellte fest, dass diese Modelle überraschend gut darin sind, den richtigen Text zu finden, wenn sie genau wissen, wo sie suchen müssen, aber sie sind schrecklich darin, zu erkennen, dass ein Text, den sie gerade lesen, tatsächlich die falsche Version für das betreffende Datum ist. Wenn Sie der KI beispielsweise ein Dokument geben, in dem steht: „Die Steuer beträgt 10 %“, die Frage aber nach einer Zeit fragt, in der die Steuer 5 % betrug, ignoriert die KI das Dokument oft beharrlich und hält stattdessen an ihrem Gedächtnis oder dem falschen Text fest. Tatsächlich, als die Forscher versuchten, die KI mit einer selbstbewussten, aber falschen Aussage zu täuschen, waren die Modelle sehr gut darin, einen Fehler zu registrieren (sie erkannten Fehler in etwa 79 % der Fälle), aber sie waren schrecklich darin, genau zu benennen, was falsch war (sie identifizierten den spezifischen Fehler nur in etwa 19 % der Fälle). Das bedeutet, sie spüren ein Problem zwar oft, geben dann aber selbstbewusst die falsche Ursache an.
Das Paper legt nahe, dass es nicht ausreicht, der KI einfach mehr Text zum Lesen oder bessere Suchwerkzeuge zur Verfügung zu stellen, um dieses Problem zu lösen. Die Modelle haben am meisten Schwierigkeiten mit Aufgaben, die erfordern, eine Zeitlinie zusammenzusetzen, wie etwa Ereignisse in die richtige Reihenfolge zu bringen oder zu berechnen, wie die Regel „drei Jahre später“ lautete. Sie neigen dazu, anzunehmen, dass Regeln nur strenger werden oder sich in eine einzige Richtung ändern, wobei sie die Tatsache übersehen, dass Gesetze oft aufgehoben oder zu alten Versionen zurückgeführt werden. Während die Forscher zeigten, dass das Vorhandensein der richtigen Dokumente hilft, garantiert dies keinen Erfolg. Die Studie kommt zu dem Schluss, dass die „Versionsauflösung“ weiterhin eine große, ungelöste Hürde für die KI darstellt. Bis diese Modelle wirklich in der Lage sind, den Zeitfluss in juristischen Dokumenten zu verstehen, könnten sie für reale Aufgaben wie die Steuererklärung oder die Zollabwicklung zu riskant sein, bei denen ein falsches Datum zu schwerwiegenden finanziellen oder rechtlichen Problemen führen könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.