Time as Structure: Temporal Dependency Graphs for Verifiable Deadline Computation over Legal Documents
Dieses Paper schlägt einen hybriden Ansatz vor, der zeitliche Abhängigkeiten aus juristischen Dokumenten in einen Graphen extrahiert, um eine code-basierte Fristenberechnung durchzuführen, wobei es demonstriert, dass diese Pipeline die direkte Beantwortung durch Sprachmodelle hinsichtlich Genauigkeit und Verifizierbarkeit signifikant übertrifft, insbesondere dadurch, dass sie arithmetische Fehler vermeidet, während gleichzeitig hervorgehoben wird, dass die Extraktion weiterhin die primäre Fehlerquelle darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt des Rechts ist die Zeit nicht bloß eine Kulisse; sie ist ein strukturelles Element, das über das Schicksal eines Anspruchs entscheiden kann. Eine rechtliche Einreichung muss oft bis zu einer bestimmten Frist erfolgen, die von einem Startereignis wie der Beendigung eines Arbeitsverhältnisses oder einem diskriminierenden Vorfall abgeleitet wird. Diese Berechnungen sind selten einfache Arithmetik. Sie erfordern das Zählen von Tagen nach strengen gesetzlichen Regeln, das Berücksichtigen von Pausen, in denen die Uhr stoppt, um eine obligatorische Mediation zu ermöglichen, und das Anpassen an die Besonderheiten des Kalenders, wie etwa Monate unterschiedlicher Länge oder Schaltjahre. Wenn ein Anspruch auch nur einen einzigen Tag zu spät eingereicht wird, ist er oft für immer ausgeschlossen, ungeachtet dessen, wie fundiert der Fall sein mag. Dies schafft ein Hochrisiko-Umfeld, in dem der Unterschied zwischen Erfolg und Misserfolg in Stunden gemessen wird, doch die Dokumente, die die notwendigen Daten enthalten, sind oft in komplexer, verschachtelter Rechtsprosa verborgen.
Forscher der Universität Leiden gingen der grundlegenden Frage nach, wie Computer mit diesem Problem umgehen sollten. Sie fragten sich, ob man einem großen Sprachmodell – der Art von künstlicher Intelligenz, die Texte lesen und zusammenfassen kann – vertrauen sollte, um diese Fristen direkt zu berechnen. Oder wäre es sicherer, den Computer zuerst die spezifischen Daten und deren Beziehungen aus dem Text extrahieren zu lassen, eine strukturierte Karte dieser Fakten zu erstellen und dann einen separaten, starren Rechner für die Mathematik verwenden zu lassen? Das Team entwickelte ein System, das die Zeit als ein Netzwerk verbundener Fakten behandelt, bei dem jedes Datum ein Knoten und die Regeln, die sie verbinden, die Kanten sind. Sie testeten diesen Ansatz gegen die Methode der direkten, rohen Beantwortung unter Verwendung echter Urteile britischer Arbeitsgerichte sowie eines massiven Satzes simulierter Fälle, bei denen die korrekte Antwort konstruktionsbedingt bekannt war.
Die Studie ergab, dass moderne Sprachmodelle zwar überraschend gut darin sind, Rechtstexte zu lesen, sie aber erheblich Schwierigkeiten haben, wenn sie gebeten werden, die erforderliche präzise Arithmetik für rechtliche Fristen durchzuführen. Wenn die Forscher ein leistungsfähiges Sprachmodell baten, einen Fall zu lesen und ein Fristdatum in einem Schritt auszugeるen, lieferte das Modell oft das falsche Endergebnis, selbst wenn seine internen logischen Schritte korrekt waren. In einer bemerkenswerten Feststellung berechnete das Modell manchmal die korrekte Anzahl an Tagen, widersprach sich dann aber im letzten Satz selbst, indem es einen verspäteten Anspruch als fristgerecht erklärte. Dies geschah in sechs von einundzwanzig Versuchen mit den stärksten getesteten Modellen. Der Fehler lag nicht in der Mathematik selbst, sondern in der Unfähigkeit des Modells, seine endgültige Schlussfolgerung konsistent mit der Arbeit in Einklang zu bringen, die es gerade eben vollzogen hatte.
Um den alternativen Ansatz zu testen, bauten die Forscher eine Pipeline, die zuerst die relevanten Daten und deren Abhängigkeiten in einen Graphen extrahiert – eine visuelle Struktur, in der der Computer sehen kann, wie ein Datum zu einem anderen führt. Eine separate, deterministische Engine wendete dann die strengen rechtlichen Regeln auf diesen Graphen an. Diese Engine rät nicht; sie folgt einem festen Satz von Anweisungen für das Zählen von Monaten, den Umgang mit Schaltjahren und die Anwendung der obligatorischen Pausen für die Schlichtung. Als dieses strukturierte System bei denselben realen Fällen getestet wurde, reproduzierte es die Daten der Richter perfekt und stimmte in sechs von sieben Fällen mit den Urteilen der Gerichte überein. Das System war so zuverlässig, dass es sich schlicht weigerte zu antworten und erklärte, warum, wenn es keinen klaren Ausgangspunkt im Text finden konnte, anstatt zu raten.
Die Forscher trieben den Test weiter voran, indem sie 427 neue Fälle erstellten. Sie nahmen echte Urteile und verschoben die Startdaten systematisch um einige Tage, wodurch sie genau die Grenze überschritten, an der ein Anspruch von „fristgerecht“ zu „zu spät“ wechselte. Dies schuf ein Szenario, in dem die korrekte Antwort mit absoluter Gewissheit bekannt war, da sie durch die Engine selbst berechnet wurde und nicht durch menschliche Annotation. In diesem strengen Test war die strukturierte Pipeline in 90,2 % der Fälle korrekt, die sie zu bearbeiten versuchte, während die direkten Sprachmodelle nur zu 6el 61,2 % korrekt waren. Die Stärke des strukturierten Systems lag in seiner Fähigkeit, die Kette der Abhängigkeiten zu handhaben; je länger die Ereigniskette wurde, desto verwirrter wurden die direkten Modelle, während das graphenbasierte System präzise blieb.
Dennoch identifizierte die Studie auch, wo diese neue Methode an ihre Grenzen stößt. Die Fehler im strukturierten System lagen fast nie in der Arithmetik oder der Berechnung der Frist. Stattdessen traten die Fehler beim allerersten Schritt auf: der Wahl des korrekten Ausgangspunkts im Text. In komplexen Rechtsdokumenten können mehrere Ereignisse wie potenzielle Ausgangspunkte aussehen, und das System wählte manchmal den falschen aus. Dies ist ein Problem des Verständnisses des rechtlichen Kontextes, nicht des Rechnens. Die Forscher fanden heraus, dass selbst die besten Sprachmodelle oft scheiterten, wenn sie gebeten wurden, diese Fakten zu extrahieren und das korrekte Ereignis mit der korrekten Regel zu verknüpfen, was darauf hindeutet, dass der schwierigste Teil der Aufgabe nicht die Berechnung ist, sondern die anfängliche Interpretation, welche Fakten relevant sind.
Letztlich zeigt die Arbeit, dass für Aufgaben, die eine strikte Einhaltung von Regeln und präzise Berechnungen erfordern, ein hybrider Ansatz am besten funktioniert. Indem das System das Lesen des Textes von der Ausführung der Mathematik trennt, gewinnt es eine Ebene der Zuverlässigkeit, die reinen Sprachmodellen fehlt. Das Sprachmodell funget als Übersetzer, der unordentliche Rechtsprosa in einen sauberen Satz von Fakten verwandelt, während die Engine als Richter fungiert, der das Gesetz ohne Zögern oder Widerspruch anwendet. Diese Arbeitsteilung ermöglicht es dem System, zuzugeben, wenn es unsicher ist, und einen klaren Grund für sein Zögern anzugeben, anstatt eine selbstbewusste, aber falsche Antwort zu liefern. Die Ergebnisse legen nahe, dass für rechtliche Fristen, bei denen ein einziger Tag alles verändern kann, das effektivste Werkzeug nicht ein Modell ist, das versucht, alles gleichzeitig zu tun, sondern ein System, das das Problem zerlegt, seine Arbeit überprüft und weiß, wann es aufhören und um Hilfe bitten muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.