GreekBarRetrieval: A Benchmark for Greek Statutory Retrieval
Dieses Paper stellt GreekBarRetrieval vor, einen neuen Benchmark für die griechische gesetzliche Abfrage, der aus Fragen aus Anwaltsprüfungen abgeleitet wurde, und zeigt auf, dass eine zehnstufige, auf LLMs basierende Query-Reformulierungs-Schleife die Leistung von BM25 signifikant verbessert und es ihm ermöglicht, sowohl herkömmliche dichte Retriever als auch andere fortgeschrittene Abfragestrategien zu übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt des Rechts ist das Finden der richtigen Regel für eine spezifische Situation das Fundament der Gerechtigkeit. Wenn ein Anwalt oder ein Richter eine komplexe Frage zu einem Verbrechen oder einem Vertrag beantworten muss, können sie sich nicht allein auf ihr Gedächtnis verlassen; sie müssen den exakten Text des Gesetzes ausfindig machen, der die Situation regelt. Dieser Prozess, bekannt als statistische Abfrage (statutory retrieval), beinhaltet die Suche durch tausende von Gesetzartikeln, um jene wenigen zu finden, die wirklich relevant sind. Die Herausforderung besteht darin, dass Menschen reale Ereignisse in einer gewöhnlichen, alltäglichen Sprache beschreiben, während die Gesetze, die diese regeln, in einem spezialisierten, abstrakten Kodex verfasst sind. Eine Person könnte sagen: „Er weigerte sich, die Medizin zu geben“, aber das Gesetz könnte dasselbe Konzept als „Unterlassung einer Handlungspflicht“ formulieren. Diese Lücke zwischen der Art und Weise, wie Menschen sprechen, und der Art und Weise, wie Gesetze geschrieben sind, zu überbrücken, ist schwierig, insbesondere für Sprachen wie das Griechische, die komplexe Wortstrukturen aufweisen, die ein einfaches Wort-Matching unzuverlässig machen. Ohne die Fähigkeit, diese Rechtstexte präzise abzurufen, können Systeme der künstlichen Intelligenz keine vertrauenswürdigen Antworten liefern oder ihre Argumentation erklären, was eine kritische Anforderung in juristischen Kontexten ist.
Forscher in Griechenland haben dieses Problem angegangen, indem sie ein neues Testfeld namens GreekBarRetrieval geschaffen haben. Sie bauten diesen Benchmark unter Verwendung von Fragen aus den tatsächlichen griechischen Anwaltsprüfungen auf, die strengen Tests, die Anwälte bestehen müssen, um praktizieren zu dürfen. In diesen Prüfungen werden den Kandidaten eine detaillierte Geschichte eines Rechtsfalls präsentiert und sie werden gebeten, zu identifizieren, welche spezifischen Artikel des Strafgesetzbuches oder anderer Gesetze darauf Anwendung finden. Die Forscher nahmen 283 dieser Prüfungsfragen zusammen mit den dazugehörigen ausführlichen Geschichten und koppelten sie mit einer massiven Bibliothek von 6.308 potenziellen Rechtsartikeln. Das Ziel war es zu sehen, ob Computersysteme eine Frage und deren Geschichte betrachten und dann erfolgreich die korrekten Rechtsartikel finden können, die in dieser großen Bibliothek verborgen sind. Dieser Aufbau ist einzigartig, da er die Fähigkeit des Systems testet, das Quellmaterial zu finden, noch bevor es versucht, eine Antwort zu formulieren, wodurch die Fähigkeit der Suche von der Fähigkeit des logischen Schlussfolgerns getrennt wird.
Als die Forscher zuerst Standard-Computersuchmethoden testeten, zeigten die Ergebnisse eine klare Kluft zwischen zwei verschiedenen Ansätzen. Ein Ansatz, bekannt als Sparse Retrieval (dünne Abfrage), arbeitet durch das Suchen nach exakten Wortübereinstimmungen zwischen der Frage und dem Rechtstext. Der andere, genannt Dense Retrieval (dichte Abfrage), nutzt fortgeschrittene KI, um die Bedeutung hinter den Wörtern zu verstehen, selbst wenn der spezifische Wortschatz ein anderer ist. In ihren ersten Tests schnieden die bedeutungsbasierten Systeme weitaus besser ab und fanden die relevanten Artikel in etwa 77 Prozent der Fälle unter den obersten hundert Ergebnissen. Die wortbasierten Systeme hingegen waren nur in etwa 36 Prozent der Fälle erfolgreich. Dies bestätigte, dass das bloße Abgleichen von Wörtern oft nicht ausreicht, wenn die Sprache der Frage und die Sprache des Gesetzes so unterschiedlich sind.
Die Forscher entdeckten jedoch, dass die Leistung der wortbasierten Systeme drastisch verbessert werden konnte, indem ein großes Sprachmodell verwendet wurde, um die Suchfragen umzuschreiben, bevor der Computer nach Antworten suchte. Anstatt mit der ursprünglichen, ungeordneten Geschichte voller irrelevanter Details zu suchen, wurde die KI angewiesen, die Frage in die präzise, formale Sprache des Rechts zu übersetzen und dabei den erzählerischen Ballast zu entfernen. Dieser einfache Schritt der Umformulierung der Anfrage steigerte die Erfolgsquote des wortbasierten Systems von 36 Prozent auf 60 Prozent und schloss damit einen Großteil der Lücke zu den komplexeren bedeutungsbasierten Systemen. Die Studie fand heraus, dass diese Methode des Umschreibens der Frage weitaus effektiver war als andere gängige Tricks, wie etwa den Versuch, den griechischen Text zuerst ins Englische zu übersetzen, oder das Anpassen der internen Einstellungen der Suchmaschine.
Um die Leistung noch weiter voranzutreiben, führte das Team eine Methode ein, bei der der Computer sucht, das Gefundene überprüft und dann basierend auf diesen Ergebnissen erneut sucht. Dieser iterative Prozess, der simuliert, wie ein menschlicher Anwalt seine Suchstrategie nach dem Lesen einiger erster Dokumente verfeinern könnte, ermöglichte es dem wortbasierten System, eine Erfolgsquote von 67 Prozent zu erreichen. Obwohl dies das beste bedeutungsbasierte System, das 73 Prozent erreichte, nicht ganz übertraf, erzeugte es eine wesentlich besser organisierte Liste von Ergebnissen, die die wichtigsten Artikel ganz oben in der Liste platzierte. Dies ist besonders wertvoll, da Rechtssysteme oft mit einer begrenzten Anzahl von Dokumenten arbeiten müssen. Die Forscher merkten jedoch an, dass dieser iterative Ansatz mit einem hohen Preis verbunden ist: Er erfordert, dass der Computer viel mehr Berechnungen durchführt und signifikant länger benötigt, um die Suche im Vergleich zu einer einzigen, direkten Suche abzuschließen.
Die Studie kommt zu dem Schluss, dass, obwohl fortgeschrittene KI-Systeme, die Bedeutung verstehen, leistungsstark sind, sie nicht der einzige Weg nach vorne sind. Indem man ein großes Sprachmodell nutzt, um alltägliche Fragen in die formale Sprache des Rechts zu übersetzen, können selbst einfachere und schnellere Suchwerkzeuge hocheffektiv werden. Dies deutet darauf an, dass der Schlüssel zu besserer juristischer KI nicht nur darin besteht, größere Modelle zu bauen, sondern sicherzustellen, dass die gestellten Fragen klar sind und die korrekte Terminologie verwenden. Die Forscher haben ihre Daten und ihren Code öffentlich zugänglich gemacht, um einen neuen Standard für das Testen der Fähigkeit von Computern bereitzustellen, sich in der komplexen Landschaft des griechischen Rechts zu bewegen, und bieten damit einen Bauplan zur Verbesserung von juristischen Suchwerkzeugen in anderen Sprachen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.