On Measuring Semantic Preservation in Legal Ontology Learning
Dieses Paper schlägt ein neuartiges Evaluierungs-Framework vor und validiert dieses, welches den semantischen Verlust beim Erlernen rechtlicher Ontologien quantifiziert, indem es die Leistung von LLMs bei Aufgaben auf Quelldokumenten im Vergleich zu strukturierten Repräsentationen vergleicht und aufzeigt, dass die semantische Erhaltung je nach der spezifischen Kombination aus Sprachmodellen und Methoden des Ontologie-Lernens signifikant variiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen komplexen Rechtsvertrag zu verstehen. Sie haben zwei Möglichkeiten: Entweder Sie füttern den Roboter mit dem ursprünglichen, unordentlichen, von Menschen geschriebenen Text, oder Sie übersetzen diesen Text in eine superorganisierte, strukturierte Karte, die eine „Ontologie“ genannt wird. Denken Sie bei einer Ontologie an einen riesigen, perfekt beschrifteten Aktenschrank, in dem jedes Konzept eine Schublade und jede Beziehung ein klares Etikett ist. Die Idee ist, dass diese strukturierte Karte dem Roboter helfen soll, besser zu schlussfolgern, als es der unordentliche Text könnte. Aber hier ist der Haken: Wenn man eine saftige, nuancierte Geschichte nimmt und sie in einen starren Aktenschrank presst, wirft man dabei vielleicht versehentlich die wichtigsten Geschmacksnuancen weg. Dies ist das Problem des „semantischen Verlusts“ – den Sinn zu verlieren, während man die Struktur beibehält. Wissenschaftler waren groß darin, zu prüfen, ob der Aktenschrank korrekt gebaut wurde (ob die Schubladen richtig beschriftet sind?), aber sie hatten keinen guten Weg, um zu überprüfen, ob der Inhalt der Schubladen noch „schmackhaft“ genug ist, um das eigentliche Problem zu lösen. Dieses Paper tritt in diese Lücke und stellt eine einfache, aber lebenswichtige Frage: „Hilft es dem Roboter wirklich, wenn wir unseren Text in eine strukturierte Karte verwandeln, oder macht es den Roboter nur dümmer, indem es die Details wegschneidet, die er eigentlich braucht?“
Die Autoren dieser Arbeit, Albert Sadowski und Jarosław A. Chudziak, beschlossen, diese Idee mit einem sehr spezifischen und kniffligen Spielfeld zu testen: rechtlichen Fusionsverträgen (Merger Agreements). Dies sind massive, komplizierte Verträge, die Unternehmen unterzeichnen, wenn sie einander kaufen, gefüllt mit Kleingedrucktem und subtilen rechtlichen Bedingungen. Sie wollten sehen, ob die Umwandlung dieser Verträge in Ontologien Large Language Models (LLMs) – die superintelligenten KI-Chatbots, die wir heute nutzen – dabei half, Fragen über sie zu beantworten.
Um dies zu tun, setzten sie ein kluges Experiment auf. Zuerst ließen sie sechs verschiedene KI-Modelle die ursprünglichen, unordentlichen Verträge lesen und 34 verschiedene Arten von Rechtsfragen beantworten. Dies ergab einen „Baseline“-Wert, der die maximale Menge an Informationen darstellt, die die KI aus dem Originaltext verstehen konnte. Dann nahmen sie dieselben Verträge und ließen sie durch drei verschiedene Methoden des „Ontologie-Lernens“ laufen (LLMs4OL, NeOn-GPT und NeOn-CoT), um sie in strukturierte Karten zu verwandeln. Schließlich ließen sie dieselben KI-Modelle dieselben Fragen beantworten, aber diesmal konnten sie nur die strukturierten Karten nutzen, nicht den Originaltext.
Die Ergebnisse waren ein kleiner Schock. Das Paper fand heraus, dass die KI-Modelle in fast allen Fällen schlechter abschnitten, wenn sie die strukturierten Karten statt des Originaltexts verwenden mussten. Es ist, als würde man einen köstlichen, komplexen Eintopf nehmen, die gesamte Brühe und alle Gewürze abgießen, um eine ordentliche Liste der Zutien zu erstellen, und dann einen Koch bitten, den Geschmack des Eintopfs nur anhand dieser Liste zu rekonstruieren. Der „semantische Verlust“ war real und messbar. Im Durchschnitt verloren die KI-Modelle je nach verwendeter Methode zwischen 8,4 und 27,4 Prozentpunkte an Genauigkeit; die Methode namens LLMs4OL war der schlimmste Übeltäter und ließ am meisten Informationen verschwinden, während NeOn-GPT der „am wenigsten schlechte“ Teil war und die meiste Bedeutung bewahrte.
Doch die Geschichte wird noch interessanter, wenn man betrachtet, welches KI-Modell gerade liest. Das Paper entdeckte, dass der Verlust nicht für jeden gleich war; er hing stark von der „Persönlichkeit“ des KI-Modells und der verwendeten Methode zum Erstellen der Karte ab. Zum Beispiel funktionierte ein Modell namens Gemini überraschend gut mit einer spezifischen Methode namens NeOn-CoT und bewahrte etwa 86–88 % der ursprünglichen Bedeutung für schwierige Aufgaben. Aber wenn man dieselbe Methode mit einem anderen Modell kombinierte, brach die Leistung völlig ein. Dies deutet darauf hin, dass es nicht den einen „besten“ Weg gibt, diese rechtlichen Karten zu erstellen; stattdessen muss man die perfekte Übereinstimmung zwischen dem KI-Gehirn und dem Werkzeug zur Kartenerstellung finden.
Die Autoren bemerkten auch, dass die Art der Frage entscheidend war. Wenn die Frage einfach war, wie etwa „Ist das ein Ja oder ein Nein?“, funktionierten die strukturierten Karten fast perfekt und verloren kaum Informationen. Aber wenn die Frage ein Verständnis subtiler rechtlicher Nuancen erforderte – wie etwa den Unterschied zwischen „wahrscheinlich“ und „verhältnismäßig wahrscheinlich“ – versagten die strukturierten Karten kläglich und verloren oft bis zu 65 % der Bedeutung. Die starre Struktur der Ontologie konnte die feinen Abstufungen der Wahrscheinlichkeit, auf die sich Anwälte verlassen, nicht erfassen.
Am Ende sagt das Paper nicht, dass wir aufhören sollten, Ontologien zu verwenden. Stattdessen warnt es uns davor, davon auszugehen, dass das Strukturieren von Dingen automatisch besser macht. Die Autoren schlagen vor, dass wir, bevor wir einer strukturierten Karte vertrauen, die einer KI bei rechtlichen Entscheidungen zu helfen, sie zuerst testen müssen, um zu sehen, ob sie tatsächlich die Bedeutung bewahrt, die uns wichtig ist. Sie fanden heraus, dass bei komplexer rechtlicher Argumentation der Prozess, Text in eine strukturierte Karte zu verwandeln, oft genau jene Details entfernt, die die Antwort erst korrekt machen. Daher sind Ontologien zwar immer noch nützlich, um Daten zu organisieren, aber wir müssen vorsichtig sein, nicht das Kind mit dem Bade auszuschütten – besonders wenn das „Kind“ ein subtiles rechtliches Argument ist, das den Ausgang eines Milliarden-Dollar-Deals verändern könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.