Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
Diese Arbeit zeigt, dass das Fine-Tuning kleiner bilingualer Sprachmodelle auf kontextangereicherte juristische Beispiele deren Fähigkeit signifikant verbessert, abgerufene bangladeschische gesetzliche Bestimmungen korrekt anzuwenden und die Sprachkonsistenz zu wahren, obwohl diese Gewinne je nach Modellgröße variieren und größere Modelle nicht einheitlich profitieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer wie unglaublich schnelle, superintelligente Studenten sind, die fast jedes Buch in der Bibliothek gelesen haben. Diese Studenten werden „Large Language Models“ genannt. Sie sind großartig im Chatten, beim Schreiben von Geschichten und beim Lösen von Rätseln, aber sie haben eine tückische Angewohnheit: Manchmal erfinden sie Dinge oder vergessen die spezifischen Regeln eines Spiels, das sie gerade spielen. Im Bereich der Künstlichen Intelligenz versuchen Forscher ständig, diesen digitalen Studenten beizubringen, wie sie aufhören zu raten und anfangen, den Regeln exakt zu folgen. Eine beliebte Methode, dies zu erreichen, ist das „Retrieval“ (Abruf), was so ist, als würde man dem Studenten unmittelbar vor einer Prüfung eine spezifische Seite aus einem Lehrbuch in die Hand drücken, in der Hoffnung, dass er sie liest und die Information nutzt, um korrekt zu antworten. Aber hier liegt die große Frage: Wenn man einem kleinen, weniger leistungsfähigen Studenten diese Lehrbuchseite reicht, wird er sie tatsächlich lesen und nutzen, oder wird er sie einfach ignorieren und weiter raten? Dies ist das Rätsel, das Wissenschaftler in Bangladesch zu lösen versuchen, besonders weil die Rechtssysteme dort auf spezifischen Gesetzen basieren, die sowohl in Englisch als auch in Bengali geschrieben sind, und ein falsches Ergebnis schwerwiegende reale Konsequenzen haben kann.
Die Forscher hinter dieser Studie beschlossen, eine clevere Idee zu testen: Anstatt nur darauf zu hoffen, dass der Student das Buch liest, wenn er zur Prüfung an der Reihe ist, was wäre, wenn wir ihn von vornherein mit dem offenen Buch vor sich trainieren? Sie erstellten einen speziellen Trainingsdatensatz aus 2.165 juristischen Fragen und Antworten, wobei jede einzelne Frage zusammen mit dem exakten Gesetz, das zur Lösung benötigt wurde, direkt daneben stand. Dann nahmen sie ein kleines Open-Source-Computergehirn namens Qwen3.5 und gaben ihm drei verschiedene Größen: eine winzige Version mit 0,8 Milliarden Parametern, eine mittlere mit 2 Milliarden und eine etwas größere mit 4 Milliarden. Sie lehrten diese Modelle mit ihrer „kontext-injizierten“ Methode, bei der das Gesetz immer Teil der Lektion war.
Nach dem Training stellten sie die Modelle mit echten Prüfungsfragen des Bangladesh Bar Council auf die Probe, der Organisation, die Anwälte prüft. Sie gaben den Modellen dieselben Fragen erneut, aber diesmal ließen sie die Modelle nicht einfach nur raten; sie versuchten auch, ihnen die relevanten Gesetze mittels zweier verschiedener Suchmethoden (BM25 und FAISS) zur Verfügung zu stellen, um zu sehen, ob die Modelle tatsächlich die bereitgestellten Informationen nutzen konnten. Die Ergebnisse waren eine Mischung aus großartigem Erfolg und überraschender Verwirrung. Beim kleinsten Modell (0,8B) wirkte das Training wie Magie. Vor dem Training bekam es kaum Fragen richtig, wenn Gesetze bereitgestellt wurden, und erreichte lediglich 2 von 100 Punkten. Nach dem Training sprang es auf 34 von 100 hoch. Das mittlere Modell (2B) wurde ebenfalls deutlich besser und zeigte, dass es lernte, die Gesetze, die ihm gegeben wurden, tatsächlich zu lesen.
Die Geschichte änderte sich jedoch für das größte Modell (4B). Während es etwas besser darin wurde, in der korrekten Sprache zu antworten, wurde es bei den englischen Fragen tatsächlich schlechter, wenn die Gesetze bereitgestellt wurden, was darauf hindeutet, dass das Training für diese Größe das Modell eher verwirrt als geholfen hat. Ein weiterer großer Sieg des Trainings war das Beheben eines albernen Fehlers: Vor dem Training ignorierten die Modelle oft die Sprache, wenn eine Frage auf Bengali gestellt wurde, und antworteten stattdessen in 44 % bis 53 % der Fälle auf Englisch. Nach dem Training verschwand dieser Fehler fast vollständig und sank auf unter 1 %. Die Studie legt nahe, dass das Training kleinerer Modelle, ihnen beizubringen, die Gesetze zu nutzen, die ihnen gegeben werden, ein Wendepunkt ist, aber für größere Modelle ist es keine garantierte Lösung, und das bloße Vorhandensein der richtigen Informationen reicht nicht aus, wenn das Modell nicht weiß, wie es sie verwenden soll.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.