Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
Dit artikel toont aan dat het finetunen van kleine tweetalige taalmodellen op context-geïnjecteerde juridische voorbeelden hun vermogen om correct opgehaalde Bengaalse wettelijke bepalingen toe te passen en taalconsistentie te behouden aanzienlijk verbetert, hoewel deze winsten variëren per modelgrootte en grotere modellen niet uniform ten goede komen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers lijken op ongelooflijk snelle, superintelligente studenten die bijna elk boek in de bibliotheek hebben gelezen. Deze studenten worden "Large Language Models" genoemd. Ze zijn geweldig in chatten, verhalen schrijven en puzzels oplossen, maar ze hebben een lastige gewoonte: soms verzinnen ze dingen of vergeten ze de specifiele regels van het spel dat ze spelen. In het vakgebied van Kunstmatige Intelligentie proberen onderzoekers deze digitale studenten constant te leren hoe ze moeten stoppen met gokken en precies de regels moeten volgen. Eén populaire manier om dit te doen is "retrieval" (opvragen), wat er eigenlijk op lijkt alsof je de student een specifieke pagina uit een tekstboek overhandigt vlak voordat ze een toets maken, in de hoop dat ze die informatie lezen en gebruiken om het antwoord correct te geven. Maar hier is de grote vraag: als je een kleine, minder krachtige student die tekstboekpagina overhandigt, zullen ze die dan echt lezen en gebruiken, of zullen ze het gewoon negeren en blijven gokken? Dit is de puzzel die wetenschappers in Bangladesh proberen op te lossen, vooral omdat rechtssystemen daar vertrouwen op specifieke wetten geschreven in zowel het Engels als het Bengaals, en het fout krijgen van een antwoord ernstige gevolgen in de echte wereld kan hebben.
De onderzoekers achter deze studie besloten een slim idee te testen: in plaats van alleen maar te hopen dat de student het boek leest wanneer ze bij de toets komen, wat als we hen met het boek open voor hen trainen vanaf het allereerste begin? Ze creëerden een speciale trainingsset van 2.165 juridische vragen en antwoorden, waarbij elke vraag werd vergezeld door de exacte wet die nodig was om het op te lossen, geschreven direct naast de vraag. Vervolgens namen ze een klein, open-source computerbrein genaamd Qwen3.5 en gaven ze dit in drie verschillende groottes: een piepkleine versie van 0,8 miljard parameters, een middelgrote versie van 2 miljard en een iets grotere versie van 4 miljard. Ze leerden deze modellen met hun "context-injected" methode, waarbij de wet altijd onderdeel was van de les.
Na de training onderwierpen ze de modellen aan een test met echte examenvragen van de Bangladesh Bar Council, de organisatie die juristen test. Ze gaven de modellen dezelfde vragen, maar dit keer lieten ze de modellen niet alleen gokken; ze probeerden ook de relevante wetten te geven met behulp van twee verschillende zoekmethoden (BM25 en FAISS) om te zien of de modellen de verstrekte informatie daadwerkelijk konden gebruiken. De resultaten waren een mix van groot succes en verrassende verwarring. Voor het kleinste model (0,8B) werkte de training als magie. Vóór de training kreeg het model nauwelijks vragen goed wanneer wetten werden verstrekt, met een score van slechts 2 op 100. Na de training sprong het naar 34 op 100. Het middelgrote model (2B) werd ook aanzienlijk beter, wat aantoonde dat het leerde om de wetten die het kreeg daadwerkelijk te lezen.
Echter, het verhaal veranderde voor het grootste model (4B). Hoewel het iets beter werd in het beantwoorden van vragen in de juiste taal, werd het daadwerkelijk slechter in het beantwoorden van de Engelse vragen wanneer de wetten werden verstrekt, wat suggereert dat de training voor deze grootte de boel eerder verwarde dan hielp. Een andere grote overwinning van de training was het oplossen van een stomme fout: vóór de training, wanneer er een vraag in het Bengaals werd gesteld, negeerden de modellen de taal vaak en antwoordden ze voor 44% tot 53% van de tijd in het Engels. Na de training was deze fout bijna verdwenen en daalde dit naar minder dan 1%. De studie suggereert dat voor kleinere modellen het leren gebruiken van de wetten die ze krijgen een gamechanger is, maar voor grotere modellen is het geen gegarandeerde oplossing, en is het simpelweg hebben van de juiste informatie niet genoeg als het model niet weet hoe het die moet gebruiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.