Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
Cet article démontre que l'ajustement fin de petits modèles linguistiques bilingues sur des exemples juridiques injectés de contexte améliore considérablement leur capacité à appliquer correctement les dispositions législatives bangladaises récupérées et à maintenir la cohérence linguistique, bien que ces gains varient selon la taille du modèle et ne profitent pas uniformément aux modèles plus grands.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où les ordinateurs sont comme des étudiants incroyablement rapides et super intelligents qui ont lu presque tous les livres de la bibliothèque. Ces étudiants sont appelés « Modèles de Langage Étendus ». Ils sont excellents pour discuter, écrire des histoires et résoudre des énigmes, mais ils ont une habitude délicate : parfois, ils inventent des choses ou oublient les règles spécifiques d'un jeu auquel ils jouent. Dans le domaine de l'intelligence artificielle, les chercheurs essaient constamment d'apprendre à ces étudiants numériques comment arrêter de deviner et commencer à suivre les règles exactement. Une façon populaire de faire cela est la « récupération », ce qui revient à donner à l'étudiant une page spécifique d'un manuel juste avant qu'il ne passe un examen, en espérant qu'il la lira et utilisera cette information pour répondre correctement. Mais voici la grande question : si vous donnez à un petit étudiant, moins puissant, cette page de manuel, va-t-il réellement la lire et l'utiliser, ou va-t-il simplement l'ignorer et continuer à deviner ? C'est l'énigme que des scientifiques au Bangladesh essaient de résoudre, surtout parce que les systèmes juridiques là-bas reposent sur des lois spécifiques écrites à la fois en anglais et en bengali, et se tromper peut avoir de graves conséquences dans le monde réel.
Les chercheurs derrière cette étude ont décidé de tester une idée ingénieuse : au lieu d'espérer simplement que l'étudiant lise le livre lorsqu'il arrive à l'examen, et si nous l'entraînions avec le livre ouvert devant lui dès le début ? Ils ont créé un ensemble d'entraînement spécial de 2 165 questions et réponses juridiques, où chaque question était accompagnée de la loi exacte nécessaire pour la résoudre, écrite juste à côté. Ils ont ensuite pris un petit cerveau informatique open-source appelé Qwen3.5 et lui ont donné trois tailles différentes : une version minuscule de 0,8 milliard de paramètres, une version moyenne de 2 milliards et une version légèrement plus grande de 4 milliards. Ils ont enseigné à ces modèles en utilisant leur méthode de « contexte injecté », où la loi faisait toujours partie de la leçon.
Après l'entraînement, ils ont mis les modèles à l'épreuve en utilisant de vraies questions d'examen du Bar Council du Bangladesh, l'organisation qui teste les avocats. Ils ont donné aux modèles les mêmes questions à nouveau, mais cette fois, ils ne se sont pas contentés de laisser les modèles deviner ; ils ont aussi essayé de leur donner les lois pertinentes en utilisant deux méthodes de recherche différentes (BM25 et FAISS) pour voir si les modèles pouvaient réellement utiliser l'information fournie. Les résultats étaient un mélange de grand succès et de confusion surprenante. Pour le plus petit modèle (0,8B), l'entraînement a fonctionné comme par magie. Avant l'entraînement, il réussissait à peine les questions lorsqu'on lui fournissait les lois, obtenant seulement 2 sur 100. Après l'entraînement, il est passé à 34 sur 100. Le modèle moyen (2B) s'est également nettement amélioré, montant qu'il avait appris à réellement lire les lois qui lui étaient données.
Cependant, l'histoire change pour le plus grand modèle (4B). Bien qu'il soit devenu légèrement meilleur pour répondre dans la bonne langue, il est en fait devenu moins bon pour répondre aux questions en anglais lorsque les lois étaient fournies, suggérant que pour cette taille, l'entraînement l'a peut-être confondu plutôt qu'aidé. Un autre gain énorme de l'entraînement a été de corriger une erreur stupide : avant l'entraînement, lorsqu'on posait une question en bengali, les modèles ignoraient souvent la langue et répondaient en anglais 44 % à 53 % du temps. Après l'entraînement, cette erreur a presque disparu, tombant à moins de 1 %. L'étude suggère que pour les petits modèles, leur apprendre à utiliser les lois qui leur sont données change la donne, mais pour les modèles plus grands, ce n'est pas une solution garantie, et avoir simplement la bonne information ne suffit pas si le modèle ne sait pas comment l'utiliser.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.