Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
Este artículo demuestra que el ajuste fino de modelos lingüísticos bilingües pequeños con ejemplos legales inyectados en el contexto mejora significativamente su capacidad para aplicar correctamente las disposiciones estatutarias de Bangladesh recuperadas y mantener la consistencia del lenguaje, aunque estas ganancias varían según el tamaño del modelo y no benefician uniformemente a los modelos más grandes.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un mundo donde las computadoras son como estudiantes increíblemente rápidos y súper inteligentes que han leído casi todos los libros de la biblioteca. Estos estudiantes se llaman "Modelos de Lenguaje de Gran Tamaño". Son excelentes charlando, escribiendo historias y resolviendo acertijos, pero tienen un hábito difícil: a veces inventan cosas o olvidan las reglas específicas de un juego que están jugando. En el campo de la Inteligencia Artificial, los investigadores intentan constantemente enseñar a estos estudiantes digitales cómo dejar de adivinar y empezar a seguir las reglas exactamente. Una forma popular de hacer esto es la "recuperación" (retrieval), que es como entregarle al estudiante una página específica de un libro de texto justo antes de que tome un examen, con la esperanza de que lea esa información y la use para responder correctamente. Pero aquí está la gran pregunta: si le entregas a un estudiante pequeño y menos capaz esa página del libro de texto, ¿realmente la leerá y la usará, o simplemente la ignorará y seguirá adivinando? Este es el rompecabezas que los científicos en Bangladesh están tratando de resolver, especialmente porque los sistemas legales allí dependen de leyes específicas escritas tanto en inglés como en bengalí, y equivocarse puede tener graves consecuencias en el mundo real.
Los investigadores detrás de este estudio decidieron probar una idea ingeniosa: en lugar de solo esperar que el estudiante lea el libro cuando llegue al examen, ¿qué pasaría si lo entrenamos con el libro abierto frente a él desde el principio? Crearon un conjunto de entrenamiento especial de 2,165 preguntas y respuestas legales, donde cada una de las preguntas venía con la ley exacta necesaria para resolverla, escrita justo al lado. Luego tomaron un cerebro de computadora de código abierto pequeño llamado Qwen3.5 y le dieron tres tamaños diferentes: una versión diminuta de 0.8 mil millones de parámetros, una versión media de 2 mil millones y una versión ligeramente más grande de 4 mil millones. Enseñaron a estos modelos usando su método de "inyección de contexto", donde la ley siempre formaba parte de la lección.
Después del entrenamiento, pusieron a prueba los modelos utilizando preguntas de exámenes reales del Consejo de la Barra de Bangladesh, la organización que evalúa a los abogados. Les dieron a los modelos las mismas preguntas de nuevo, pero esta vez no solo dejaron que los modelos adivinaran; también intentaron darles las leyes relevantes utilizando dos métodos de búsqueda diferentes (BM25 y FAISS) para ver si los modelos realmente podían usar la información proporcionada. Los resultados fueron una mezcla de gran éxito y confusión sorprendente. Para el modelo más pequeño (0.8B), el entrenamiento funcionó como magia. Antes del entrenamiento, apenas acertaba algunas preguntas cuando se le proporcionaban las leyes, obteniendo solo 2 de 100. Después del entrenamiento, saltó a 34 de 100. El modelo mediano (2B) también mejoró significamente, demostrando que aprendió a leer realmente las leyes que se le daban.
Sin embargo, la historia cambió para el modelo más grande (4B). Aunque mejoró ligeramente al responder en el idioma correcto, en realidad empeoró al responder las preguntas en inglés cuando se le proporcionaban las leyes, lo que sugiere que, para este tamaño, el entrenamiento pudo haberlo confundido en lugar de ayudarlo. Otro gran triunfo del entrenamiento fue corregir un error tonto: antes del entrenamiento, cuando se les hacía una pregunta en bengalí, los modelos a menudo ignoraban el idioma y respondían en inglés entre el 44% y el 53% de las veces. Después del entrenamiento, este error casi desapareció, cayendo a menos del 1%. El estudio sugiere que para los modelos más pequeños, enseñarles a usar las leyes que se les dan es un cambio radical, pero para los modelos más grandes, no es una solución garantizada, y el simple hecho de tener la información correcta no es suficiente si el modelo no sabe cómo usarla.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.