Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
Este artigo demonstra que o ajuste fino de pequenos modelos de linguagem bilíngues em exemplos jurídicos injetados por contexto melhora significativamente sua capacidade de aplicar corretamente as disposições estatutárias de Bangladesh recuperadas e manter a consistência linguística, embora esses ganhos variem de acordo com o tamanho do modelo e não beneficiem uniformemente os modelos maiores.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde os computadores são como estudantes incrivelmente rápidos e superinteligentes que leram quase todos os livros da biblioteca. Esses estudantes são chamados de "Modelos de Linguagem de Grande Escala". Eles são ótimos em conversar, escrever histórias e resolver quebra-cabeças, mas têm um hábito complicado: às vezes eles inventam coisas ou esquecem as regras específicas de um jogo que estão jogando. No campo da Inteligência Artificial, pesquisadores estão constantemente tentando ensinar esses estudantes digitais a parar de adivinhar e começar a seguir as regras exatamente. Uma maneira popular de fazer isso é a "recuperação" (retrieval), que é como entregar ao estudante uma página específica de um livro didático logo antes de ele fazer uma prova, esperando que ele leia essa informação e a use para responder corretamente. Mas aqui está a grande questão: se você entregar a um estudante pequeno e menos poderoso essa página do livro, ele realmente a lerá e a usará, ou apenas a ignorará e continuará adivinhando? Este é o enigma que cientistas em Bangladesh estão tentando resolver, especialmente porque os sistemas jurídicos lá dependem de leis específicas escritas tanto em inglês quanto em bengali, e errar a resposta pode ter consequências graves no mundo real.
Os pesquisadores por trás deste estudo decidiram testar uma ideia inteligente: em vez de apenas esperar que o estudante leia o livro quando chegar à hora da prova, e se nós o treinássemos com o livro aberto à sua frente desde o início? Eles criaram um conjunto de treinamento especial de 2.165 perguntas e respostas jurídicas, onde cada pergunta vinha com a lei exata necessária para resolvê-la, escrita logo ao lado. Eles então pegaram um cérebro de computador de código aberto pequeno, chamado Qwen3.5, e deram a ele três tamanhos diferentes: uma versão minúscula de 0,8 bilhão de parâmetros, uma versão média de 2 bilhões e uma versão ligeiramente maior de 4 bilhões. Eles ensinaram esses modelos usando seu método de "injeção de contexto", onde a lei era sempre parte da lição.
Após o treinamento, eles colocaram os modelos à prova usando questões reais de exames do Conselho de Advogados de Bangladesh, a organização que testa os advogados. Eles deram aos modelos as mesmas perguntas novamente, mas desta vez, não apenas deixaram os modelos adivinharem; eles também tentaram fornecer as leis relevantes usando dois métodos de busca diferentes (BM25 e FAISS) para ver se os modelos conseguiam realmente usar a informação fornecida. Os resultados foram uma mistura de grande sucesso e confusão surpreendente. Para o modelo menor (0,8B), o treinamento funcionou como mágica. Antes do treinamento, ele mal acertava as perguntas quando as leis eram fornecidas, pontuando apenas 2 de 100. Após o treinamento, ele saltou para 34 de 100. O modelo médio (2B) também melhorou significamente, mostrando que aprendeu a realmente ler as leis que lhe eram dadas.
No entanto, a história mudou para o maior modelo (4B). Embora tenha melhorado ligeiramente ao responder no idioma correto, ele na verdade ficou pior ao responder às perguntas em inglês quando as leis eram fornecidas, sugerindo que, para este tamanho, o treinamento pode tê-lo confundido em vez de ajudá-lo. Outra grande vitória do treinamento foi corrigir um erro bobo: antes do treinamento, ao serem questionados em bengali, os modelos frequentemente ignoravam o idioma e respondiam em inglês de 44% a 53% das vezes. Após o treinamento, esse erro quase desapareceu, caindo para menos de 1%. O estudo sugere que, para modelos menores, ensinar a usar as leis que lhes são dadas é um divisor de águas, mas para modelos maiores, não é uma solução garantida, e simplesmente ter a informação correta não é suficiente se o modelo não souber como usá-la.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.