💬 NLP

Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh

Questo articolo dimostra che il fine-tuning di piccoli modelli linguistici bilingui su esempi legali con iniezione di contesto migliora significativamente la loro capacità di applicare correttamente le disposizioni statutarie bengalesi recuperate e di mantenere la coerenza linguistica, sebbene tali guadagni varino in base alla dimensione del modello e non favoriscano uniformemente i modelli più grandi.

Autori originali: Moniruzzaman Mahadi, Abrar Mohammed Tanzim Alam, Sayma Siddika Monalisa, Mir Mohammad Asif Abdullah, Swakkhar Shatabda, Md Adnan Arefeen

Pubblicato 2026-07-28

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Moniruzzaman Mahadi, Abrar Mohammed Tanzim Alam, Sayma Siddika Monalisa, Mir Mohammad Asif Abdullah, Swakkhar Shatabda, Md Adnan Arefeen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer sono come studenti incredibilmente veloci e super intelligenti che hanno letto quasi tutti i libri della biblioteca. Questi studenti sono chiamati "Large Language Models". Sono bravissimi a chiacchierare, scrivere storie e risolvere enigmi, ma hanno un'abitudine complicata: a volte inventano le cose o dimenticano le regole specifiche di un gioco che stanno facendo. Nel campo dell'Intelligenza Artificiale, i ricercatori cercano costantemente di insegnare a questi studenti digitali come smettere di tirare a indovinare e iniziare a seguire esattamente le regole. Un modo popolare per farlo è il "retrieval", che è come consegnare allo studente una pagina specifica di un libro di testo proprio prima che faccia un esame, sperando che la legga e usi quell'informazione per rispondere correttamente. Ma ecco la grande domanda: se consegni la pagina del libro a uno studente piccolo e meno potente, lo leggerà davvero e lo userà, o continuerà semplicemente a tirare a indovinare? Questo è l'enigma che gli scienziati in Bangladesh stanno cercando di risolvere, specialmente perché i loro sistemi legali si basano su leggi specifiche scritte sia in inglese che in bengalese, e sbagliare la risposta può avere gravi conseguenze nel mondo reale.

I ricercatori dietro questo studio hanno deciso di testare un'idea intelligente: invece di sperare solo che lo studente legga il libro quando arriva all'esame, cosa succederebbe se lo addestrassimo con il libro aperto davanti a sé fin dall'inizio? Hanno creato un set di addestramento speciale di 2.165 domande e risposte legali, dove ogni singola domanda era accompagnata dalla legge esatta necessaria per risolverla, scritta proprio accanto ad essa. Hanno poi preso un piccolo cervello informatico open-source chiamato Qwen3.5 e gli hanno dato tre diverse dimensioni: una versione minuscola da 0,8 miliardi di parametri, una versione media da 2 miliardi e una versione leggermente più grande da 4 miliardi. Hanno insegnato ai modelli usando il loro metodo "context-injected", dove la legge faceva sempre parte della lezione.

Dopo l'addestramento, hanno messo alla prova i modelli utilizzando vere domande d'esame del Bangladesh Bar Council, l'organizzazione che testa gli avvocati. Hanno sottoposto i modelli alle stesse domande, ma questa volta non si sono limitati a lasciare che i modelli tirassero a indovinare; hanno anche provato a fornire loro le leggi pertinenti utilizzando due diversi metodi di ricerca (BM25 e FAISS) per vedere se i modelli fossero effettivamente in grado di usare l'informazione fornita. I risultati sono stati un misto di grande successo e sorprendente confusione. Per il modello più piccolo (0,8B), l'addestramento ha funzionato come una magia. Prima dell'addestramento, riusciva a rispondere correttamente a pochissime domande quando venivano fornite le leggi, ottenendo solo 2 su 100. Dopo l'addestramento, è balzato a 34 su 100. Anche il modello medio (2B) è migliorato significamente, dimostrando di aver imparato ad leggere effettivamente le leggi che gli venivano fornite.

Tuttove, la storia cambia per il modello più grande (4B). Sebbene sia migliorato leggermente nel rispondere nella lingua corretta, in realtà è peggiorato nel rispondere alle domande in inglese quando venivano fornite le leggi, suggerendo che per queste dimensioni l'addestramento potrebbe averlo confuso piuttosto che aiutarlo. Un altro grande traguardo dell'addestramento è stato correggere un errore banale: prima dell'addestramento, quando veniva posta una domanda in bengalese, i modelli spesso ignoravano la lingua e rispondevano in inglese dal 44% al 53% delle volte. Dopo l'addestramento, questo errore è quasi scomparso, scendendo a meno dell'1%. Lo studio suggerisce che per i modelli più piccoli, insegnare loro a usare le leggi che ricevono è una svolta decisiva, ma per i modelli più grandi non è una soluzione garantita, e avere semplicemente l'informazione corretta non basta se il modello non sa come usarla.

Sintesi Tecnica: Fine-Tuning con Iniezione di Contesto per la QA Legale in Bangladesh

Definizione del Problema

I piccoli modelli linguistici (SLM) spesso non riescono a utilizzare le disposizioni statutarie governanti fornite nel loro contesto, anche quando tali disposizioni sono esplicitamente presenti nel prompt. Questo problema è particolarmente acuto in lingue a basse risorse come il bengalese, dove la terminologia legale combina termini di epoca coloniale e di influenza persiana con il bengalese standard. Mentre la Generazione Aumentata da Recupero (RAG) mira a fondare gli output del modello sulle prove recuperate, i benchmark esistenti spesso assumono che il collo di bottiglia principale sia la qualità del recupero. Questo articolo investiga se il collo di bottiglia risieda invece nella capacità del modello di utilizzare il contesto fornito. Nello specifico, si chiede: il fine-tuning supervisionato (SFT) su coppie di QA legale dove il testo statutario pertinente è già iniettato nel prompt di addestramento migliora la capacità di un piccolo modello di utilizzare il contesto recuperato durante l'inferenza?

Metodologia

Costruzione del Dataset

Gli autori hanno curato un dataset bilingue (Bengalese e Inglese) di 2.165 record di QA legale derivati da sei atti principali del Bangladesh e tre allegati che dominano il programma d'esame del Bangladesh Bar Council:

Atti: Codice Penale (1860), Codice di Procedura Penale (1898), Legge sulle Prove (1872), Codice di Procedura Civile (1908), Legge sul Soccorso Specifico (1877) e Legge sulla Limitazione (1908).
Struttura: Il corpus include estrazione a singolo salto (single-hop), selezione avanzata (basata su distrattori) e MCQ sintetici in stile esame forense.
Iniezione di Contesto: Una scelta di design critica è stata il "Fine-Tuning con Iniezione di Contesto". Ogni esempio di addestramento è stato formattato come un prompt aumentato dal recupero, contenente un blocco "Sezioni Recuperate" riempito deterministicamente con la disposizione governante e i distrattori. Ciò costringe il modello a imparare a fondare le risposte nel testo fornito piuttosto che nella memoria parametrica.

Modelli e Addestramento

Modelli Base: Serie Qwen3.5 con 0.8B, 2B e 4B di parametri.
Fine-Tuning: È stata applicata la tecnica LoRA (Low-Rank Adaptation) a tutte le sette proiezioni lineari (r=32, $\alpha$ =64). Circa l'1% dei parametri era addestrabile.
Configurazione: L'addestramento ha utilizzato AdamW 8-bit, un tasso di apprendimento di $2 \times 10^{-4}$ con decadimento cosinusoidale, 2 epoche e sequenze da 2.048 token. Il template del prompt di addestramento è stato preservato esattamente per l'inferenza per garantire la coerenza.

Protocollo di Valutazione

Benchmark: Gli esami MCQ del 2022 e 2023 del Bangladesh Bar Council (originale in Bengalese e tradotto meccanicamente in Inglese).
Condizioni: I modelli sono stati testati sotto tre condizioni di recupero:
1. Nessuna: Nessun contesto recuperato.
2. BM25: Top-5 sezioni recuperate tramite recupero sparso.
3. FAISS: Top-5 sezioni recuperate tramite recupero denso (multilingual-MiniLM).
Scoring: La valutazione ha utilizzato la consistenza rigorosa (tutte le tre esecuzioni con seed fisso devono essere corrette), la maggioranza di voto e l'accuratezza media. La significatività statistica è stata valutata tramite test di McNemar accoppiati e test di randomizzazione con correzione di Holm.

Risultati Chiave

1. Il Fine-Tuning Migliora l'Utilizzo del Contesto nei Piccoli Modelli

Lo studio dimostra che il fine-tuning su dati con iniezione di contesto migliora significativamente le prestazioni per i modelli più piccoli (0.8B e 2B) in presenza di recupero.

Modello 0.8B: Il punteggio di consistenza rigorosa per l'esame inglese del 2022 con recupero FAISS è passato da 2 a 34 (su 100) dopo il fine-tuning. L'accuratezza rigorosa media complessiva è aumentata da 1.8 a 15.9.
Modello 2B: Ha mostrato guadagni costanti in 10 delle 12 celle di test, con l'accuratezza rigorosa media che è salita da 10.0 a 17.8.
Sinergia di Recupero: Mentre il solo recupero forniva guadagni trascurabili o negativi per i modelli base (ad esempio, -1.0 punti per lo 0.8B), i corrispondenti sottoposti a fine-tuning hanno sfruttato lo stesso testo recuperato per ottenere guadagni significativi (+8.1 punti per lo 0.8B).

2. Rendimenti Decrescenti alle Grandi Scale (4B)

I benefici del fine-tuning con iniezione di contesto non sono scalati linearmente.

Modello 4B: Il fine-tuning ha causato una regressione netta nei punteggi di consistenza rigorosa complessiva (-2.1 punti). Sebbene le prestazioni in Bengalese siano migliorate leggermente (da 15.7 a 17.3), diverse condizioni in Inglese sono regredite. Il modello base 4B utilizzava già efficacemente il recupero (+6.6 di guadagno), lasciando meno spazio per il miglioramento tramite fine-tuning.

3. Eliminazione della Deriva Linguistica

Un risultato significativo è stata la correzione dell'aderenza linguistica. I modelli base rispondevano frequentemente a domande d'esame in Bengalese utilizzando l'Inglese (44.0%–53.2% degli output).

Impatto: Il fine-tuning ha ridotto questa "deriva linguistica" a meno dell'1% (0.2%–0.7%) in tutte le scale, con differenze statisticamente significative ( $p < .001$ ).

4. Gap di Prestazione tra le Lingue

In tutte le scale e condizioni, i modelli hanno performato significativamente meglio in Inglese che in Bengalese. Anche il soffitto informale fornito da GPT OSS 120B mostrava una disparità (72 contro 42 su compiti specifici), evidenziando le sfide rimanenti per l'NLP legale a basse risorse in Bengalese.

Significato e Rivendicazioni

L'articolo sostiene che la qualità del recupero non è l'unico collo di bottiglia nei sistemi RAG legali. Anche quando la corretta disposizione statutaria viene fornita, i piccoli modelli bilingui possono fallire nell'utilizzarla o rispondere nella lingua errata.

Utilizzo del Contesto: Lo studio stabilisce che il fine-tuning supervisionato su esempi contenenti la legge pertinente è un passo necessario per insegnare ai piccoli modelli come fondare le proprie risposte nel contesto fornito.
Dipendenza dalla Scala: L'efficacia di questo approccio dipende fortemente dalla dimensione del modello. Produce guadagni sostanziali per i modelli sotto i 4B di parametri, ma non offre alcun beneficio netto rilevabile (e una potenziale regressione) per i modelli da 4B in questo specifico dominio.
Controllo Linguistico: Il fine-tuning funge da robusto meccanismo per imporre vincoli linguistici in contesti legali bilingui, impedendo al modello di passare all'Inglese quando interrogato in Bengalese.

Gli autori concludono che, sebbene la tecnologia del linguaggio non possa risolvere problemi sistemici legali, può abbassare il costo di accesso a informazioni legali accurate, a patto che i modelli siano esplicitamente addestrati per rimanere ancorati allo statuto governante e aderire alla lingua richiesta. Il dataset e il codice sono pubblicamente disponibili per facilitare ulteriori ricerche nel campo del QA legale a basse risorse.