Sintesi Tecnica: Modelli Mecellem

Problematica

I Large Language Models (LLM) addestrati prevalentemente su dati centrici per l'inglese esibiscono un degrado delle prestazioni nelle lingue non inglesi e nei domini altamente formali. Il dominio legale turco presenta sfide specifiche dovute alla sua ricchezza morfologica (struttura agglutinante), alle complesse variazioni sintattiche, alla terminologia intensiva e ai rigorosi vincoli normativi. Gli approcci esistenti per la NLP legale in turco si sono ampiamente basati sul machine learning tradizionale, sulla classificazione basata su transformer o sul fine-tuning efficiente dei parametri (PEFT) di modelli piccoli. Tuttavia, questi metodi si rivelano spesso insufficienti per un adattamento di dominio profondo, fallendo nel catturare i pattern linguistici sfumati e il ragionamento a lungo contesto richiesti per un efficace recupero e generazione di informazioni legali. Inoltre, gli obiettivi di pre-training standard (ad esempio, la perdita di Masked Language Modeling) non sempre correlano con l'utilità dell'embedding a valle, particolarmente per le lingue morfologicamente ricche.

Metodologia

Il documento introduce Mecellem, un framework per lo sviluppo di modelli linguistici legali turchi specializzati attraverso due approcci complementari:

1. Modelli Encoder: Pre-addestrati da zero

Gli autori hanno sviluppato modelli encoder bidirezionali basati sull'architettura ModernBERT, pre-addestrati interamente da zero su un corpus curato a dominanza turca.

• Dati: Il corpus consiste in 112,7 miliardi di token, combinando testi legali turchi (Corte di Cassazione, Consiglio di Stato, tesi accademiche) con dati web generali (FineWeb2, CulturaX). I dati sono stati sottoposti a un rigoroso pre-processing, inclusa l'estrazione OCR basata su VLM (DotsOCR) per documenti scansionati, deduplicazione semantica (SemHash) e filtraggio della qualità specifico per il turco basato su entropia dei suffissi e diversità dei lemmi.
• Architettura: Sono stati addestrati due modelli di dimensioni diverse: Base (155M di parametri) e Large (403M di parametri). Entrambi utilizzano l'attenzione locale e globale alternata, embedding posizionali RoPE e supportano lunghezze di sequenza fino a 8.192 token.
• Strategia di Addestramento:
  • Pre-training: Utilizzo di Masked Language Modeling (MLM) con un tasso di masking del 30% (strategia 80-10-10).
  • Selezione dei Checkpoint: Invezione di affidarsi esclusivamente alla minimizzazione della perdita MLM, gli autori hanno implementato una strategia che valuta le prestazioni di retrieval a valle durante l'addestramento. Ciò ha rivelato che i checkpoint ottimali per il retrieval spesso si verificano prima che la perdita di pre-training raggiunga il suo minimo.
  • Post-training: Gli encoder sono stati convertiti in modelli di embedding tramite contrastive learning sul dataset MS MARCO-TR. Le tecniche includono InfoNCE standard, InfoNCE in stile Qwen3 e GISTEmbed con modelli guida in cache (BGE-M3, EmbeddingGemma-300M) per il filtraggio dei falsi negativi.

2. Modelli Decoder: Continual Pre-training (CPT)

Gli autori hanno adattato i modelli decoder esistenti Qwen3-1.7B e Qwen3-4B al dominio legale turco tramite Continual Pre-training.

• Strategia: Per il modello da 1.7B è stato impiegato un approccio di apprendimento curricolare in quattro fasi, progredendo dai testi turchi generali ai contenuti legali specifici, ai documenti normativi lunghi e, infine, al raffinamento esteso del dominio. Il modello da 4B ha subito un CPT a singola fase su larga scala.
• Mitigazione dell'Oblio Catastrofico: La struttura del curriculum e l'inclusione di un buffer di replay (re-introducendo i dati della Fase 1 nella Fase 2) sono stati utilizzati per preservare le capacità linguistiche generali acquisendo al contempo l'expertise legale.
• Valutazione: Le prestazioni sono state misurate tramite la perplexity sul dataset EuroHPC-Legal e valutate utilizzando Muhakim, un modello di reward specifico per il dominio addestrato per valutare l'accuratezza statutaria, il ragionamento legale e la qualità delle citazioni.
• Conversione Decoder-to-Encoder: I modelli decoder CPT sono stati convertiti in modelli di embedding rimuovendo la testa di language modeling, abilitando l'attenzione bidirezionale e applicando il mean pooling.

Contributi Chiave

1. Pre-training da zero per gli Embedding Legali Turchi: La creazione di encoder basati su ModernBERT pre-addestrati da zero su 112,7 miliardi di token, dimostrando che il pre-training da zero specifico per il dominio è efficace per i compiti legali turchi.
2. Selezione dei Checkpoint Consapevole del Downstream: Una scoperta innovativa secondo cui, per le lingue morfologicamente ricche, il checkpoint ottimale per le prestazioni di retrieval a valle non coincide necessariamente con il minimo della perdita di pre-training. I checkpoint intermedi spesso producono una qualità di embedding superiore.
3. Continual Pre-training Controllato: Un'applicazione di successo del CPT ai modelli Qwen3 utilizzando un apprendimento curricolare a quattro fasi, ottenendo riduzioni significative della perplexity (fino al 43,1% per il modello 1.7B) mitigando al contempo l'oblio catastrofico.
4. Ingegneria dei Dati Specifica per il Turco: Sviluppo di una pipeline robusta per l'estrazione e la pulizia dei dati legali turchi, inclusa l'OCR basata su VLM per documenti complessi e filtri di qualità guidati dalla morfologia (entropia dei suffissi, diversità dei lemmi).
5. Benchmarking Completo: Introduzione di MTEB-Turkish, un framework di valutazione che estende l'MTEB con task specifici per il turco e tre benchmark di retrieval legale specifici del dominio (Contratti, Regolamenti, Giurisprudenza).

Risultati

• Prestazioni degli Encoder:
  • I modelli Mursit-Base-TR-Retrieval (155M) e Mursit-Large-TR-Retrieval (403M) hanno ottenuto i primi tre posti nella classifica di retrieval turco.
  • Nonostante abbiano significativamente meno parametri rispetto ai modelli allo stato dell'arte (ad esempio, EmbeddingGemma-300M, BGE-M3), i modelli Mecellem hanno raggiunto prestazioni comparabili. Il modello da 155M ha ottenuto un punteggio MTEB di 55,86 e un punteggio Legale di 47,52, superando i modelli decoder convertiti più grandi.
  • I modelli hanno raggiunto una efficienza di produzione del 92,36% rispetto ai modelli SOTA, classificandosi quarti complessivamente pur richiedendo meno risorse computazionali.
• Prestazioni dei Decoder:
  • Il CPT ha comportato una riduzione della perplexity del 36,2% sui testi legali turchi per il modello Qwen3-4B e fino al 43,1% per il Qwen3-1.7B.
  • La valutazione con il modello di reward Muhakim ha mostrato che i modelli CPT superano costantemente i modelli base in accuratezza legale, riferimento statutario e profondità di copertura, particolarmente sotto vincoli di contesto breve.
• Insight dall'Ablazione:
  • Lunghezza della Sequenza: Ottimizzare la lunghezza della sequenza basandosi esclusivamente sulla distribuzione dei dati di addestramento (ad esempio, 256 token) ha causato un significativo degrado delle prestazioni (fino al 23,6% nel retrieval dei regolamenti) rispetto a sequenze più lunghe (2048 token), evidenziando la necessità di una comprensione del contesto lungo nei domini legali.
  • Filtraggio dei Falsi Negativi: L'uso di GISTEmbed con modelli guida ha migliorato i punteggi di retrieval legale del 15,9% rispetto allo standard InfoNCE.
  • Architettura: Gli encoder creati ad hoc e pre-addestrati da zero hanno superato i modelli convertiti da decoder-to-encoder, che hanno faticato nei compiti di retrieval legale nonostante il maggior numero di parametri.

Significato e Rivendicazioni

Il documento afferma che modelli linguali legali turchi efficaci possono essere sviluppati attraverso il pre-training specifico del dominio da zero e il continual pre-training controllato, a condizione che le strategie di addestramento siano adattate alle complessità linguistiche del turco.

Le rivendicazioni chiave includono:

• La perdita MLM non è un proxy per la qualità dell'Embedding: Per le lingue morfologicamente ricche come il turco, minimizzare la perdita di pre-training non garantisce un'ottimale performance di embedding a valle. La valutazione diretta dei task a valle è essenziale per la selezione dei checkpoint.
• Efficienza dei Parametri: Modelli più piccoli e specifici del dominio (155 milioni di parametri) possono raggiungere prestazioni comparabili a modelli molto più grandi e multi-stadio post-addestrati, offrendo un'alternativa costo-efficace per le applicazioni di NLP legale.
• Necessità dell'Apprendimento Curricolare: Per i modelli più piccoli, un approccio strutturato di apprendimento curricolare a più fasi è critico per un successo nell'adattamento del dominio senza oblio catastrofico, mentre i modelli più grandi possono tollerare un addestramento a singola fase.
• Limitazioni: Il documento nota con modestia che la conversione decoder-to-encoder senza un'estesa infrastruttura di addestramento multi-stadio (generazione di dati sintetici, model merging) risulta in prestazioni subottimali per i compiti di embedding, particolarmente nei domini legali specializzati.

Gli autori sottolineano che il loro lavoro affronta la natura sottoservita della NLP legale turca, fornendo modelli open-source e benchmark per facilitare lo sviluppo di strumenti legali basati sull'IA su misura per l'unico quadro giuridico della Turchia.