Sintesi Tecnica: Mi:dm 2.0 – Modelli Linguistici di Grandi Dimensioni Bilingue Centrati sulla Corea

Definizione del Problema

Nonostante la proliferazione di Large Language Models (LLM) che supportano la lingua coreana, rimane un divario significativo nei modelli che siano veramente radicati nelle realtà della società coreana. I modelli esistenti soffrono spesso di dati di addestramento coreani insufficienti o di bassa qualità, portando a una limitata performance linguistica e a un disallineamento con le sensibilità culturali coreane. Ciò si traduce in risposte innaturali, incongruenza emotiva o addirittura nel passaggio alla lingua straniera dal punto di vista degli utenti coreani. Inoltre, i dataset coreani esistenti sono strutturalmente sbilanciati, pesantemente orientati verso le scienze umane e sociali, mentre mancano di rappresentazione nelle discipline STEM, nelle scienze applicate e in diversi formati strutturali (ad esempio, ragionamento a lungo termine, codice). La sfida risiede nello sviluppo di un modello che non si limiti a elaborare il testo coreano, ma che interiorizzi anche i valori unici, i quadri cognitivi e il ragionamento comune inerenti alla cultura coreana, operando al contempo in modo efficiente entro vincoli di risorse.

Metodologia

1. Ingegneria e Curatela dei Dati

Lo sviluppo di Mi:dm 2.0 privilegia la qualità dei dati rispetto alla quantità, impiegando una rigorosa pipeline multi-stadio per affrontare la scarsità di corpora coreani di alta qualità.

• Classificazione dei Dati: Un framework multidimensionale categorizza i dati per lingua, dominio (Umanità, STEM, Scienze Applicate, ecc.), fonte (Organica vs. Sintetica) e stile linguistico (Formale/Informale, Scritto/Parlato).
• Pipeline di Filtraggio: Un processo di filtraggio a 8 stadi viene applicato ai dati web coreani, includendo de-duplicazione dei documenti, filtraggio euristico, filtraggio della perplexity, correzione di documenti interrotti, filtraggio della qualità basato su modelli, rimozione di contenuti tossici, de-duplicazione a livello di riga e anonimizzazione PII.
• Generazione di Dati Sintetici: Per compensare gli squilibri di dominio (particolarmente nelle scienze STEM e applicate) e la diversità strutturale, gli autori generano dati sintetici ad alta fedeltà. Le strategie includono:
  • Bilanciamento del Dominio: Conversione di concetti seme in spiegazioni in stile libro di testo e narrazioni guidate da scenari per i domini sotto-rappresentati.
  • Ricostruzione: Riscrittura di documenti Common Crawl filtrati, di bassa qualità ma topicamente rilevanti, per recuperare token utilizzabili.
  • Augmentation Cross-lingue: Riscrittura di documenti web inglesi in formati coreani naturali (ad esempio, convertendo i contenuti in domande di esami di ammissione universitaria) per introdurre diversità strutturale senza fare affidamento sulla traduzione diretta.
  • Dati di Ragionamento: Costruzione di dataset Long Chain-of-Thought (LongCoT) per il ragionamento matematico e di codice.
• Tokenizer: Un tokenizer personalizzato è progettato specificamente per la struttura morfologica del coreano per migliorare la compressione dei token e l'efficienza computazionale.

2. Architettura del Modello e Strategie di Addestramento

Mi:dm 2.0 viene rilasciato in due configurazioni: Base (11,5 miliardi di parametri) e Mini (2,3 miliardi di parametri). Entrambi utilizzano un'architettura Transformer decoder-only con Grouped Query Attention (GQA) e attivazione SiLU.

• Mi:dm 2.0 Base (Depth-up Scaling):

  • Fase 1: Un modello da 8 miliardi di parametri viene pre-addestrato da zero su un corpus curato.
  • Fase 2: Il modello viene espanso a 11,5 miliardi di parametri utilizzando una strategia di Depth-up Scaling (DuS). Vengono identificati e duplicati i layer con alta similarità del coseno nei cambiamenti di embedding (che indicano una stabile preservazione delle informazioni) per aumentare la profondità da 32 a 48 layer senza modifiche architettoniche complesse.
  • Estensione del Contesto Lungo: La frequenza di base della Rotary Position Embedding (RoPE) viene regolata per estendere la lunghezza del contesto da 8K a 32K token.

• Mi:dm 2.0 Mini (Pruning e Distillazione):

  • Derivato dal modello Base attraverso un processo multi-stadio per ottimizzare l'uso in ambienti con risorse limitate.
  • Fase 1: Il pruning della larghezza riduce il modello a un modello intermedio "Base-half" da 5 miliardi.
  • Fase 2: La distillazione della conoscenza viene eseguita utilizzando sia il modello intermedio che il modello Base completo come insegnanti. Lo studente viene ulteriormente ridotto a 2,3 miliardi di parametri, utilizzando il weight-sharing per gli embedding.

3. Post-Training (Allineamento)

La fase di post-training si concentra su sei capacità chiave: Seguire le Istruzioni (IF), Ragionamento, Generazione Aumentata dalla Retrieval (RAG), Capacità di Agente, Sicurezza e Gestione del Contesto Lungo.

• Supervised Fine-Tuning (SFT): Diversi modelli SFT sono addestrati su dataset eterogenei (Chat Generale, IF, Ragionamento, RAG, Uso di Strumenti, Sicurezza) e i loro pesi vengono uniti per unificare le capacità.
• Ottimizzazione delle Preferenze (RL): L'Apprendimento per Rinforzo è applicato utilizzando le preferenze umane e dell'IA per allineare il modello con la sicurezza, l'affidabilità e l'intento dell'utente.
• Addestramento alla Sicurezza: Dataset estesi vengono costruiti per gestire innocuità, onestà e coerenza del ruolo, inclusa la gestione specifica per query borderline.

Contributi Chiave

• Definizione di IA Centrata sulla Corea: Il paper stabilisce un framework per un'"IA centrata sulla Corea", enfatizzando l'interiorizzazione dei valori socio-culturali, delle norme e dei pattern di ragionamento coreani, piuttosto che la mera competenza linguistica.
• Innovazione Centrata sui Dati: L'introduzione di una pipeline proprietaria di pulizia dei dati multi-stadio e di una generazione strategica di dati sintetici progettata specificamente per correggere gli squilibri di dominio (ad esempio, la sotto-rappresentazione STEM) nei corpora coreani.
• Tecniche di Scaling Efficienti: Il successo dell'applicazione del Depth-up Scaling (DuS) per espandere la capacità del modello e del pruning/distillazione multi-stadio per creare un modello da 2,3B ad alte prestazioni, dimostrando risultati competitivi con un overhead computazionale significativamente inferiore.
• Suite di Valutazione Completa: Lo sviluppo di benchmark proprietari specifici per la Corea (K-Pragmatics, K-Referential, Ko-Sovereign) e valutazioni di IA Responsabile (RAI) adattate al contesto coreano, andando oltre le metriche eurocentriche/anglocentriche.

Risultati

• Benchmark Coreani: Mi:dm 2.0 Base raggiunge prestazioni state-of-the-art sui benchmark specifici coreani. Supera il baseline nazionale (Exaone-3.5-7.8B) del 9,6% nel ragionamento e dell'8,7% nella conoscenza generale. Notevolmente, mostra un vantaggio del 17,1% rispetto a Exaone-3.5-7.8B sul benchmark K-Referential-hard e guida nel benchmark HAERAE per la comprensione culturale.
• Benchmark Generali: Sui benchmark inglesi (MMLU, GSM8K, ecc.), Mi:dm 2.0 Base dimostra prestazioni competitive, particolarmente nel seguire le istruzioni e nella matematica, superando spesso modelli globali di dimensioni simili.
• Efficienza: Mi:dm 2.0 Mini (2.3B) raggiunge prestazioni comparabili o superiori al modello Exaone 2.4B nel seguire le istruzioni e nei compiti relativi alla società e cultura coreana, nonostante abbia meno parametri.
• Sicurezza e Robustezza: Nelle valutazioni RAI, Mi:dm 2.0 Base raggiunge un "Tasso di Non Insicurezza" del 97,75% nella sicurezza dei contenuti, superando Llama-3.1-8B. Negli scenari di red teaming, dimostra il più basso Tasso di Successo dell'Attacco (36,72%) tra i modelli comparabili.

Significato e Rivendicazioni

Il paper sostiene che Mi:dm 2.0 stabilisca un nuovo standard per una vera IA centrata sulla Corea, andando oltre l'elaborazione linguistica per incarnare le sfumature culturali e i valori sociali. Gli autori argomentano che il loro approccio — che privilegia la rigorosa curatela dei dati, l'augmentation sintetica strategica e le tecniche di scaling efficienti — permette lo sviluppo di modelli ad alte prestazioni anche con risorse computazionali limitate e corpora di addestramento più piccoli rispetto ai controparti globali.

Rilasciando sia i modelli Base che Mini sotto licenza MIT, KT mira ad accelerare l'adozione dell'IA in tutte le industrie, i servizi pubblici e l'istruzione coreana. I modelli sono posizionati come elementi fondamentali della "K-intelligence", destinati a rafforzare la comunità degli sviluppatori di IA coreana e a fornire strumenti affidabili e culturalmente appropriati per applicazioni nel mondo reale. Il paper conclude che il successo di Mi:dm 2.0 valida il ruolo critico della composizione precisa dei dati e delle strategie di addestramento efficienti nel migliorare le prestazioni del modello, offrendo un blueprint per lo sviluppo di LLM specializzati e di alta qualità in ambienti con risorse limitate o linguisticamente specifici.