💬 NLP

LegalMidm: Use-Case-Driven Legal Domain Specialization for Korean Large Language Model

Cet article présente LegalMidm, un grand modèle de langage spécialisé dans le domaine juridique coréen, développé grâce à un cadre d'entraînement systématique et axé sur les cas d'usage, qui privilégie la collaboration avec des professionnels du droit et un rigoureux processus de curation des données afin d'améliorer la précision et l'utilité pratique dans les applications juridiques réelles.

Auteurs originaux : Youngjoon Jang, Chanhee Park, Hyeonseok Moon, Young-kyoung Ham, Jiwon Moon, Jinhyeon Kim, JuKyung Jung, Heuiseok Lim

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Youngjoon Jang, Chanhee Park, Hyeonseok Moon, Young-kyoung Ham, Jiwon Moon, Jinhyeon Kim, JuKyung Jung, Heuiseok Lim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire brillante et omnisciente nommée « Mi:dm ». Cette bibliothécaire a lu presque tous les livres du monde et peut répondre à des questions sur tout, des recettes de cuisine à la physique quantique. Cependant, si vous demandez à cette bibliothécaire de rédiger une plainte pour une affaire judiciaire en Corée du Sud, elle pourrait trébucher. Elle connaît les mots, mais elle ne comprend pas tout à fait les règles du jeu ni le style spécifique exigé par les juges coréens.

Ce document présente LEGALMIDM, un projet conçu pour transformer cette bibliothécaire générale en Expert Juridique Coréen spécialisé. Les chercheurs n'ont pas simplement donné à la bibliothécaire une pile de livres de droit ; ils ont élaboré un programme de formation personnalisé basé sur ce que les avocats doivent réellement faire au quotidien.

Voici comment ils ont procédé, décomposé en étapes simples :

1. Écouter les Vrais Acteurs (L'Approche « Cas d'Usage »)

Avant d'enseigner à l'IA, les chercheurs sont sortis et ont demandé : « De quoi les vrais avocats ont-ils réellement besoin pour être aidés ? »
Ils ont examiné les entreprises de technologie juridique aux États-Unis et en Corée et ont parlé à des avocats en exercice. Ils ont constaté que les avocats avaient principalement besoin d'aide pour quatre choses :

Résumer de longs documents.
Répondre à des questions basées sur des documents spécifiques.
Rédiger des plaintes (le document qui lance un procès).
Rédiger des requêtes (demandes formelles au tribunal).

Au lieu d'enseigner simplement à l'IA des faits juridiques aléatoires, ils ont concentré la formation spécifiquement sur ces tâches à forte demande.

2. Construire le « Manuel » (Curation des Données)

Pour enseigner à l'IA, ils avaient besoin d'exemples de haute qualité. Ils n'ont pas simplement extrait du texte aléatoire d'Internet.

Experts Humains : Ils ont engagé des étudiants en droit, des professionnels du droit et des avocats réels pour curer les données. Pensez-y comme à une équipe de chefs maîtres qui goûtent les ingrédients avant de cuisiner.
Génération Automatique : Ils ont également utilisé une IA puissante pour générer des questions et des réponses d'entraînement basées sur les lois coréennes réelles. Pour s'assurer que l'IA ne « hallucinait » pas (ne fabriquait pas de choses), ils ont créé une règle stricte : chaque réponse devait pointer vers le paragraphe exact de la loi d'où elle provenait. Si l'IA ne pouvait pas trouver le texte source, la réponse était rejetée.

3. La Recette de Formation (Le « Pipeline »)

Les chercheurs ont testé différentes façons d'entraîner l'IA pour voir ce qui fonctionnait le mieux. Ils ont traité cela comme une expérience scientifique avec trois ingrédients principaux :

Ingrédient A : Le Mélange « Connaissances Générales ».
- La Question : Si nous nourrissons uniquement l'IA avec des livres de droit, oubliera-t-elle comment parler normalement ou répondre à des questions simples ?
- La Découverte : Oui, elle le ferait. Les meilleurs résultats ont été obtenus en mélangeant des données juridiques avec des données de conversation générales (comme les questions quotidiennes que les gens posent aux chatbots). Cela a permis de garder l'IA intelligente et polie tout en en faisant un expert juridique. Ils ont fait cela lors de deux étapes : « Pré-entraînement Continu » (lire les livres) et « Ajustement des Instructions » (apprendre à suivre les ordres).
Ingrédient B : Comment Présenter la Loi.
- La Question : Faut-il donner le texte de la loi à l'IA avant qu'elle ne réponde, ou faut-il lui demander de rédiger la loi dans le cadre de sa réponse ?
- La Découverte : C'est un compromis. Demander à l'IA de rédiger la loi dans sa réponse fonctionnait très bien pour la rédaction de documents (comme les plaintes), mais cela confondait l'IA lorsqu'elle répondait à des questions à choix multiples. L'équipe a décidé de mettre le texte de la loi dans l'entrée (le donner à lire à l'IA) plutôt que de lui demander de générer le texte de la loi elle-même. Cela a rendu l'IA plus stable à travers différentes tâches.
Ingrédient C : La « Persona » (Prompts Système).
- La Question : Devons-nous dire à l'IA, « Tu es un assistant juridique nommé Mi:dm » pendant l'entraînement, ou simplement lui dire cela lorsque nous lui parlons ?
- La Découverte : Étonnamment, dire à l'IA son identité pendant l'entraînement l'a rendue moins bonne dans les tâches juridiques. La meilleure stratégie était de l'entraîner sans persona spécifique, puis de lui dire uniquement qui elle est lorsqu'un humain commence à lui parler. Cela a permis à l'IA d'apprendre les compétences juridiques en profondeur sans se confondre avec son propre « personnage ».

4. Les Résultats

Le modèle final, LEGALMIDM, a été testé par rapport à d'autres modèles d'IA massifs et célèbres (dont certains sont beaucoup plus grands).

Tâches Juridiques : LEGALMIDM a battu les modèles plus grands pour la rédaction de plaintes, de requêtes et le résumé d'affaires. C'était comme un chirurgien spécialisé surpassant un médecin généraliste dans une chirurgie spécifique.
Tâches Générales : Malgré sa taille plus réduite et sa spécialisation, il n'a pas perdu sa capacité à répondre à des questions générales. Il n'a pas souffert d'« oubli catastrophique » (oublier tout le reste de ce qu'il savait).

La Conclusion

L'article soutient que pour construire une IA véritablement utile pour un domaine spécifique comme le droit, on ne peut pas simplement déverser une masse de données sur un modèle général. Il faut :

Demander aux experts ce dont ils ont réellement besoin.
Mélanger des données spécialisées avec des données générales afin que l'IA ne perde pas son bon sens.
Tester différents formats pour voir comment l'information est présentée.
Conserver les instructions de « personnalité » pour le moment de la conversation, et non pour la phase d'entraînement.

En suivant cette recette, ils ont créé une IA juridique coréenne qui n'est pas seulement une base de données « bête », mais un outil pratique qui comprend les nuances du système juridique coréen.

1. Énoncé du problème

La prolifération rapide des grands modèles de langage (LLM) open-source a conduit à des efforts visant à créer des spécialistes par domaine. Cependant, les LLM spécialisés par domaine existants (en particulier dans le domaine juridique) souffrent souvent d'une rupture critique :

Inadéquation avec les besoins réels : De nombreux modèles sont entraînés sur des jeux de données et des protocoles basés sur des hypothèses naïves d'utilité plutôt que sur les exigences nuancées et à haut risque des flux de travail juridiques réels.
Manque de rigueur : Les approches actuelles échouent souvent à traiter l'ambiguïté inhérente aux tâches juridiques ou à justifier leurs compositions de données et leurs formats d'entrée/sortie.
Oubli catastrophique : L'adaptation de modèles généraux à des domaines spécifiques risque souvent de dégrader les performances sur des tâches générales ou d'échouer à maintenir l'identité du modèle (par exemple, répondre à « Qui êtes-vous ? »).
Contexte : Bien qu'il y ait une forte demande pour l'IA dans le secteur juridique coréen, il manque des cadres systématiques pour adapter les LLM open-source spécifiquement au droit coréen.

2. Méthodologie

Les auteurs proposent LEGALMIDM, un LLM vertical pour le domaine juridique coréen, construit sur la base de Mi:dm-2.0-Base (un modèle bilingue coréen-anglais de 11,5 milliards de paramètres). La méthodologie est un cadre orienté cas d'usage, de bout en bout, composé de quatre piliers clés :

A. Enquête sur les besoins et sélection des tâches

Au lieu d'un entraînement générique, les auteurs ont analysé 20 services opérationnels de legal tech (États-Unis et Corée du Sud) et consulté des avocats pratiquants. Ils ont identifié six tâches à forte demande :

Résumé de documents (DS)
Réponses à des questions basées sur des documents (DQA)
Réponses à des questions ouvertes (Open QA)
Rédaction de plaintes (DD)
Rédaction de pétitions (DD)
Questions à choix multiples (MC)

B. Curation et construction des données

Données curées par l'humain : Une équipe composée d'étudiants en droit, de professionnels de l'industrie et d'avocats a construit des jeux de données de haute qualité. Cela inclut 100 échantillons de test retenus par tâche.
Génération automatique de données synthétiques : Pour augmenter le volume de données, ils ont exploité les statuts du Centre d'information législative coréen. En utilisant GPT-4o, ils ont généré des paires question-réponse où le modèle était invité à citer des dispositions juridiques spécifiques.
- Vérification : Une étape de vérification par correspondance de chaînes (string-matching) a assuré que les références citées étaient de véritables sous-chaînes des statuts sources, garantissant ainsi un ancrage factuel.
Préservation du domaine général : Pour prévenir l'oubli catastrophique, les auteurs ont analysé des requêtes d'utilisateurs réels (provenant de ChatKoAlpaca) pour identifier des questions d'identité courantes (par exemple, « Qui êtes-vous ? ») et ont inclus des données de domaine général (KoAlpaca, KOpen-HQ) dans le mélange d'entraînement.

C. Pipeline d'entraînement

Le processus d'entraînement a impliqué deux étapes avec des études d'ablation spécifiques pour déterminer les stratégies optimales :

Pré-entraînement continu (CPT) : Adaptation du modèle de base au domaine juridique.
Ajustement par instruction (IT) : Affinement du modèle pour des tâches spécifiques.

Décisions clés de conception (validées par ablation) :

Composition des données : L'intégration de données de domaine général (dans un ratio 7:3 de Général:Juridique) lors des étapes de CPT et d'IT a produit des performances supérieures par rapport à un entraînement uniquement sur des données juridiques. Cela a préservé les capacités générales tout en renforçant la spécialisation juridique.
Formatage des données synthétiques : Les auteurs ont testé trois formats pour les références juridiques ( $R$ $R$ ) :
1. $M(Q) \to A$ (Sans référence)
2. $M(Q) \to A + R$ (Référence dans la sortie)
3. $M(Q + R) \to A$ (Référence dans l'entrée)
- Résultat : Bien que la génération de références dans la sortie ait bien fonctionné pour les tâches de documents, elle a causé une instabilité dans les questions à choix multiples. La stratégie optimale consistait à placer les références juridiques dans l'entrée ( $Q + R$ ) pour toutes les tâches.
Optimisation de l'invite système : Les auteurs ont testé l'entraînement avec et sans invites système (définissant le modèle comme « Mi:dm »).
- Résultat : L'entraînement sans invites système a produit les meilleures performances juridiques. L'invite système ne doit être appliquée qu'au moment de l'inférence pour garantir que le modèle s'identifie correctement sans compromettre le raisonnement spécifique à la tâche.

3. Contributions clés

Cadre orienté cas d'usage : Une recette systématique pour transformer les LLM open-source en experts juridiques, fondée sur des exigences industrielles réelles plutôt que sur des hypothèses théoriques.
Modèle LEGALMIDM : La publication d'un LLM juridique coréen spécialisé de 11,5 milliards de paramètres qui surpasse significativement des modèles beaucoup plus grands (par exemple, Llama-3.3-70B, Qwen2.5-32B) sur les benchmarks juridiques coréens.
Validation empirique des stratégies d'entraînement :
- Démonstration que le mélange de données de domaine général est crucial pour maintenir la robustesse.
- Identification du fait que l'entrée des références juridiques est supérieure à leur génération pour les données synthétiques.
- Preuve que les invites système doivent être découplées des données d'entraînement et appliquées uniquement lors de l'inférence.
Construction de jeux de données de haute qualité : Un pipeline rigoureux impliquant des experts juridiques et une vérification automatisée pour créer des jeux de données juridiques ancrés dans les faits.

4. Résultats

Le modèle a été évalué sur six tâches juridiques et deux benchmarks généraux (KMMLU, HAERAE).

Performance juridique : LEGALMIDM (11,5B) a obtenu les scores les plus élevés sur toutes les tâches juridiques (Plainte, Résumé, Pétition, QA, MRC, MC).
- Exemple : Sur la tâche Plainte, LEGALMIDM a obtenu un score Rouge-L de 67,67, surpassant nettement Llama-3.3-70B (53,40) et Qwen2.5-32B (58,81).
- Il a également obtenu les scores les plus élevés des juges LLM (évalués par GPT-4o) dans l'ensemble.
Performance générale : Malgré sa taille réduite, LEGALMIDM a maintenu des performances compétitives sur les benchmarks généraux (KMMLU, HAERAE), comparables ou supérieures à celles de modèles beaucoup plus grands, confirmant que l'inclusion de données générales a empêché l'oubli catastrophique.
Insights des études d'ablation :
- Le retrait des données générales du CPT/IT a provoqué une baisse significative des performances sur les tâches juridiques.
- L'inclusion des références dans l'entrée ( $Q+R$ ) a constamment surpassé les autres formats en termes de stabilité et de précision.

5. Signification

Cet article comble une lacune critique dans le déploiement de l'IA dans le secteur juridique en déplaçant l'accent de « plus de données » vers « de meilleures données alignées sur les cas d'usage et des stratégies d'entraînement ».

Utilité pratique : Le cadre fournit un chemin reproductible pour développer des LLM verticaux qui ne sont pas seulement théoriquement capables, mais pratiquement utiles pour des tâches à haut risque comme la rédaction de plaintes et de pétitions.
Efficacité : Il démontre qu'un modèle plus petit et bien ajusté (11,5B) peut surpasser des modèles fondateurs massifs (70B+) dans des domaines spécialisés lorsque le pipeline d'entraînement est optimisé pour les contraintes spécifiques du domaine.
IA juridique coréenne : Il comble un vide spécifique dans le paysage de la legal tech coréenne, en fournissant un modèle entraîné sur les statuts coréens et les contextes culturels, ce qui est essentiel pour un raisonnement juridique précis dans cette juridiction.

En conclusion, LEGALMIDM établit une nouvelle norme pour la spécialisation par domaine, prouvant qu'une curation rigoureuse des données, un mélange stratégique des données et des choix architecturaux spécifiques (comme la référence basée sur l'entrée) ont plus d'impact que le simple passage à l'échelle de la taille du modèle.