Résumé Technique : LegalOne

Énoncé du Problème

Bien que les modèles de langage à grande échelle (LLM) démontrent des capacités générales impressionnantes, leur application directe dans le domaine juridique est entravée par deux limitations primaires :

1. Connaissance de Domaine Insuffisante : Les modèles généraux manquent d'un ancrage précis dans des sources faisant autorité (statuts, interprétations judiciaires, précédents) et peinent face à la complexité d'un raisonnement judiciaire multi-étapes rigoureux.
2. Modèles de Raisonnement Désalignés : Lorsqu'ils sont appliqués à des tâches juridiques, les LLM généraux produisent souvent des sorties fluentes mais juridiquement invalides. Leurs schémas de raisonnement échouent fréquemment à s'aligner sur la pratique juridique réelle, entraînant des hallucinations et un manque de cohérence des sources.

Les modèles spécifiquement juridiques existants accusent souvent un retard par rapport aux modèles généralistes de pointe en termes de capacité globale ou ne parviennent pas à manifester le raisonnement profond requis pour le langage statutaire complexe et la logique juridique.

Méthodologie

Les auteurs présentent LegalOne, une famille de modèles de fondation adaptés au domaine juridique chinois. Les modèles sont développés via un pipeline d'entraînement en trois phases conçu pour maîtriser le raisonnement juridique tout en conservant les capacités générales.

Phase 1 : Mid-Training avec Échantillonnage Ajusté à la Plasticité (PAS)

Pour combler l'écart entre le pré-entraînement général et l'ajustement fin d'instruction (instruction tuning) spécifique au domaine, LegalOne introduit une étape de "mid-training".

• Stratégie de Données : Le corpus combine des données générales de haute qualité (ex. : FinWeb-Edu, MathPile) pour prévenir l'oubli catastrophique avec un corpus juridique sélectionné (jugements, statuts, articles académiques) et des données synthétiques. Les données synthétiques incluent des trajectoires de raisonnement générées via la Technique de Feynman et des textes reformulés pour améliorer la diversité linguistique.
• Échantillonnage Ajusté à la Plasticité (PAS) : Pour résoudre le défi de l'apprentissage de nouvelles connaissances juridiques sans oublier les capacités originales, les auteurs proposent un ordonnanceur de données basé sur la perplexité.
  • Mécanisme : PAS traite la probabilité d'échantillonnage comme une fonction du taux d'apprentissage. Pendant la phase de "re-warmup" (où le taux d'apprentissage augmente), le modèle est biaisé vers des échantillons "ancres" à faible perplexité (low-PPL) qui s'alignent avec sa distribution originale. Cela stabilise l'optimisation et empêche l'oubli catastrophique. À mesure que le taux d'apprentissage atteint son sommet, la distribution transite de manière fluide pour inclure des données juridiques à haute perplexité (high-PPL).
  • Base Théorique : La méthode est fondée sur l'analyse de la stabilité numérique, montrant que les données à faible perplexité agissent comme un "amortisseur numérique" contre l'instabilité causée par l'augmentation du taux d'apprentissage sur des données hors distribution.

Phase 2 : Fine-Tuning Supervisé (SFT) avec Distillation de CoT Agentique Juridique (LEAD)

La distillation standard à partir de LLM généralistes propage souvent des erreurs et manque de la structure rigoureuse de la pratique juridique. LegalOne utilise LEAD pour distiller un raisonnement explicite à partir de textes juridiques bruts.

• Flux de Travail Agentique : Au lieu d'une distillation naïve, LEAD utilise un système agentique qui émule les flux de travail professionnels du droit. Il décompose les problèmes juridiques complexes en une séquence structurée : Recherche de Faits, Identification des Problèmes, Recherche de Règles, Déduction de Règles et Dérivation de la Conclusion.
• Échafaudage Cognitif : Le flux de travail intègre des Protocoles d'Experts, une Base de Connaissances Juridiques externe (pour la recherche de statuts) et des Modèles Théoriques (ex. : syllogisme judiciaire) pour guider la génération de trajectoires de raisonnement.
• Raffinement : Les traces brutes subissent une Internalisation des Connaissances (réécriture pour supprimer les références externes explicites, forçant le modèle à internaliser la logique) et une Convergence du Raisonnement (fusion des sous-étapes fragmentées en une seule Chaîne de Pensée [Chain-of-Thought] cohérente).
• Contrôle Qualité : Un processus de filtrage en deux étapes (heuristique et LLM-as-Judge) garantit que le jeu de données final ne contient que des échantillons de raisonnement de haute qualité, logiquement cohérents et fondés sur des faits.

Phase 3 : Apprentissage par Renforcement Multi-étapes (RL)

Pour favoriser une "Mentalité Juridique" autonome, les auteurs implémentent une stratégie d'Apprentissage par Renforcement par Curriculum utilisant l'algorithme DAPO avec une nouvelle Base au Niveau du Token.

• Conception du Curriculum : Le processus de RL s'étend sur cinq étapes de difficulté croissante, ciblant trois compétences clés :
  1. Mémorisation des Statuts : Réciter le texte statutaire exact (Récompense : ROUGE).
  2. Application des Statuts : Mapper les faits aux dispositions applicables (Récompense : Score F1).
  3. Analyse de Cas : Répondre à des questions à choix multiples complexes (Récompense : Précision/Accuracy).
  4. Prédiction de Jugement : Prédire les issues basées sur les faits de l'affaire (Récompense : LLM-as-Judge avec tolérance pour la variance de condamnation).
  5. Génération de Documents Juridiques : Rédiger des actes d'accusation ou des jugements (Récompense : Évaluation basée sur une grille/rubric).
• Base au Niveau du Token : Pour réduire la variance de l'estimation du gradient de politique, les auteurs proposent une base au niveau du token ($b_2$) qui pondère les récompenses par la longueur de la séquence, corrigeant le biais introduit par les bases standards au niveau de l'échantillon ($b_1$) dans les tâches juridiques à séquences longues.

Contributions Clés

1. Famille de Modèles LegalOne : Une série de modèles (1.7B, 4B, 8B) qui atteignent des performances de pointe dans le raisonnement juridique chinois, surpassant significativement des modèles généralistes beaucoup plus grands (ex. : Qwen3-235B, GPT-5) dans des tâches juridiques spécifiques.
2. Échantillonnage Ajusté à la Plasticité (PAS) : Un nouveau mécanisme d'ordonnancement de données qui équilibre efficacement l'acquisition et la rétention de connaissances durant le mid-training, atténuant l'oubli catastrophique sans nécessiter l'accès aux données de pré-entraînement originales.
3. Distillation de CoT Agentique Juridique (LEAD) : Un cadre pour convertir la logique judiciaire implicite en trajectoires de raisonnement explicites et structurées via des flux de travail agentiques, résultant en un ancrage factuel et une rigueur logique supérieurs à la distillation naïve.
4. RL par Curriculum avec Base au Niveau du Token : Une stratégie de RL multi-étapes qui fait évoluer le modèle du simple appariement de motifs vers un raisonnement autonome, couplée à une technique d'optimisation de la base réduisant la variance.
5. Ressources Ouvertes : Publication des poids du modèle LegalOne et de LegalKit, un kit d'évaluation complet pour les LLM du domaine juridique.

Résultats Expérimentaux

Les modèles ont été évalués sur JEC-QA (Examen National Unifié de Qualification Professionnelle Juridique) et LexEval (Taxonomie des Capacités Cognitives Juridiques).

• Performance : LegalOne-8B atteint une performance supérieure sur les tâches juridiques, dépassant les modèles généralistes aux nombres de paramètres bien plus élevés (ex. : DeepSeek-v3.2, Qwen3-Max). Par exemple, LegalOne-8B obtient 62.36 sur la moyenne LexEval et 62.36 sur la moyenne JEC-QA, surpassant Qwen3-8B (44.61 / 44.61) et rivalisant avec des modèles beaucoup plus grands.
• Efficacité des Paramètres : LegalOne démontre une haute "densité de capacité", où le modèle 1.7B surpasse significativement le modèle de base Qwen3-1.7B et approche la performance du modèle général 8B, prouvant que des données de domaine curatées peuvent combler l'écart pour des modèles compacts.
• Études d'Ablation :
  • Mid-Training : Essentiel pour les petits modèles (1.7B) afin de prévenir la dégradation des performances pendant le SFT ; il agit comme un stabilisateur pour le paysage de perte (loss landscape).
  • RL : Apporte des gains significatifs, particulièrement pour les modèles plus grands (8B), suggérant une loi d'échelle (scaling law) spécifique au raisonnement juridique au sein de l'étape de RL.
• Capacités Générales : Les modèles conservent de fortes capacités générales (GSM8K, Math500, C-Eval). Notamment, la phase de RL a montré un transfert positif, améliorant le raisonnement logique général malgré un entraînement exclusivement sur des données juridiques.

Signification

L'article affirme que LegalOne représente une étape importante vers le développement d'une IA fiable et interprétable pour les applications judiciaires à enjeux élevés. En allant au-delà de l'appariement de motifs superficiels pour atteindre un raisonnement juridique autonome et structuré, LegalOne comble l'écart critique entre la fluidité linguistique générale et les standards professionnels du droit. Les auteurs postulent que leur méthodologie — spécifiquement la combinaison de PAS, LEAD et du RL par Curriculum — fournit un blueprint pour construire des modèles de fondation robustes et alignés sur le domaine dans d'autres domaines spécialisés. La publication de LegalKit et des poids du modèle vise à abaisser les barrières pour la recherche future et à promouvoir la reproductibilité dans l'IA Juridique.