Résumé technique : Exploration de modèles de langage de grande taille légers pour la génération de vues judiciaires

Définition du problème

La génération de vues judiciaires (CVG) est une tâche critique en Intelligence Artificielle Juridique (Legal AI) qui consiste à générer automatiquement la « vue judiciaire » — le raisonnement juridique justifiant un jugement définitif — à partir des faits de l'affaire. Cette tâche est essentielle pour garantir la transparence et l'interprétabilité juridiques. Cependant, la CVG reste difficile en raison de la complexité du langage juridique, de la nécessité d'une cohérence logique et de l'exigence d'intégrer avec précision les connaissances statutaires et les détails factuels.

Bien que les réseaux de neurones profonds (DNN) aient été appliqués à la CVG, ils éprouvent souvent des difficultés avec le raisonnement juridique complexe et les dépendances à long terme. À l'inverse, les modèles de langage de grande taille (LLM) offrent des capacités de génération et de raisonnement supérieures. Malgré cela, il existe un manque de recherches systématiques concernant les LLM légers (spécifiquement ceux comportant moins de 2 milliards de paramètres) dans le domaine juridique. Les lacunes clés incluent la compréhension de la manière dont différentes architectures et tailles de modèles affectent la qualité de la CVG et la prédiction de charges en aval, la comparaison des LLM légers avec les DNN traditionnels, et l'évaluation de savoir si la génération de vues judiciaires avant la prédiction de charges améliore la précision par rapport à une prédiction directe.

Méthodologie

Les auteurs ont mené une étude systématique en utilisant un cadre d'évaluation nouvellement développé, CVGEvalKit, qui prend en charge trois jeux de données publics : C3VG, LCVG et CCVG. La méthodologie comprenait les composants suivants :

1. Sélection des modèles : L'étude a évalué divers LLM légers open-source à travers différentes architectures (Qwen, Llama, Gemma, InternLM) et tailles (allant de 0,5 milliard à 1,8 milliard de paramètres). Ceux-ci ont été comparés à des bases de référence DNN traditionnelles (AttS2S, Transformer, C3VG, LeGen).
2. Stratégie d'entraînement : Tous les modèles ont été affinés (fine-tuned) en utilisant un ensemble d'entraînement mixte dérivé des trois jeux de données. Pour les LLM, les auteurs ont employé l'adaptation à faible rang (LoRA) pour un affinage efficace en paramètres, en gelant les poids originaux et en entraînant uniquement des matrices de mise à jour à faible rang.
3. Paradigmes de tâches : Deux paradigmes pour la prédiction de charges ont été investigués :
   • CVG d'abord : Le modèle génère d'abord la vue judiciaire, puis prédit la charge sur la base de cette vue générée.
   • Directement : Le modèle prédit la charge directement à partir des faits de l'affaire sans étape de génération intermédiaire.
4. Métriques d'évaluation :
   • Génération de vue judiciaire : Mesurée à l'aide des scores ROUGE-1, ROUGE-2, ROUGE-L et BLEU.
   • Prédiction de charges : Mesurée à l'aide de la Précision (Acc) et du Macro-F1 (MF1). Une prédiction était considérée comme correcte si la vue judiciaire générée contenait l'étiquette de charge correcte.

Contributions clés

L'article apporte quatre contributions principales :

1. Analyse architecturale : Une analyse systématique des différences de performance entre diverses architectures de LLM légers (par exemple, Qwen, Llama, Gemma, InternLM) dans le contexte de la génération de textes juridiques.
2. Effets de mise à l'échelle : Une enquête sur la manière dont la taille du modèle (dans la gamme <2B) influence la qualité de la CVG et la précision de la prédiction de charges.
3. Comparaison DNN vs LLM : Une analyse comparative démontrant les avantages et les limites des LLM légers par rapport aux DNN traditionnels pour les tâches judiciaires.
4. Évaluation de l'intégration des tâches : Une évaluation de l'impact de la stratégie « CVG d'abord » par rapport à la prédiction directe de charges, révélant comment les étapes de raisonnement intermédiaires affectent la précision en aval.

Résultats expérimentaux

Les expériences ont produit plusieurs résultats significatifs :

• Impact de l'architecture : L'architecture du modèle influence considérablement les performances. Qwen3-1.7B a généralement surpassé les autres modèles en zéro-shot (Llama, InternLM) selon les métriques ROUGE et BLEU, probablement en raison de sa conception axée sur le suivi des instructions. InternLM2.5-1.8B-Chat a atteint les performances les plus élevées après affinage (ROUGE-L : 68,63), bien qu'il ait eu des difficultés dans les paramètres zéro-shot.
• Taille du modèle : Dans les paramètres zéro-shot, les modèles plus grands (1,7B) ont nettement surpassé les plus petits (0,6B) en CVG (amélioration ROUGE d'environ 7x). Cependant, après affinage, l'écart de performance s'est réduit, suggérant que l'adaptation spécifique au domaine peut compenser la taille des paramètres. Pour la prédiction de charges, l'effet de la taille était moins prononcé en zéro-shot mais est devenu plus pertinent après affinage. Il est à noter que les gains de performance n'étaient pas linéaires en dessous du seuil de 1B ; les améliorations ne sont devenues cohérentes qu'au-delà de 1 milliard de paramètres.
• LLM vs DNN : Les LLM légers affinés ont constamment surpassé les bases de référence DNN traditionnelles. Par exemple, InternLM2.5-1.8B-Chat(FT) a réalisé un gain d'environ 32 % en ROUGE-L et d'environ 36 % en Macro-F1 par rapport à la base de référence DNN la plus forte (C3VG).
• CVG d'abord vs Prédiction directe : La stratégie « CVG d'abord » a donné des résultats mitigés. Pour les modèles avec ≤1B de paramètres (par exemple, Qwen3-0.6B, Gemma3-1B-IT), générer la vue judiciaire d'abord a amélioré la précision de la prédiction de charges. Cependant, pour les modèles légers plus grands (>1B, par exemple, Qwen3-1.7B, InternLM2.5-1.8B-Chat), cette approche en deux étapes a souvent conduit à une dégradation des performances, suggérant que les modèles plus grands performent mieux lorsqu'ils se concentrent sur une tâche de prédiction unique et bien définie.

Importance et affirmations

L'article affirme que les LLM légers détiennent un potentiel significatif pour les applications d'IA judiciaire, en particulier lorsqu'ils sont affinés sur des données spécifiques au domaine. L'étude met en évidence que :

• Les paradigmes d'entraînement et les architectures sont des déterminants de performance plus critiques que la taille du modèle seule dans la gamme légère.
• L'affinage est essentiel pour que les LLM légers surpassent les DNN traditionnels tant en qualité de génération qu'en précision des tâches en aval.
• La stratégie de tâche compte : la décision de générer un raisonnement intermédiaire (vues judiciaires) avant de prédire les charges doit être adaptée à la capacité du modèle ; les petits modèles bénéficient de la décomposition, tandis que les modèles légers plus grands peuvent souffrir de la complexité ajoutée.

Les auteurs introduisent CVGEvalKit pour faciliter les recherches futures, fournissant un cadre standardisé pour évaluer à la fois la qualité de la génération et le raisonnement juridique en aval. Ils reconnaissent des limites, notant que leurs résultats sont actuellement spécifiques aux jeux de données juridiques chinois et aux modèles légers, et qu'ils ne peuvent pas être généralisés à d'autres langues, systèmes juridiques ou échelles de paramètres plus grandes sans investigations supplémentaires.