Can Small Models Reason About Legal Documents? A Comparative Study

Cette étude démontre que des modèles de langage de moins de 10 milliards de paramètres, en particulier une architecture Mixture-of-Experts de 3B, peuvent rivaliser avec des modèles plus avancés comme GPT-4o-mini sur des tâches juridiques complexes, soulignant que la qualité de l'architecture et de l'entraînement prime sur la taille brute des paramètres, tandis que l'inférence par API cloud rend ces évaluations rigoureuses accessibles à faible coût.

L'essentiel

🧠 Le Grand Défi : Peut-on faire du droit avec de "petits" cerveaux ?

Imaginez que le monde du droit soit une immense bibliothèque remplie de documents complexes, de contrats et de jugements. Pour les analyser, on utilise habituellement des "super-cerveaux" numériques (les grands modèles d'IA comme GPT-4). Ils sont brillants, mais ils sont chers, lents et posent des problèmes de confidentialité (comme si on confiait ses secrets de famille à un inconnu).

Les chercheurs se sont demandé : "Et si on utilisait des 'petits cerveaux' (des modèles plus légers, moins de 10 milliards de paramètres) ? Sont-ils assez intelligents pour faire le travail, ou vont-ils tout rater ?"

Pour répondre, ils ont organisé un Grand Tournoi de Droit avec 9 candidats (des modèles d'IA) et 3 types d'épreuves juridiques.

---

🏆 Les 4 Grandes Révélations du Tournoi

1. La taille n'est pas tout : L'ingénierie compte plus que la masse

C'est la surprise du siècle ! On pensait que plus le cerveau est gros, plus il est intelligent.

• L'analogie : Imaginez un éléphant (un gros modèle de 9 milliards de paramètres) et un écureuil génétiquement modifié (un modèle "MoE" de 3 milliards de paramètres).
• Le résultat : L'éléphant (le modèle Nemotron-9B) a été le pire de tous, tombant dans les pièges les plus simples. En revanche, l'écureuil (Qwen3-A3B), qui n'active qu'une petite partie de son cerveau à la fois, a battu l'éléphant et a même égalé le champion du monde (GPT-4o-mini).
• La leçon : Ce n'est pas la taille brute qui compte, c'est l'architecture. Un petit modèle bien conçu vaut mieux qu'un gros modèle mal entraîné.

2. La méthode de questionnement change tout (Le "Comment" est crucial)

On a testé 5 façons de poser les questions aux modèles. C'est là que ça devient drôle :

• La méthode "Chain-of-Thought" (Pense étape par étape) : C'est comme demander à quelqu'un d'expliquer son raisonnement avant de répondre.
  • Résultat : Ça fonctionne merveilleusement pour comprendre la logique d'un contrat (comme un détective qui suit une piste).
  • Mais : Ça détruit les performances sur les questions à choix multiples (comme un examen à cocher). Le modèle se perd dans ses propres explications et oublie de cocher la bonne case.
• La méthode "Few-Shot" (Donne-moi des exemples) : C'est comme donner 3 exemples de problèmes résolus avant de poser la vraie question.
  • Résultat : C'est le champion incontesté. Ça marche bien partout, tout le temps. C'est la méthode la plus fiable.

3. Le "RAG" (L'aide-mémoire) : Ce n'est pas la recherche qui pose problème

Les chercheurs ont donné aux modèles un "aide-mémoire" (des documents pertinents trouvés dans une base de données) pour les aider à répondre.

• Le test : Est-ce qu'il vaut mieux chercher avec des mots-clés simples (comme un vieux catalogue) ou avec une recherche intelligente par sens (comme un moteur moderne) ?
• Le résultat : Aucune différence ! Les deux méthodes donnent le même résultat.
• La vraie conclusion : Le problème n'est pas de trouver l'information, mais de savoir comment l'utiliser une fois qu'elle est trouvée. Le modèle a souvent du mal à lire l'aide-mémoire sans se tromper.

4. Le coût : Un tournoi pour le prix d'un café

Toutes ces expériences ont été faites dans le "cloud" (sur internet) sans avoir besoin de super-ordinateurs coûteux.

• Le coût total : 62 dollars pour 405 expériences.
• L'image : C'est comme si vous pouviez tester 9 super-intelligences artificielles sur des dossiers juridiques complexes pour le prix d'un bon dîner pour deux.

---

💡 Ce qu'il faut retenir pour le futur

Si vous êtes un avocat ou un juriste qui veut utiliser l'IA demain :

1. Ne cherchez pas le plus gros modèle : Un petit modèle bien conçu (comme Qwen3-A3B) peut rivaliser avec les géants du marché pour beaucoup moins cher.
2. Ne forcez pas le "raisonnement" partout : Demander à l'IA de "réfléchir à voix haute" est excellent pour analyser des contrats, mais évitez-le pour les QCM.
3. Utilisez des exemples : La meilleure astuce pour obtenir de bonnes réponses est de donner à l'IA quelques exemples de ce que vous attendez (la méthode "Few-Shot").
4. L'IA n'est pas encore un avocat : Bien que ces petits modèles soient impressionnants, ils ne battent pas encore les experts humains spécialisés (ceux qui ont été "entraînés" spécifiquement sur le droit). Ils sont des assistants puissants, mais pas des remplaçants.

En résumé : Cette étude nous dit que l'avenir du droit numérique ne repose pas sur des monstres informatiques coûteux, mais sur des outils intelligents, légers et bien guidés, accessibles à tous.

Résumé technique

1. Problématique et Contexte

L'adoption des grands modèles de langage (LLM) dans le domaine juridique se heurte à trois obstacles majeurs : le coût élevé des API, les risques de confidentialité des données (surtout pour les documents sensibles) et la latence dans les systèmes de production. Bien que les modèles « frontiers » (très grands) excellent dans ces tâches, leur déploiement est souvent impraticable.

La question centrale de cette étude est de savoir si les modèles de petite taille (sub-10B paramètres) peuvent servir d'alternatives pratiques aux modèles commerciaux de pointe pour le raisonnement juridique. Les auteurs s'interrogent spécifiquement sur :

• La capacité des petits modèles à rivaliser avec les API commerciales.
• L'impact des stratégies d'incitation (prompting) selon le type de tâche juridique.
• L'importance de l'architecture (notamment les modèles Mixture-of-Experts ou MoE) par rapport au nombre brut de paramètres.
• L'efficacité de l'augmentation par récupération (RAG) avec différentes méthodes de recherche (BM25 vs. Densité).

2. Méthodologie

L'étude repose sur une évaluation rigoureuse et systématique comprenant 405 expériences (9 modèles × 5 stratégies × 3 jeux de données × 3 graines aléatoires).

• Modèles évalués :
  • 7 modèles à poids ouverts (Open-weight) de 3 à 9 milliards de paramètres (Llama 3.2/3.1, Qwen 2.5/3, Mistral, Gemma, Nemotron).
  • 2 modèles commerciaux via API (GPT-4o-mini, Claude 3.5 Haiku).
  • Note importante : Le modèle Qwen3-A3B est un modèle MoE activant seulement 3B de paramètres sur un total de 30B par token.
• Jeux de données (Benchmarks juridiques) :
  1. ContractNLI : Inférence linguistique sur des clauses contractuelles (3 classes : Entailment, Contradiction, Not Mentioned).
  2. CaseHold : Identification de la décision juridique (holding) dans des opinions de justice (choix multiple à 5 options).
  3. ECTHR (Task A) : Classification multi-étiquettes pour prédire les violations de la Convention européenne des droits de l'homme (11 articles possibles).
• Stratégies d'incitation (Prompting) :
  1. Direct (Zero-shot).
  2. Chaîne de pensée (Chain-of-Thought / CoT).
  3. Few-shot (3 exemples).
  4. RAG avec recherche BM25 (sparse).
  5. RAG avec recherche dense (Sentence-Transformers).
• Protocole expérimental :
  • Tous les tests ont été réalisés via des API cloud (Together AI, OpenAI, Anthropic) sans infrastructure GPU dédiée, pour un coût total de 62 $.
  • Échantillonnage stratifié avec 3 graines aléatoires et intervalles de confiance bootstrap (95 %).
  • Fenêtre de contexte uniformisée à 8 192 tokens.

3. Contributions Clés

Cette étude comble un vide dans la littérature en comparant simultanément la taille des modèles, l'architecture et les stratégies de prompting sur des tâches juridiques diversifiées. Ses principales contributions sont :

1. Une démonstration que l'efficacité architecturale (MoE) peut surpasser le nombre de paramètres.
2. Une analyse nuancée montrant que les stratégies de prompting ne sont pas universelles et dépendent fortement de la tâche.
3. Une comparaison empirique montrant que la méthode de récupération (BM25 vs Densité) est secondaire par rapport à la capacité du modèle à utiliser le contexte.
4. Un cadre d'évaluation accessible et reproductible à faible coût.

4. Résultats Principaux

A. Performance des Modèles et Architecture

• Le modèle MoE surpasse les géants : Le Qwen3-A3B (3B de paramètres actifs) atteint une précision moyenne de 46,5 %, comparable au GPT-4o-mini (47,2 %) et le dépasse sur la tâche CaseHold (71,2 % vs 67,9 % avec Few-shot).
• La taille brute ne garantit pas la performance : Le modèle Nemotron-9B (9B paramètres) obtient le pire résultat global (17,7 %), sous-performant des modèles trois fois plus petits. Cela indique que la qualité de l'entraînement et l'architecture priment sur la simple échelle.
• Conclusion : Pour le raisonnement juridique, une architecture MoE efficace est plus déterminante que le nombre total de paramètres.

B. Impact des Stratégies de Prompting

L'efficacité du prompting est fortement dépendante de la tâche :

• Few-shot (Quelques exemples) : C'est la stratégie la plus cohérente et performante sur l'ensemble des tâches et des modèles.
• Chain-of-Thought (CoT) :
  • Bénéfique pour ContractNLI (+8,5 points de précision) car il aide au raisonnement logique d'entailment.
  • Néfaste pour CaseHold (-16,0 points) et la classification multi-étiquettes. Le raisonnement verbeux perturbe la sélection de la bonne option parmi plusieurs choix ou la génération de l'ensemble d'étiquettes exact.
• RAG (Retrieval-Augmented Generation) :
  • Améliore légèrement les performances sur ContractNLI.
  • Dégrade les performances sur CaseHold (le contexte récupéré introduit du bruit).
  • BM25 vs Dense : Aucune différence significative n'est observée entre la recherche sparse (BM25) et dense. Le goulot d'étranglement réside dans l'utilisation du contexte par le modèle, et non dans la qualité de la récupération.

C. Comparaison avec les Baselines

Bien que les meilleurs résultats obtenus par prompting (ex: 71,2 % sur CaseHold) soient compétitifs, ils restent inférieurs aux modèles spécialisés fine-tunés (ex: Legal-BERT à 75,3 %). Cela quantifie le coût de l'évaluation par simple prompting par rapport à l'adaptation de domaine.

5. Signification et Recommandations Pratiques

Cette étude fournit des directives concrètes pour les praticiens de l'IA juridique :

1. Choix du modèle : Privilégier les modèles ouverts de petite taille mais bien entraînés, en particulier les architectures MoE (comme Qwen3-A3B), qui offrent un rapport coût-performance équivalent aux API commerciales fermées.
2. Stratégie de déploiement : Utiliser le Few-shot prompting comme stratégie par défaut. Réserver le CoT uniquement aux tâches d'inférence logique (comme l'entailment de contrats) et l'éviter pour les tâches de sélection multiple ou de classification complexe.
3. RAG : Utiliser BM25 est suffisant et plus simple à mettre en œuvre (pas besoin de base de données vectorielle ou de modèles d'embedding) car il égale les performances des méthodes denses dans ce contexte.
4. Accessibilité : Il est possible de mener des évaluations rigoureuses de LLM sur des tâches juridiques complexes pour un coût négligeable (62 $) sans infrastructure matérielle dédiée, rendant la recherche accessible à un plus large public.

En résumé, l'article démontre que des modèles ouverts de moins de 10 milliards de paramètres, correctement configurés, peuvent rivaliser avec les modèles commerciaux de pointe pour le raisonnement juridique structuré, à condition de choisir judicieusement l'architecture et la stratégie d'incitation.