Résumé technique : L'interrogation depuis le banc : le préentraînement à grande échelle est insuffisant pour préparer les LLM à l'analyse du sens ordinaire

Énoncé du problème

L'article traite de la tendance croissante dans la pratique judiciaire américaine où les juges et les universitaires en droit utilisent les modèles de langage de grande taille (LLM) pour déterminer le « sens ordinaire » des textes juridiques — une méthodologie interprétative standard qui interroge la manière dont un terme serait compris par un locuteur ordinaire de l'anglais. Les partisans, dont le juge fédéral Kevin Newsom, soutiennent que l'échelle massive des données de préentraînement permet aux LLM de synthétiser les modèles statistiques de l'usage ordinaire du langage plus efficacement que les outils traditionnels tels que les dictionnaires ou les enquêtes à petite échelle.

Les auteurs remettent en cause l'hypothèse selon laquelle le préentraînement à grande échelle et le réglage par instruction suffisent à produire des modèles capables d'une analyse fiable du sens ordinaire. Ils postulent que, sans une évaluation rigoureuse, le recours aux LLM pour l'interprétation juridique à haut risque est prématuré. Le problème central est double :

1. Robustesse : Les jugements des LLM sont-ils stables face à de légères variations dans la formulation des invites (une vulnérabilité connue en TALN) ?
2. Corrélation : Les jugements des LLM approximent-ils réellement le consensus interprétatif de lecteurs humains profanes, qui est la cible des enquêtes sur le « sens ordinaire » ?

Méthodologie

Les auteurs ont mené une évaluation empirique à grande échelle impliquant 15 LLM (incluant des variantes de base et à réglage par instruction de Llama-3, OLMo-2, Mistral, Gemma et GPT-2, ainsi que le modèle fermé GPT-4) à travers 138 scénarios d'interprétation juridique.

Données et formulation de la tâche :

• Scénarios : L'étude a utilisé 138 éléments dérivés de litiges réels sur des contrats d'assurance (provenant à l'origine de Waldon et al., 2023). Chaque élément présente un scénario hypothétique et un terme spécifique d'assurance (par exemple, « aménagement paysager », « source interne ») nécessitant un jugement binaire : la perte est-elle couverte (« Oui ») ou non (« Non ») ?
• Référence humaine : L'étude a comparé les sorties des modèles aux jugements humains de 1 338 locuteurs natifs de l'anglais ayant évalué les mêmes 138 scénarios.
• Variantes d'invite : Pour tester la robustesse, les auteurs ont appliqué 9 variantes systématiques de questions à chaque élément. Celles-ci comprenaient :
  • L'ordre standard Oui/Non et Non/Oui.
  • La négation (par exemple, « John n'est-il pas couvert ? »).
  • Le cadrage d'accord/désaccord (par exemple, « Êtes-vous d'accord que... »).
  • Des options à choix multiples (A/B) avec des ordres inversés.
• Mesure :
  • Robustesse : Mesurée par la cohérence des jugements catégoriels (Couvert vs NonCouvert) à travers les 9 variantes d'invite pour chaque paire modèle-élément.
  • Corrélation humaine : Mesurée à l'aide du coefficient de détermination ($R^2$) entre la différence de probabilité du modèle ($\Delta = p(\text{Couvert}) - p(\text{NonCouvert})$) et la proportion de jugements humains « Couvert ». Les auteurs ont traité la probabilité de jeton du modèle comme un proxy du consensus de la population.

Contributions clés

1. Évaluation systématique de l'interprétation juridique : Ce travail fournit l'évaluation expérimentale la plus extensive à ce jour des LLM pour l'interprétation juridique, allant au-delà des études de cas qualitatives ou des tests de reformulation à petite échelle (par exemple, Choi, 2025 ; Waldon et al., 2025) vers un ensemble de données contrôlé et à grande échelle.
2. Quantification de la sensibilité aux invites : Les auteurs démontrent que les LLM présentent un « manque de cohérence omniprésent » à travers les variantes de questions. Ils montrent que des changements triviaux, tels que la négation ou l'ordre des options, peuvent provoquer des changements drastiques dans les jugements du modèle, permettant efficacement le « shopping d'invites » pour obtenir des résultats souhaités.
3. Analyse de la corrélation humaine : L'étude teste rigoureusement l'hypothèse de l'« omniscience » (selon laquelle l'échelle des données d'entraînement équivaut à une intuition humaine). Elle constate que même les modèles les plus performants ne montrent qu'une corrélation modérée avec le consensus humain, et que cette corrélation dépend fortement de tailles de modèles spécifiques et de formulations d'invites.
4. Critique de la pratique judiciaire actuelle : L'article offre un contre-argument empirique aux opinions judiciaires récentes qui s'appuient sur des requêtes directes aux LLM pour le sens ordinaire, suggérant que les modèles actuels ne remplissent pas les conditions nécessaires de robustesse et d'alignement humain pour un tel usage.

Résultats clés

• Instabilité et biais :
  • Horloges arrêtées : Plusieurs modèles (6 sur 15) ont fourni le même jugement catégoriel pour plus de 92 % des scénarios, indépendamment du contenu, se comportant comme des « horloges arrêtées ».
  • Sensibilité aux invites : Dans 2 061 combinaisons modèle-élément sur 2 070, le modèle a produit des jugements contradictoires à travers les 9 variantes d'invite. Seules 9 combinaisons ont montré une unanimité totale.
  • Négation et complexité : Les variantes impliquant une négation (par exemple, « Désaccord avec négation ») ont fréquemment induit des jugements minoritaires et provoqué les plus grands décalages distributionnels (mesurés par la distance de Jensen-Shannon).
• Corrélation avec le jugement humain :
  • Corrélation modérée : Seuls les modèles plus grands et à réglage par instruction (spécifiquement 70B+ paramètres) ont montré une corrélation significative avec les jugements humains, et même alors, uniquement pour des variantes d'invite spécifiques.
  • Meilleur scénario : GPT-4 a atteint la corrélation la plus élevée ($R^2 = 0,60$) avec les jugements humains sur la variante standard Oui/Non. Cependant, cela se traduisait par une précision de classificateur oracle de seulement 83 % (un taux d'erreur de 1 sur 6), ce que les auteurs jugent insuffisant pour l'interprétation juridique où les enjeux sont élevés.
  • Incohérence : Pour de nombreux modèles, la corrélation était négative ou proche de zéro. Certains modèles ont montré une forte corrélation dans les distributions de probabilité mais ont produit des sorties catégorielles fortement biaisées (par exemple, prédire systématiquement « NonCouvert » malgré des gradients de probabilité suggérant le contraire).
• Taille du modèle et réglage : Bien que les modèles plus grands aient généralement mieux performé, le réglage par instruction a introduit des biais imprévisibles, déplaçant parfois les jugements entièrement (par exemple, les modèles Llama-8B réglés ont principalement prédit « NonCouvert », tandis que les modèles Llama-70B réglés ont prédit « Couvert »).

Signification et affirmations

L'article conclut que le préentraînement à grande échelle est insuffisant pour préparer les LLM à l'analyse du sens ordinaire. Les auteurs soutiennent que l'hypothèse selon laquelle les LLM peuvent révéler de manière fiable comment les gens ordinaires utilisent les mots n'est pas étayée par des preuves empiriques.

• Fossé de fiabilité : Les résultats mettent en évidence un « fossé de fiabilité » où les modèles ne sont ni cohérents ni reproductibles, et un « fossé épistémique » où les sorties des modèles ne mesurent pas avec précision le sens humain ordinaire.
• Prudence judiciaire : Les auteurs mettent explicitement en garde contre l'approche adoptée par le juge Newsom et d'autres qui interrogent directement les LLM pour trancher des questions de sens ordinaire. Ils affirment que la fragilité observée (sensibilité à la formulation des invites) et la faible corrélation avec le consensus humain rendent les LLM actuels inadaptés en tant qu'outils autorisés pour cette tâche juridique spécifique.
• Travaux futurs : L'article ne prétend pas que les LLM ne pourront jamais être utilisés pour l'interprétation juridique, mais suggère que s'ils doivent l'être, ils nécessitent une validation rigoureuse au-delà des capacités actuelles. Ils notent que les nouveaux modèles de « raisonnement » ou les systèmes avec mécanismes de récupération n'ont pas été testés et pourraient atténuer certaines limitations, mais de telles affirmations nécessitent une démonstration empirique supplémentaire. Les preuves actuelles, déclarent-ils, « échouent spectaculairement à remplir la charge de la preuve » pour l'utilisation des LLM en tant qu'interprètes autorisés du sens ordinaire.