💬 NLP

Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

Cet article propose un cadre d'évaluation conjoint pour les bancs d'essai juridiques qui évalue simultanément l'exactitude de la réponse et l'ancrage dans l'autorité statutaire, révélant que les modèles découplent fréquemment ces deux dimensions et que le fait de se fier uniquement à l'exactitude de la réponse conduit à des mesures de performance trompeuses.

Auteurs originaux : Hsien-Jyh Liao

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hsien-Jyh Liao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez dans une immense bibliothèque de haute technologie où des robots apprennent à devenir des avocats. Dans ce monde, il existe un jeu spécial appelé « benchmark ». C'est comme un examen final où le robot lit une question juridique complexe et choisit la bonne réponse. Pendant longtemps, les professeurs (les scientifiques) ne se souciaient que du fait que le robot trouve la réponse finale. Si le robot disait « Le bon choix est B », il recevait une étoile d'or. Mais il y a un piège : parfois, le robot peut dire « B » mais donner une raison complètement inventée ou erronée pour expliquer pourquoi c'est B, comme en citant une loi qui n'existe pas ou en pointant le mauvais manuel de règles.

Ce document plonge dans un recoin spécifique de cette bibliothèque : le monde des Benchmarks Juridiques. Considérez ces benchmarks comme les tests standardisés pour les avocats IA. L'idée clé que l'article explore est l'Ancrage d'Autorité (Authority Grounding). En langage clair, cela signifie vérifier si la réponse du robot est réellement soutenue par les lois réelles et officielles qu'il prétend utiliser. C'est la différence entre un étudiant qui devine la bonne réponse à un test de mathématiques et un étudiant qui montre réellement la bonne formule. L'auteur s'en préoccupe car si nous ne jugeons que la réponse finale, nous pourrions penser qu'un robot est un avocat brillant alors qu'il n'est en fait qu'un chanceux qui devine et qui se contente de paraître sûr de lui.

Les chercheurs ont décidé de jouer à un jeu avec quatre modèles d'IA (imaginez cela comme quatre étudiants robots) en utilisant de vraies questions de l'examen du barreau de Taïwan. Ils ont demandé aux robots de résoudre des énigmes juridiques et d'expliquer leur raisonnement, mais ils ne leur ont pas explicitement dit : « Hé, vous devez citer l'article de loi spécifique ». Étonnamment, les robots ont commencé à citer des lois d'eux-mêmes, tout comme un véritable avocat le ferait.

Voici la grande surprise que l'article a découverte : les robots donnaient souvent la bonne réponse mais la mauvaise loi, et parfois ils donna pas la bonne réponse mais la bonne loi. C'est comme un étudiant qui donne la bonne réponse à un test d'histoire mais qui cite le mauvais siècle comme source. L'article appelle cela une « double dissociation », ce qui est une façon sophistiquée de dire que les deux compétences — trouver la bonne réponse et trouver la bonne loi — peuvent être complètement dissociées l'une de l'autre.

Dans la section de droit pénal de l'examen, l'article a mesuré exactement à quelle fréquence cela se produisait. Ils ont découvert qu'entre 24,0 % et 42,4 % du temps, un robot donnait une réponse correcte mais manquait totalement la loi correcte. Plus étrange encore, entre 15,2 % et 21,7 % du temps, un robot donnait une mauvaise réponse mais citait correctement la bonne loi. Cela prouve que le fait qu'un robot obtienne la réponse finale correcte ne signifie pas qu'il comprend réellement les règles juridiques qui la sous-tendent.

L'auteur a également tenté une petite expérience. Il a dit aux robots : « Si vous n'êtes pas sûr du numéro exact de la loi, vous n'êtes pas obligés de le dire. » Lorsqu'ils ont fait cela, les robots ont moins cité de lois, mais leur capacité à obtenir la réponse finale correcte a à peine changé. Cela suggère que les robots n'utilisaient pas vraiment les lois pour trouver la réponse ; ils ajoutaient simplement les lois comme une décoration après avoir déjà deviné la réponse.

Alors, quelle est la conclusion ? L'article soutient que nous devons changer la façon dont nous notons ces avocats IA. Nous ne pouvons plus nous contenter de regarder la réponse finale. Nous devons vérifier les « reçus » — les lois spécifiques qu'ils citent. Si nous ne le faisons pas, nous risquons de célébrer un robot qui est en train d'halluciner des faits juridiques tout en ayant de la chance avec la bonne réponse. L'auteur suggère que les tests futurs devraient noter à la fois la réponse et la citation de la loi ensemble, car pour l'instant, le système actuel passe à côté d'une énorme partie de la vérité.

Résumé technique : Connaître la forme, non la fonction

Énoncé du problème
Les références juridiques actuelles pour les modèles de langage de grande taille (LLM) évaluent généralement la performance uniquement sur la base de l'exactitude de la réponse finale, même lorsque le raisonnement du modèle inclut des citations d'autorités juridiques. Cette évaluation basée « uniquement sur la réponse » suppose implicitement qu'une réponse finale correcte implique que l'autorité juridique affirmée (l'« autorité d'or ») est également correcte. L'article soutient que cette hypothèse est erronée : un modèle peut parvenir à la conclusion correcte par un raisonnement valide ou par élimination tout en citant une disposition statutaire incorrecte ou inexistante. Étant donné que l'autorité statutaire est structurellement extractible et vérifiable de l'extérieur, l'échec de l'ancrage d'une réponse dans le droit correct constitue un problème de validité mesurable que les benchmarks actuels masquent systématiquement.

Méthodologie
L'auteur propose un cadre d'évaluation conjoint qui découple la « correction de la réponse » ( $A$ ) de l'« ancrage dans l'autorité d'or » ( $G$ ).

Banc d'essai : L'étude utilise 238 items des examens nationaux du barreau de Taïwan de 2022 et 2025 (118 en droit civil, 120 en droit pénal). Chaque item possède une réponse correcte vérifiée et une disposition statutaire directrice vérifiée (autorité d'or), dérivées de manuels de solutions commerciaux et recoupées avec la base de données officielle des lois et règlements.
Modèles : Quatre LLM ont été évalués : Gemma-4-31B, LLaMA-3.3-70B, GPT-4o-mini et Qwen3.6 Flash.
Conditions expérimentales :
- C1 (Référence) : Prompts de type réponse seule (aucun raisonnement requis).
- C2 (Cœur) : Prompts de raisonnement standard où les modèles sont invités à fournir un raisonnement étape par étape mais ne sont pas explicitement invités à citer des statuts. Cela teste le marquage d'autorité « spontané ».
- C3 (Sonde de recherche) : Les modèles sont explicitement invités à identifier jusqu'à trois dispositions directrices pour mesurer la capacité de recherche indépendamment de la réponse.
- C4 (Sonde épistémique) : Les modèles sont invités à réciter le contenu spécifique d'un statut pour tester l'admission de l'incertitude.
- C2-1 (Intervention) : Un prompt permissif permettant aux modèles de raisonner sans nommer les numéros d'articles exacts en cas de doute, afin de tester si le comportement de citation peut être dissocié de la sélection de la réponse.
Métriques : Les réponses sont classées en un état conjoint $(A, G)$ $(A, G)$ :
- $A^+G^+$ : Réponse correcte, autorité correcte.
- $A^+G^-$ : Réponse correcte, autorité incorrecte/absente.
- $A^-G^+$ : Réponse incorrecte, autorité correcte.
- $A^-G^-$ : Réponse incorrecte, autorité incorrecte/absente.
  Le rapprochement des autorités est basé sur des règles, analysant les noms de codes, les numéros d'articles et les suffixes de paragraphes.

Principaux résultats
L'étude identifie une « double dissociation » systématique et non induite entre la correction de la réponse et l'ancrage de l'autorité à travers tous les modèles testés :

Réponse correcte mais autorité absente ( $A^+G^-$ ) : Une proportion significative de réponses avec des réponses correctes ne parvient pas à citer l'autorité d'or.
- En droit civil, cela variait de 32,7 % à 63,1 %.
- En droit pénal, cela variait de 24,0 % à 42,4 %.
- Crucialement, ces modèles ont souvent cité des statuts non-or qui étaient syntaxiquement valides mais juridiquement non pertinents pour la question spécifique.
Réponse incorrecte mais autorité présente ( $A^-G^+$ ) : Les modèles ont fréquemment cité le statut directeur correct même en sélectionnant la mauvaise option de réponse.
- En droit pénal, cela s'est produit dans 15,2 % à 21,7 % des réponses valides.
Indépendance des comportements :
- Recherche vs Ancrage : La recherche statutaire indépendante (C3) variait considérablement selon le modèle et le domaine (par exemple, Qwen montrait des taux de recherche élevés en droit civil), pourtant le décalage entre la réponse et l'autorité restait substantiel même dans les modèles ayant un meilleur taux de recherche.
- Citation vs Réponse : L'intervention C2-1 a démontré que le comportement de citation est séparable de la sélection de la réponse. Lorsqu'ils étaient autorisés à s'abstenir de nommer des articles spécifiques, les taux de citation ont chuté de manière spectaculaire pour Gemma, LLaMA et GPT-4o-mini (de ~70–90 % à ~5 %), tandis que le taux de Qwen est passé de 96,4 % à 57,3 %. Dans tous les cas, la précision de la réponse est restée largement inchangée.
La forme plutôt que la fonction : Les modèles ont fréquemment produit un raisonnement juridique « fluide » avec des citations syntaxiquement correctes qui ne soutenaient pas la conclusion. La présence d'une citation ne garantit pas que l'autorité soit celle qui régit le cas.

Signification et contributions
L'article apporte trois contributions principales :

Identification d'un problème de validité : Il formalise l'observation selon laquelle le score basé uniquement sur la réponse traite les ratés naturels de l'autorité d'or comme des succès complets. Il ne s'agit pas d'un échec de test de stress adversarial, mais d'un problème systématique au sein des régimes de benchmark ordinaires.
Protocole de notation conjoint : L'auteur propose une extension minimale et peu coûteuse des benchmarks actuels basés sur les statuts. Au lieu d'une métrique de précision unique, l'évaluation devrait rapporter :
- La précision de la réponse.
- Le taux Hit@k de l'autorité (taux d'ancrage).
- La distribution conjointe ( $A^+G^+, A^+G^-, A^-G^+, A^-G^-$ ).
Changement méthodologique : L'étude soutient que la « forme juridique fluide » (texte de raisonnement correct avec citations) ne peut être traitée comme une preuve que l'autorité affirmée soutient la conclusion. Puisque l'autorité statutaire est vérifiable de l'extérieur, les benchmarks doivent auditer le lien entre la réponse et la loi citée, et non seulement la réponse elle-même.

Limites et portée
L'auteur note que ses affirmations sont comportementales et non mécanistes ; l'étude mesure le décalage de sortie, non le processus de raisonnement interne. Les conclusions sont plus directement applicables aux tâches codifiées et à citation normalisée (comme l'examen du barreau de Taïwan). L'ampleur du décalage pourrait différer dans les tâches juridiques ouvertes ou les contextes de droit coutumier (common law) où les citations d'articles spécifiques sont moins rigides. De plus, l'étude inclut une observation préliminaire d'un marquage d'autorité spontané similaire dans le droit civil chinois continental, motivant de futurs audits transjuridictionnels, mais ne fournit pas encore une analyse conjointe complète pour ce jeu de données.

Résumé technique : Connaître la forme, non la fonction

Articles similaires