💬 NLP

TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

Ce papier introduit TypedCSIP, une méthode de préentraînement contrefactuel typé qui exploite des révisions minimales rédigées par des experts pour améliorer la classification des conflits législatifs chinois, obtenant des gains statistiquement significatifs en macro-F1 sur le benchmark LCR-CN tout en démontrant une spécialisation spécifique à la tâche.

Auteurs originaux : Yao Liu

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yao Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un juge cherchant à déterminer si deux lois s'affrontent. L'une est le « Grand Patron » (une loi nationale), et l'autre est une « Petite Règle » (un règlement local). Parfois, la Petite Règle enfreint le Grand Patron.

Votre tâche consiste à examiner la paire de lois et à répondre à deux questions :

Sont-elles en conflit ? (Oui ou Non)
Comment s'affrontent-elles ? Est-ce une question de responsabilité ? De conditions requises ? De sanction ? Ou de la définition d'un mot ?

Tel est le problème abordé par l'article : Classification des conflits législatifs chinois.

Le Problème : La Décision « Boîte Noire »

Habituellement, les programmes informatiques entraînés à cette tâche se contentent d'examiner les deux lois et de deviner la réponse. Ils ressemblent à un élève qui a mémorisé la clé des réponses finales sans comprendre pourquoi la réponse est correcte. Ils voient le conflit, mais ne peuvent pas pointer la phrase spécifique qui a déclenché l'affrontement.

L'Arme Secrète : Le « Rédacteur Expert »

Les chercheurs ont découvert un trésor caché dans leurs données. À côté de chaque paire de lois en conflit, il existait une note minuscule, rédigée par un expert. Cette note montrait exactement comment un expert juridique humain avait corrigé la Petite Règle pour mettre fin au conflit avec le Grand Patron.

Pensez-y ainsi :

Le Conflit : Un élève écrit : « Je mangerai des pommes et des oranges. »
La Règle : « Vous ne pouvez manger que des fruits. »
La Correction de l'Expert : L'expert modifie la phrase en : « Je mangerai des pommes. » (Supprimant « oranges » car elles ne sont pas considérées comme des fruits dans ce contexte).

L'article soutient : Pourquoi ne pas enseigner à l'ordinateur à apprendre de la correction de l'expert ?

La Solution : TypedCSIP (Le Maître « Contrefactuel »)

Les auteurs ont créé une méthode appelée TypedCSIP. Ils ont divisé l'entraînement en deux phases, comme un cours de deux semestres.

Semestre 1 : L'Entraînement « Et Si » (Pré-entraînement)
Au lieu de simplement montrer les lois en conflit à l'ordinateur, ils lui présentent trois éléments :

La Loi du Grand Patron.
La Petite Règle (qui est en conflit).
La Correction de l'Expert (la version où le conflit a disparu).

On demande à l'ordinateur de jouer à un jeu : « Regardez la version en conflit. Maintenant, regardez la version corrigée. Quel changement précis l'expert a-t-il apporté pour mettre fin au conflit ? »

Si l'expert a supprimé un mot concernant la « sanction », l'ordinateur apprend : « Ah, c'est un Conflit de Sanction. »
Si l'expert a modifié une définition, l'ordinateur apprend : « C'est un Conflit de Définition. »

L'ordinateur apprend à reconnaître le type de conflit en étudiant comment l'expert l'a résolu. C'est comme apprendre à repérer une faute de frappe en observant quelqu'un la corriger.

Semestre 2 : L'Examen Final (Affinage)
Maintenant, l'ordinateur applique les connaissances acquises au Semestre 1 à un nouveau test. Il examine une nouvelle paire de lois (sans voir la correction de l'expert) et doit deviner : « Sont-elles en conflit ? Si oui, quel type de conflit est-ce ? »

Les Résultats : Est-ce que ça a marché ?

Les chercheurs ont été très prudents. Ils n'ont pas seulement lancé le test une fois ; ils l'ont exécuté 18 fois avec différents points de départ aléatoires (graines) pour s'assurer que les résultats n'étaient pas dus au hasard. Ils ont également verrouillé leurs règles avant de commencer, afin de ne pas pouvoir les modifier si les résultats semblaient mauvais.

Le Verdict :

Oui, ça a marché. La nouvelle méthode a surpassé les anciennes méthodes standard.
Elle a amélioré la précision d'environ 1 % (ce qui semble faible, mais dans ce domaine juridique à haut risque, c'est une affaire importante).
Elle a mieux fonctionné sur les types spécifiques de conflits (comme « Définition » ou « Condition ») plutôt que de simplement deviner « Pas de Conflit ».

La Découverte « Surprenante »

Les chercheurs disposaient de deux versions légèrement différentes de leur méthode :

Version 1 (La Simple) : Apprendre de la correction de l'expert, puis jeter l'outil « correction de l'expert » et n'utiliser que les connaissances acquises.
Version 2 (La Complexe) : Apprendre de la correction de l'expert, conserver l'outil « correction de l'expert », et l'utiliser à nouveau lors de l'examen final pour aider à se souvenir des leçons.

Ils pensaient que la Version 2 serait meilleure car elle « se souvient » mieux des leçons. Mais lorsqu'ils l'ont testée, la Version 1 (la simple) a tout aussi bien performé.

La Leçon : La magie ne résidait pas dans l'astuce complexe de mémoire ; la magie résidait dans l'entraînement du Semestre 1 lui-même. Apprendre simplement des modifications de l'expert suffisait à rendre l'ordinateur plus intelligent.

Le Test « Démarrage à Froid »

Les chercheurs s'inquiétaient aussi : « L'ordinateur a-t-il simplement mémorisé les exemples spécifiques qu'il a vus pendant l'entraînement ? »
Pour vérifier cela, ils l'ont testé sur un groupe de lois où la combinaison « Grand Patron » et « Correction de l'Expert » n'avait jamais été vue auparavant.

Résultat : L'ordinateur a toujours mieux performé que les anciennes méthodes. Cela prouve qu'il a réellement appris le concept du conflit juridique, et non pas simplement mémorisé les réponses.

Résumé

L'article présente une méthode intelligente pour enseigner aux ordinateurs à détecter les conflits juridiques. Au lieu de simplement leur montrer le problème, on montre à l'ordinateur le problème et la solution de l'expert. En étudiant la solution, l'ordinateur apprend à repérer le type spécifique de conflit juridique. C'est une méthode simple et efficace qui fonctionne mieux que les tentatives précédentes, et elle prouve que apprendre « comment le corriger » est un moyen puissant d'apprendre « comment le repérer ».

Résumé Technique : TypedCSIP

Définition du Problème
L'article traite de la tâche de Classification des Conflits Législatifs Chinois en utilisant le benchmark LCR-CN. L'objectif est de classifier une paire de dispositions juridiques — une loi supérieure ( $A$ ) et une disposition subordonnée soumise à examen ( $B$ ) — dans l'une des cinq catégories mutuellement exclusives suivantes : Conflit de responsabilité, Conflit de condition, Conflit de sanction, Conflit de définition, ou Aucun Conflit.

Cette tâche présente des défis spécifiques :

Granularité : La preuve d'un type de conflit est souvent un segment petit et localisé au sein de longs textes juridiques.
Rareté et Déséquilibre des Données : Le jeu de données est relativement petit (696 enregistrements de test), la classe Définition étant particulièrement rare ( $n=48$ ).
Chevauchement Structurel : La conception du benchmark inclut un chevauchement structurel entre les ensembles d'entraînement et de test. Plus précisément, des dispositions subordonnées distinctes contraintes par la même loi supérieure partagent souvent la même révision minimale rédigée par un expert ($eB$), créant des chevauchements de tuples $(A, eB)$ qui pourraient permettre aux modèles de « tricher » dans l'apprentissage en mémorisant les schémas de révision plutôt qu'en comprenant la logique du conflit.
Absence de Méthodes Spécialisées : Les travaux antérieurs sur le TAL juridique chinois se concentrent fortement sur la prédiction de jugements ou la récupération. Les bases de référence existantes pour LCR-CN traitent la tâche comme un problème de classification standard, compressant la décision en une étiquette unique sans exploiter les annotations de révision experte fournies dans le jeu de données.

Méthodologie : TypedCSIP
Les auteurs proposent TypedCSIP (Typed Counterfactual Selective Intervention Pretraining), une méthode en deux étapes qui exploite la révision minimale rédigée par un expert ($eB$) comme signal de supervision contrefactuel lors du préentraînement.

Étape 1 : Préentraînement Contrefactuel Typé
- Entrée : Triplets $(A, B, eB) $, où$ A$ est la loi supérieure, $B$ est la disposition subordonnée conflictuelle, et $eB$ est la révision experte qui résout le conflit.
- Architecture : Un encodeur partagé (par exemple chinese-roberta-wwm-ext ou SAILER) produit une représentation [CLS]. Celle-ci est alimentée dans une Tête de Facteur Typé ( $W_\phi$ ) comportant quatre lignes correspondant aux quatre types de conflit.
- Classifieur Monotone-Complément : Au lieu d'un softmax standard à 5 voies, le modèle utilise un classifieur spécialisé où le logit Aucun Conflit est dérivé comme une fonction strictement décroissante des quatre preuves de facteurs de conflit. Cela impose la contrainte de domaine selon laquelle « Aucun Conflit » est l'absence de toute preuve de conflit.
- Fonction de Perte : L'objectif de préentraînement se compose de trois composantes :
  1. Perte Positive : Force le facteur de conflit réel de $(A, B)$ à s'activer.
  2. Perte Contrefactuelle : Force les quatre facteurs de la révision experte $(A, eB)$ à être silencieux (preuve nulle).
  3. Perte de Sélectivité : Pénalise les changements dans les scores des facteurs non cibles entre $B$ et $eB$, garantissant que le modèle apprend à localiser le signal de conflit sur le facteur spécifique étant édité.
- Objectif : Entraîner l'encodeur à reconnaître les types de conflit en observant comment un expert les résout, traitant la révision comme un « positif contrefactuel » qui ne porte aucune preuve de conflit.
Étape 2 : Transfert vers la Classification
L'article évalue deux variantes du transfert :
1. TypedCSIP-v1 (Typed-Discard) : La tête de facteur typé et les paramètres monotone-complément sont abandonnés. Une nouvelle tête de classification à 5 voies est initialisée et affinée en utilisant une entropie croisée pondérée par classe standard.
2. TypedCSIP-v2 (Anti-Forget Replay) : La tête de facteur typé est conservée en tant que groupe de paramètres actifs pendant l'affinage. Une perte de replay auxiliaire (identique à l'Étape 1) est appliquée à des triplets échantillonnés indépendamment pour empêcher le processus d'affinage d'effacer la structure de discrimination des conflits apprise à l'Étape 1.

Protocole Expérimental et Rigueur
L'étude est une étude confirmatoire pré-enregistrée enregistrée sur l'Open Science Framework (OSF) avant toute observation de mesures.

Graines : 18 graines ont été dérivées de manière déterministe à partir d'un hachage cryptographique d'une pré-enregistrement précédente, éliminant la sélection de graines a posteriori.
Règle de Décision : Une règle « graine verrouillée comme unité » exige que l'amélioration moyenne par graine dépasse 0,8 point de pourcentage (pp) et que les intervalles de confiance à 95 % par bootstrap de graine et Student-t aient des bornes inférieures strictement supérieures à zéro.
Architectures de Base : Les expériences ont été menées sur chinese-roberta-wwm-ext (principal) et SAILER (réplication multi-architecture).
Base de Référence : La méthode est comparée à C2, une réimplémentation d'un classifieur dense fort à modèle unique qui concatène $(A, B)$ et utilise une entropie croisée pondérée par classe, sans accès à $eB$.

Résultats Clés

Succès Confirmatoire : La variante TypedCSIP-v2 pré-enregistrée a passé la règle de décision verrouillée sur les deux architectures de base :
- RoBERTa : Amélioration moyenne de +0,916 pp (IC : [+0,512, +1,346]).
- SAILER : Amélioration moyenne de +1,288 pp (IC : [+0,676, +1,922]).
Résultats Auxiliaires (Audit de Graines Appariées) : Une réexécution de la variante plus simple TypedCSIP-v1 (sans replay) sur les mêmes 18 graines a atteint une amélioration moyenne de +1,137 pp sur RoBERTa. Cela suggère que le préentraînement CSIP typé de l'Étape 1 est le composant « porteur de charge » de la famille, tandis que le mécanisme de replay anti-oubli de l'Étape 2 (v2) n'est pas strictement nécessaire pour le gain sur cette tâche.
Évaluation Stratifiée (Démarrage à Froid) : Lorsqu'évalué sur la strate Unseen-gB (enregistrements de test où le tuple $(A, eB)$ est nouveau par rapport à l'entraînement), les gains sont restés positifs et significatifs sur les deux architectures de base. Les gains étaient concentrés dans les classes de types de conflit (en particulier Définition et Condition) plutôt que dans la classe Aucun Conflit, réfutant l'hypothèse selon laquelle l'amélioration est pilotée par la mémorisation de chevauchements exacts de tuples.
Limitation Trans-Task : L'encodeur de l'Étape 2, spécialisé pour la classification des conflits, a mal performé lorsqu'il a été réutilisé comme bi-encodeur pour la tâche de Récupération de Loi Supérieure (Tâche 1), montrant une baisse significative de performance.

Signification et Revendications
L'article revendique l'introduction d'une combinaison novatrice de préentraînement contrastif contrefactuel typé et de révisions juridiques rédigées par des experts pour le domaine spécifique de l'examen des conflits législatifs chinois.

Contribution Méthodologique : La contribution centrale est l'utilisation des révisions expertes ($eB$) comme positifs contrefactuels pour entraîner une tête de facteur typé, permettant au modèle d'apprendre la « résolution » d'un conflit pour comprendre le conflit lui-même.
Reproductibilité : L'étude démontre qu'un protocole pré-enregistré avec règle de décision verrouillée est réalisable en TAL, fournissant un modèle pour une évaluation rigoureuse sur des benchmarks appliqués petits où des chevauchements de données structurels existent.
Portée Modeste : Les auteurs déclarent explicitement que le gain absolu (~1 pp) est modeste mais cohérent et reproductible. Ils ne revendiquent pas que TypedCSIP résout l'ensemble du problème de l'examen législatif ou qu'il est le seul moyen d'exploiter $eB$. Ils précisent également que la méthode est limitée à la tâche de classification des conflits et ne s'étend pas aux tâches de récupération ou de génération.
Gain au Niveau de la Famille : Les résultats soutiennent le concept de « famille TypedCSIP », où le signal de préentraînement typé se transfère efficacement vers une nouvelle tête de classification, indépendamment du fait que le mécanisme de replay de l'Étape 2 soit employé ou non.