💬 NLP

TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

Dit artikel introduceert TypedCSIP, een getypeerde contrafactuele pretrainingsmethode die gebruikmaakt van door experts geschreven minimale herzieningen om de classificatie van Chinese wetgevende conflicten te verbeteren, waarbij statistisch significante winsten in macro-F1-scores op de LCR-CN-benchmark worden behaald en tegelijkertijd taakspecifieke specialisatie wordt aangetoond.

Oorspronkelijke auteurs: Yao Liu

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yao Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechter bent die moet uitzooken of twee wetten met elkaar in strijd zijn. De ene wet is de "Grote Baas" (een nationale wet), en de andere is een "Kleine Regel" (een lokale verordening). Soms breekt de Kleine Regel de Grote Baas.

Jouw taak is om naar het paar wetten te kijken en twee vragen te beantwoorden:

Zijn ze in strijd? (Ja of Nee)
Hoe zijn ze in strijd? Gaat het om wie verantwoordelijk is? Gaat het om de vereiste voorwaarden? Gaat het om de straf? Of gaat het om de definitie van een woord?

Dit is de taak die het artikel aanpakt: Classificatie van Wetgevende Conflicten in China.

Het Probleem: Het "Zwarte Doos"-Vonnis

Meestal kijken computerprogramma's die hierop zijn getraind gewoon naar de twee wetten en raden ze het antwoord. Ze zijn als een student die het antwoordensleutel uit zijn hoofd heeft geleerd, maar niet begrijpt waarom het antwoord correct is. Ze zien het conflict, maar kunnen niet wijzen op de specifieke zin die het gevecht veroorzaakte.

Het Geheime Wapen: De "Expert-Redacteur"

De onderzoekers vonden een verborgen schat in hun data. Naast elk paar strijdige wetten stond er een kleine, door een expert geschreven notitie. Deze notitie toonde precies hoe een menselijke juridische expert de Kleine Regel aanpaste om te voorkomen dat deze in strijd was met de Grote Baas.

Stel je het zo voor:

Het Conflict: Een student schrijft: "Ik zal appels en sinaasappels eten."
De Regel: "Je mag alleen fruit eten."
De Expert-oplossing: De expert verandert de zin in: "Ik zal appels eten." (Het verwijderen van "sinaasappels" omdat ze in deze context geen fruit zijn).

Het artikel betoogt: Waarom niet de computer leren van de oplossing van de expert?

De Oplossing: TypedCSIP (De "Contravente" Leraar)

De auteurs creëerden een methode genaamd TypedCSIP. Ze splitsten de training op in twee fasen, als een twee-semesterscursus.

Semester 1: De "Wat-als"-Training (Pretraining)
In plaats van de computer alleen de strijdige wetten te tonen, tonen ze er drie dingen:

De Grote Baas-wet.
De Kleine Regel (die in strijd is).
De Expert-oplossing (de versie waar het gevecht weg is).

De computer wordt gevraagd een spel te spelen: "Kijk naar de strijdige versie. Kijk nu naar de opgeloste versie. Welke specifieke verandering heeft de expert gemaakt om het gevecht te stoppen?"

Als de expert een woord over "straf" verwijderde, leert de computer: "Ah, dit is een Sanctieconflict."
Als de expert een definitie veranderde, leert de computer: "Dit is een Definitieconflict."

De computer leert het type conflict te herkennen door te bestuderen hoe de expert het oploste. Het is als het leren van een typefout te herkennen door te kijken hoe iemand het corrigeert.

Semester 2: Het Eindexamen (Fine-tuning)
Nu past de computer de kennis die het in Semester 1 heeft opgedaan toe op een nieuwe test. Het kijkt naar een nieuw paar wetten (zonder de expert-oplossing te zien) en moet raden: "Zijn ze in strijd? Zo ja, wat voor soort gevecht is het?"

De Resultaten: Werkte het?

De onderzoekers waren zeer voorzichtig. Ze draaiden de test niet één keer; ze draaiden het 18 keer met verschillende willekeurige startpunten (seeds) om ervoor te zorgen dat de resultaten niet gewoon geluk waren. Ze sloten hun regels ook af voordat ze begonnen, zodat ze de regels niet konden veranderen als de resultaten er slecht uitzagen.

Het Vonnis:

Ja, het werkte. De nieuwe methode sloeg de oude, standaardmethoden.
Het verbeterde de nauwkeurigheid met ongeveer 1% (wat klein klinkt, maar in dit hoog-risico juridische veld is het een groot iets).
Het werkte het beste op de specifieke types conflicten (zoals "Definitie" of "Voorwaarde") in plaats van alleen maar te raden "Geen Conflict".

De "Verrassende" Ontdekking

De onderzoekers hadden twee iets verschillende versies van hun methode:

Versie 1 (De Eenvoudige): Leer van de expert-oplossing, gooi daarna het "expert-oplossing"-gereedschap weg en gebruik alleen de kennis.
Versie 2 (De Complexe): Leer van de expert-oplossing, houd het "expert-oplossing"-gereedschap vast en gebruik het opnieuw tijdens het eindexamen om de lessen te helpen onthouden.

Ze dachten dat Versie 2 beter zou zijn omdat het de lessen "beter onthoudt". Maar toen ze het testten, deed Versie 1 (de eenvoudige) het net zo goed.

De Les: De magie zat niet in de complexe geheugen-truc; de magie zat in de Semester 1-training zelf. Alleen maar leren van de bewerkingen van de expert was genoeg om de computer slimmer te maken.

De "Koude Start"-Test

De onderzoekers maakten zich ook zorgen: "Heeft de computer gewoon de specifieke voorbeelden uit de training uit zijn hoofd geleerd?"
Om dit te controleren, testten ze het op een groep wetten waar de combinatie van "Grote Baas" en "Expert-oplossing" nooit eerder was gezien.

Resultaat: De computer presteerde nog steeds beter dan de oude methoden. Dit bewijst dat het daadwerkelijk het concept van juridisch conflict heeft geleerd, en niet alleen de antwoorden uit zijn hoofd heeft geleerd.

Samenvatting

Het artikel introduceert een slimme manier om computers juridische conflicten te leren vinden. In plaats van ze alleen het probleem te tonen, tonen ze de computer het probleem en de oplossing van de expert. Door de oplossing te bestuderen, leert de computer het specifieke type juridisch gevecht te herkennen. Het is een eenvoudige, effectieve methode die beter werkt dan eerdere pogingen, en het bewijst dat leren van "hoe het op te lossen" een krachtige manier is om "hoe het te herkennen" te leren.

Technische Samenvatting: TypedCSIP

Probleemdefinitie
Het artikel behandelt de taak van Chinese Wetgevende Conflictclassificatie met behulp van de LCR-CN-benchmark. Het doel is om een paar wettelijke bepalingen—een hogere wet ( $A$ ) en een ondergeschikte bepaling die onder review staat ( $B$ )—te classificeren in een van de vijf onderling uitsluitende categorieën: Verantwoordelijkheidsconflict, Voorwaardeconflict, Sanctieconflict, Definitieconflict of Geen-Conflict.

Deze taak presenteert specifieke uitdagingen:

Granulariteit: Het bewijs voor een conflicttype is vaak een klein, lokaal segment binnen lange wettelijke teksten.
Data-schaarste en onevenwichtigheid: De dataset is relatief klein (696 testrecords), waarbij de klasse Definitie bijzonder zeldzaam is ( $n=48$ ).
Structurele overlapping: Het benchmarkontwerp omvat structurele overlapping tussen trainings- en testsets. Specifiek delen verschillende ondergeschikte bepalingen die door dezelfde hogere wet worden beperkt vaak dezelfde door experts geschreven minimale herziening ($eB$), wat $(A, eB)$-tupel-overlappingen creëert die modellen in staat kunnen stellen om te "kortsluiten" door herzienningspatronen te memoriseren in plaats van conflictdynamiek te begrijpen.
Gebrek aan gespecialiseerde methoden: Eerdere werken over juridische NLP in het Chinees richten zich sterk op voorspelling van vonnissen of retrieval. Bestaande baselines voor LCR-CN behandelen de taak als een standaard classifcatieprobleem, waarbij de beslissing wordt samengeperst tot een enkel label zonder gebruik te maken van de door experts geschreven herzieningsannotaties die in de dataset zijn opgenomen.

Methodologie: TypedCSIP
De auteurs stellen TypedCSIP (Typed Counterfactual Selective Intervention Pretraining) voor, een tweestapsmethode die de door experts geschreven minimale herziening ($eB$) benut als een contrasterend supervisiessignaal tijdens pretraining.

Stap 1: Typed Contrasterende Pretraining
- Invoer: Triples $(A, B, eB)$, waarbij $A$ de hogere wet is, $B$ de conflicterende ondergeschikte bepaling, en $eB$ de door experts geschreven herziening die het conflict oplost.
- Architectuur: Een gedeelde encoder (bijv. chinese-roberta-wwm-ext of SAILER) produceert een [CLS]-representatie. Deze wordt ingevoerd in een Typed Factor Head ( $W_\phi$ ) met vier rijen die corresponderen met de vier conflicttypen.
- Monotoon-Complement Classifier: In plaats van een standaard 5-weg softmax, gebruikt het model een gespecialiseerde classifier waarbij de logit voor Geen-Conflict wordt afgeleid als een strikt afnemende functie van de vier bewijzen voor conflictfactoren. Dit dwingt de domeinbeperking af dat "Geen-Conflict" de afwezigheid is van elk conflictbewijs.
- Functie van Verlies: Het pretraining-doel bestaat uit drie componenten:
  1. Positief Verlies: Dwingt de ware conflictfactor van $(A, B)$ om te activeren.
  2. Contrastief Verlies: Dwingt alle vier factoren van de door experts geschreven herziening $(A, eB)$ om stil te zijn (geen bewijs).
  3. Selectiviteitsverlies: Straft veranderingen in scores van niet-doel-factoren tussen $B$ en $eB$, zodat het model leert het conflictsignaal te lokaliseren naar de specifieke factor die wordt bewerkt.
- Doel: De encoder trainen om conflicttypen te herkennen door te observeren hoe een expert ze oplost, waarbij de herziening wordt behandeld als een "contrastief positief" dat geen conflictbewijs draagt.
Stap 2: Transfer naar Classificatie
Het artikel evalueert twee varianten van de transfer:
1. TypedCSIP-v1 (Typed-Discard): De typed factor head en de parameters voor monotoon-complement worden verworpen. Een nieuwe 5-weg classificatiehead wordt geïnitieerd en fijn afgestemd met behulp van standaard class-gewogen cross-entropy.
2. TypedCSIP-v2 (Anti-Forget Replay): De typed factor head wordt behouden als een actieve parametergroep tijdens fijnafstemming. Een aanvullend replay-verlies (identiek aan Stap 1) wordt toegepast op onafhankelijk gesamplede triples om te voorkomen dat het fijnafstemmingsproces de in Stap 1 geleerde structuur voor conflictdiscriminatie uitwist.

Experimenteel Protocol en Strenge Toetsing
De studie is een vooraf geregistreerde bevestigende studie die is geregistreerd op het Open Science Framework (OSF) voordat er metingen werden verricht.

Zaden: 18 zaden werden deterministisch afgeleid uit een cryptografische hash van een eerdere voorregistratie, waardoor post-hoc selectie van zaden werd uitgesloten.
Beslissingsregel: Een "vergrendeld zaad-eenheid"-regel vereist dat de gemiddelde verbetering per zaad 0,8 procentpunten (pp) overschrijdt en dat zowel het seed-bootstrap- als het Student-t 95%-betrouwbaarheidsinterval ondergrenzen hebben die strikt boven nul liggen.
Ruggengraten: Experimenten werden uitgevoerd op chinese-roberta-wwm-ext (primair) en SAILER (replicatie over ruggengraten).
Baseline: De methode wordt vergeleken met C2, een herimplementatie van een sterke single-model dichte classifier die $(A, B)$ concateneert en class-gewogen cross-entropy gebruikt, zonder toegang tot $eB$.

Belangrijkste Resultaten

Bevestigend Succes: De vooraf geregistreerde TypedCSIP-v2-variant slaagde voor de vergrendelde beslissingsregel op beide ruggengraten:
- RoBERTa: Gemiddelde verbetering van +0,916 pp (CI: [+0,512, +1,346]).
- SAILER: Gemiddelde verbetering van +1,288 pp (CI: [+0,676, +1,922]).
Aanvullende Bevindingen (Gekoppeld-Zaad Audit): Een opnieuw uitgevoerde versie van de eenvoudigere TypedCSIP-v1 (zonder replay) op dezelfde 18 zaden bereikte een gemiddelde verbetering van +1,137 pp op RoBERTa. Dit suggereert dat de Typed CSIP-pretraining van Stap 1 het "drager"-component is van de familie, terwijl het replay-mechanisme van anti-vergeten van Stap 2 (v2) niet strikt noodzakelijk is voor de winst op deze taak.
Gestratificeerde Evaluatie (Cold-Start): Bij evaluatie op de Unseen-gB-stratum (testrecords waarbij het $(A, eB)$-tupel nieuw is ten opzichte van training), bleven de winsten positief en significant op beide ruggengraten. De winsten waren geconcentreerd in de klassen voor conflicttypen (vooral Definitie en Voorwaarde) in plaats van de Geen-Conflict-klasse, wat de hypothese weerlegt dat de verbetering wordt gedreven door het memoriseren van exacte tupel-overlappingen.
Beperking over Taken: De encoder van Stap 2, gespecialiseerd voor conflictclassificatie, presteerde slecht wanneer deze opnieuw werd gebruikt als bi-encoder voor de taak Retrieval van Hogere Wetten (Taak 1), met een significante daling in prestaties.

Betekenis en Beweringen
Het artikel beweert een nieuwe combinatie te introduceren van typed contrasterende contrastieve pretraining en door experts geschreven juridische herzieningen voor het specifieke domein van Chinese wetgevende conflicthantering.

Methodologische Bijdrage: De kernbijdrage is het gebruik van door experts geschreven herzieningen ($eB$) als contrastieve positieven om een typed factor head te trainen, waardoor het model de "oplossing" van een conflict leert om het conflict zelf te begrijpen.
Reproduceerbaarheid: De studie toont aan dat een vooraf geregistreerd protocol met een vergrendelde beslissingsregel haalbaar is in NLP, en biedt een sjabloon voor rigoureuze evaluatie op kleine, toegepaste benchmarks waar structurele data-overlappingen bestaan.
Bescheiden Omvang: De auteurs stellen expliciet dat de absolute winst (~1 pp) bescheiden maar consistent en reproduceerbaar is. Zij beweren niet dat TypedCSIP het volledige probleem van wetgevende review oplost of dat het de enige manier is om $eB$ te benutten. Zij verduidelijken ook dat de methode is toegespitst op de conflictclassificatietak en niet uitbreidt naar retrieval- of generatietaken.
Winst op Familieniveau: De resultaten ondersteunen het concept van de "TypedCSIP-familie", waarbij het typed pretraining-signaal effectief wordt overgedragen naar een nieuwe classificatiehead, ongeacht of het replay-mechanisme van Stap 2 wordt toegepast.