TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

기술적 요약: TypedCSIP

문제 정의
본 논문은 LCR-CN 벤치마크를 사용하여 중국 입법 충돌 분류 작업을 다룹니다. 목표는 상위 법 ($A$) 과 검토 중인 하위 규정 ($B$) 으로 구성된 법조문 쌍을 다섯 가지 상호 배타적 카테고리 중 하나로 분류하는 것입니다: 책임 충돌, 조건 충돌, 제재 충돌, 정의 충돌, 또는 충돌 없음.

이 작업은 다음과 같은 구체적인 도전 과제를 제시합니다:

1. 세분화 (Granularity): 충돌 유형의 증거는 종종 긴 법조문 내의 작고 국소적인 구간입니다.
2. 데이터 부족 및 불균형: 데이터셋은 상대적으로 작습니다 (696 개의 테스트 레코드), 특히 정의 (Definition) 클래스가 매우 드뭅니다 ($n=48$).
3. 구조적 중첩: 벤치마크 설계에는 훈련 세트와 테스트 세트 간의 구조적 중첩이 포함됩니다. 구체적으로, 동일한 상위 법에 의해 구속된 서로 다른 하위 규정들은 종종 동일한 전문가 작성의 최소 수정안 ($eB$) 을 공유하며, 이는$(A, eB)$ 튜플 중첩을 생성합니다. 이러한 중첩은 모델이 충돌 논리를 이해하는 대신 수정 패턴을 암기함으로써 학습을 "단축 (shortcut)"할 수 있게 합니다.
4. 전문 방법의 부재: 이전의 중국 법률 NLP 연구는 판결 예측이나 검색에 집중했습니다. LCR-CN 에 대한 기존 베이스라인은 이 작업을 표준 분류 문제로 간주하여 결정을 단일 레이블로 압축하며, 데이터셋에 제공된 전문가 수정 주석을 활용하지 않습니다.

방법론: TypedCSIP
저자들은 TypedCSIP(Typed Counterfactual Selective Intervention Pretraining, 유형화 반사실 선택적 개입 사전 학습) 을 제안합니다. 이는 전문가가 작성한 최소 수정안 ($eB$) 을 사전 학습 중 반사실 감독 신호로 활용하는 2 단계 방법입니다.

• 1 단계: 유형화 반사실 사전 학습

  • 입력: $(A, B, eB)$트리플릿입니다. 여기서$A$는 상위 법,$B$는 충돌하는 하위 규정,$eB$는 충돌을 해결하는 전문가 수정안입니다.
  • 아키텍처: 공유 인코더 (예: chinese-roberta-wwm-ext 또는 SAILER) 가 [CLS] 표현을 생성합니다. 이는 네 가지 충돌 유형에 해당하는 네 개의 행을 가진 유형화 팩터 헤드 (Typed Factor Head)($W_\phi$) 로 입력됩니다.
  • 단조 보완 분류기 (Monotone-Complement Classifier): 표준 5-way 소프트맥스 대신, 모델은 충돌 없음 로짓이 네 가지 충돌 팩터 증거들의 엄격하게 감소하는 함수로 유도되는 특수 분류기를 사용합니다. 이는 "충돌 없음"이 모든 충돌 증거의 부재라는 도메인 제약을 강제합니다.
  • 손실 함수: 사전 학습 목적 함수는 세 가지 구성 요소로 이루어집니다:
    1. 양성 손실 (Positive Loss): $(A, B)$의 실제 충돌 팩터를 활성화하도록 강제합니다.
    2. 반사실 손실 (Counterfactual Loss): 전문가 수정안 $(A, eB)$의 네 가지 팩터가 모두 침묵 (영 증거) 하도록 강제합니다.
    3. 선택성 손실 (Selectivity Loss): $B$와 $eB$ 사이의 비목표 팩터 점수 변화를 패널티로 부과하여, 모델이 편집된 특정 팩터로 충돌 신호를 국소화하도록 학습합니다.
  • 목표: 전문가가 충돌을 해결하는 방식을 관찰함으로써 충돌 유형을 인식하도록 인코더를 훈련시키는 것이며, 수정안을 충돌 증거를 전혀 포함하지 않는 "반사실 양성 (counterfactual positive)"으로 취급합니다.

• 2 단계: 분류로 전이
  논문은 전이의 두 가지 변형을 평가합니다:

  1. TypedCSIP-v1 (Typed-Discard): 유형화 팩터 헤드와 단조 보완 매개변수는 폐기됩니다. 새로운 5-way 분류 헤드가 초기화되어 표준 클래스 가중 교차 엔트로피를 사용하여 미세 조정됩니다.
  2. TypedCSIP-v2 (Anti-Forget Replay): 유형화 팩터 헤드는 미세 조정 중 라이브 매개변수 그룹으로 유지됩니다. 보조 재생 손실 (1 단계와 동일) 이 독립적으로 샘플링된 트리플릿에 적용되어, 미세 조정 과정이 1 단계에서 학습된 충돌 구분 구조를 지우지 않도록 방지합니다.

실험 프로토콜과 엄격성
본 연구는 모든 측정이 관찰되기 전에 Open Science Framework(OSF) 에 등록된 사전 등록 확인 연구입니다.

• 시드 (Seeds): 18 개의 시드는 이전 사전 등록의 암호학적 해시에서 결정론적으로 파생되어, 사후 시드 선택을 배제했습니다.
• 결정 규칙: "잠긴 시드 단위 (locked seed-as-unit)" 규칙은 시드당 평균 개선이 **0.8 퍼센트 포인트 (pp)**를 초과해야 하며, 시드 부트스트랩과 Student-t 95% 신뢰 구간의 하한이 엄격히 0 보다 커야 한다고 요구합니다.
• 백본 (Backbones): 실험은 chinese-roberta-wwm-ext(주요) 와 SAILER(교차 백본 복제) 에서 수행되었습니다.
• 베이스라인: 이 방법은 $eB$에 접근하지 않고$(A, B)$를 연결하고 클래스 가중 교차 엔트로피를 사용하는 강력한 단일 모델 밀도 분류기의 재구현인 C2와 비교됩니다.

주요 결과

1. 확인적 성공: 사전 등록된 TypedCSIP-v2 변형은 두 백본 모두에서 잠긴 결정 규칙을 통과했습니다:
   • RoBERTa: 평균 개선 +0.916 pp (CI: [+0.512, +1.346]).
   • SAILER: 평균 개선 +1.288 pp (CI: [+0.676, +1.922]).
2. 보조 발견 (매칭 시드 감사): 동일한 18 개 시드에서 더 간단한 TypedCSIP-v1(재생 없음) 을 다시 실행한 결과, RoBERTa 에서 평균 개선 +1.137 pp를 달성했습니다. 이는 1 단계 유형화 CSIP 사전 학습이 해당 계열의 "하중을 지는 (load-bearing)" 구성 요소임을 시사하며, 2 단계 반망각 재생 메커니즘 (v2) 은 이 작업에서의 이득에 필수적이지 않습니다.
3. 층별 평가 (콜드 스타트): $(A, eB)$ 튜플이 훈련 세트에 비해 새로운 테스트 레코드인 Unseen-gB 층에서 평가했을 때, 두 백본 모두에서 이득이 양수이고 유의미하게 유지되었습니다. 이득은 충돌 없음 클래스가 아닌 충돌 유형 클래스 (특히 정의와 조건) 에 집중되었으며, 이는 개선이 정확한 튜플 중첩을 암기함으로써 주도된다는 가설을 반박합니다.
4. 교차 작업 제한: 충돌 분류에 특화된 2 단계 인코더는 상위 법 검색 작업 (작업 1) 을 위한 양방향 인코더로 재사용될 때 성능이 저하되어, 성능이 크게 떨어졌습니다.

의의와 주장
본 논문은 중국 입법 충돌 검토라는 특정 도메인을 위해 유형화 반사실 대비 사전 학습과 전문가 작성 법률 수정안의 새로운 조합을 도입했다고 주장합니다.

• 방법론적 기여: 핵심 기여는 전문가 수정안 ($eB$) 을 반사실 양성으로 사용하여 유형화 팩터 헤드를 훈련시키는 것이며, 이를 통해 모델이 충돌 자체를 이해하기 위해 충돌의 "해결"을 학습할 수 있게 합니다.
• 재현성: 본 연구는 사전 등록되고 잠긴 결정 규칙 프로토콜이 NLP 에서 가능함을 보여주며, 구조적 데이터 중첩이 존재하는 작고 적용 중심의 벤치마크에 대한 엄격한 평가를 위한 템플릿을 제공합니다.
• 겸손한 범위: 저자들은 절대적 이득 (~1 pp) 은 작지만 일관되고 재현 가능하다고 명시적으로 밝힙니다. 그들은 TypedCSIP 가 입법 검토의 전체 문제를 해결하거나 $eB$를 활용하는 유일한 방법이라고 주장하지 않습니다. 또한 이 방법이 충돌 분류 작업에 국한되며 검색이나 생성 작업으로 확장되지 않는다고 명확히 합니다.
• 계급 수준 이득: 결과는 2 단계 재생 메커니즘이 사용되든 아니든, 유형화 사전 학습 신호가 새로운 분류 헤드로 효과적으로 전이되는 "TypedCSIP 계열 (family)" 개념을 지지합니다.