TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

Resumen Técnico: TypedCSIP

Definición del Problema
El artículo aborda la tarea de Clasificación de Conflictos Legislativos Chinos utilizando la benchmark LCR-CN. El objetivo es clasificar un par de disposiciones legales —una ley superior ($A$) y una disposición subordinada bajo revisión ($B$)— en una de cinco categorías mutuamente excluyentes: Conflicto de Responsabilidad, Conflicto de Condición, Conflicto de Sanción, Conflicto de Definición o Sin-Conflicto.

Esta tarea presenta desafíos específicos:

1. Granularidad: La evidencia para un tipo de conflicto suele ser un segmento pequeño y localizado dentro de textos legales extensos.
2. Escasez y Desequilibrio de Datos: El conjunto de datos es relativamente pequeño (696 registros de prueba), siendo la clase Definición particularmente rara ($n=48$).
3. Superposición Estructural: El diseño de la benchmark incluye superposición estructural entre los conjuntos de entrenamiento y prueba. Específicamente, distintas disposiciones subordinadas restringidas por la misma ley superior a menudo comparten la misma revisión mínima escrita por expertos ($eB$), creando superposiciones de tuplas $(A, eB)$ que podrían permitir a los modelos "atajar" el aprendizaje memorizando patrones de revisión en lugar de comprender la lógica del conflicto.
4. Falta de Métodos Especializados: El trabajo previo sobre PLN legal chino se centra fuertemente en la predicción de sentencias o la recuperación. Las líneas base existentes para LCR-CN tratan la tarea como un problema de clasificación estándar, comprimiendo la decisión en una sola etiqueta sin utilizar las anotaciones de revisión experta proporcionadas en el conjunto de datos.

Metodología: TypedCSIP
Los autores proponen TypedCSIP (Preentrenamiento de Intervención Selectiva Contrafactual Tipado), un método de dos etapas que aprovecha la revisión mínima escrita por expertos ($eB$) como señal de supervisión contrafactual durante el preentrenamiento.

• Etapa 1: Preentrenamiento Contrafactual Tipado

  • Entrada: Tripletes $(A, B, eB)$, donde $A$ es la ley superior, $B$ es la disposición subordinada conflictiva y $eB$ es la revisión experta que resuelve el conflicto.
  • Arquitectura: Un codificador compartido (por ejemplo, chinese-roberta-wwm-ext o SAILER) produce una representación [CLS]. Esta se alimenta a una Cabeza de Factor Tipado ($W_\phi$) con cuatro filas correspondientes a los cuatro tipos de conflicto.
  • Clasificador Monótono-Complementario: En lugar de un softmax estándar de 5 vías, el modelo utiliza un clasificador especializado donde el logit de Sin-Conflicto se deriva como una función estrictamente decreciente de las cuatro evidencias de factores de conflicto. Esto impone la restricción del dominio de que "Sin-Conflicto" es la ausencia de cualquier evidencia de conflicto.
  • Función de Pérdida: El objetivo de preentrenamiento consta de tres componentes:
    1. Pérdida Positiva: Obliga al factor de conflicto real de $(A, B)$ a activarse.
    2. Pérdida Contrafactual: Obliga a que los cuatro factores de la revisión experta $(A, eB)$ permanezcan silenciosos (evidencia cero).
    3. Pérdida de Selectividad: Penaliza los cambios en las puntuaciones de factores no objetivo entre $B$ y $eB$, asegurando que el modelo aprenda a localizar la señal de conflicto en el factor específico que se está editando.
  • Objetivo: Entrenar al codificador para reconocer tipos de conflicto observando cómo un experto los resuelve, tratando la revisión como un "positivo contrafactual" que no lleva evidencia de conflicto.

• Etapa 2: Transferencia a Clasificación
  El artículo evalúa dos variantes de la transferencia:

  1. TypedCSIP-v1 (Descarte Tipado): La cabeza de factor tipado y los parámetros monótono-complementarios se descartan. Se inicializa una nueva cabeza de clasificación de 5 vías y se ajusta fino utilizando entropía cruzada ponderada por clases estándar.
  2. TypedCSIP-v2 (Reproducción Anti-Olvido): La cabeza de factor tipado se retiene como un grupo de parámetros activos durante el ajuste fino. Se aplica una pérdida de reproducción auxiliar (idéntica a la Etapa 1) a tripletes muestreados independientemente para evitar que el proceso de ajuste fino borre la estructura de discriminación de conflictos aprendida en la Etapa 1.

Protocolo Experimental y Rigor
El estudio es un estudio confirmatorio pre-registrado registrado en la Open Science Framework (OSF) antes de observar cualquier medición.

• Semillas: Se derivaron 18 semillas de manera determinista a partir de un hash criptográfico de una pre-registración anterior, eliminando la selección de semillas a posteriori.
• Regla de Decisión: Una regla de "semilla bloqueada como unidad" requiere que la mejora media por semilla supere 0.8 puntos porcentuales (pp) y que tanto el bootstrap de semillas como los intervalos de confianza del 95% de Student-t tengan límites inferiores estrictamente superiores a cero.
• Backbones: Los experimentos se ejecutaron en chinese-roberta-wwm-ext (principal) y SAILER (replicación entre backbones).
• Línea Base: El método se compara contra C2, una reimplementación de un fuerte clasificador denso de modelo único que concatena $(A, B)$ y utiliza entropía cruzada ponderada por clases, sin acceso a $eB$.

Resultados Clave

1. Éxito Confirmatorio: La variante TypedCSIP-v2 pre-registrada pasó la regla de decisión bloqueada en ambos backbones:
   • RoBERTa: Mejora media de +0.916 pp (IC: [+0.512, +1.346]).
   • SAILER: Mejora media de +1.288 pp (IC: [+0.676, +1.922]).
2. Hallazgos Auxiliares (Auditoría de Semillas Emparejadas): Una reejecución de la más simple TypedCSIP-v1 (sin reproducción) en las mismas 18 semillas logró una mejora media de +1.137 pp en RoBERTa. Esto sugiere que el preentrenamiento CSIP tipado de la Etapa 1 es el componente "de soporte" de la familia, mientras que el mecanismo de reproducción anti-olvido de la Etapa 2 (v2) no es estrictamente necesario para la ganancia en esta tarea.
3. Evaluación Estratificada (Arranque en Frío): Cuando se evaluó en la estratificación Unseen-gB (registros de prueba donde la tupla $(A, eB)$ es nueva en relación con el entrenamiento), las ganancias permanecieron positivas y significativas en ambos backbones. Las ganancias se concentraron en las clases de tipo de conflicto (especialmente Definición y Condición) en lugar de la clase Sin-Conflicto, refutando la hipótesis de que la mejora se impulsa por memorizar superposiciones exactas de tuplas.
4. Limitación Trans-Tarea: El codificador de la Etapa 2, especializado en clasificación de conflictos, tuvo un rendimiento deficiente cuando se reutilizó como un bi-codificador para la tarea de Recuperación de Ley Superior (Tarea 1), mostrando una caída significativa en el rendimiento.

Significado y Afirmaciones
El artículo afirma introducir una combinación novedosa de preentrenamiento contrastivo contrafactual tipado y revisiones legales escritas por expertos para el dominio específico de la revisión de conflictos legislativos chinos.

• Contribución Metodológica: La contribución central es el uso de revisiones expertas ($eB$) como positivos contrafactuales para entrenar una cabeza de factor tipado, permitiendo que el modelo aprenda la "resolución" de un conflicto para comprender el conflicto en sí mismo.
• Reproducibilidad: El estudio demuestra que un protocolo pre-registrado con regla de decisión bloqueada es factible en PLN, proporcionando una plantilla para una evaluación rigurosa en benchmarks pequeños y aplicados donde existen superposiciones de datos estructurales.
• Alcance Modesto: Los autores declaran explícitamente que la ganancia absoluta (~1 pp) es modesta pero consistente y reproducible. No afirman que TypedCSIP resuelva todo el problema de la revisión legislativa ni que sea la única forma de utilizar $eB$. También aclaran que el método está limitado a la tarea de clasificación de conflictos y no se extiende a tareas de recuperación o generación.
• Ganancia a Nivel de Familia: Los resultados apoyan el concepto de "familia TypedCSIP", donde la señal de preentrenamiento tipado se transfiere eficazmente a una cabeza de clasificación fresca, independientemente de si se emplea el mecanismo de reproducción de la Etapa 2.