💬 NLP

TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

Este artigo apresenta o TypedCSIP, um método de pré-treinamento contrafactual tipificado que aproveita revisões mínimas escritas por especialistas para melhorar a classificação de conflitos legislativos em chinês, alcançando ganhos estatisticamente significativos nas pontuações macro-F1 no benchmark LCR-CN enquanto demonstra especialização específica da tarefa.

Autores originais: Yao Liu

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yao Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um juiz tentando descobrir se duas leis estão em conflito. Uma lei é o "Chefe Supremo" (um estatuto nacional), e a outra é uma "Pequena Regra" (um regulamento local). Às vezes, a Pequena Regra viola o Chefe Supremo.

Sua tarefa é analisar o par de leis e responder a duas perguntas:

Elas estão em conflito? (Sim ou Não)
Como elas estão em conflito? É sobre quem é responsável? É sobre as condições exigidas? É sobre a punição? Ou é sobre como uma palavra é definida?

Esta é a tarefa que o artigo aborda: Classificação de Conflitos Legislativos Chineses.

O Problema: A Sentença da "Caixa Preta"

Geralmente, programas de computador treinados para fazer isso apenas analisam as duas leis e chutam a resposta. Eles são como um aluno que decorou o gabarito final, mas não entende por que a resposta está correta. Eles veem o conflito, mas não conseguem apontar a frase específica que causou a briga.

A Arma Secreta: O "Editor Especialista"

Os pesquisadores encontraram um tesouro escondido em seus dados. Ao lado de cada par de leis em conflito, havia uma pequena nota escrita por um especialista. Essa nota mostrava exatamente como um especialista jurídico humano corrigiu a Pequena Regra para fazê-la parar de conflitar com o Chefe Supremo.

Pense nisso assim:

O Conflito: Um aluno escreve: "Eu vou comer maçãs e laranjas."
A Regra: "Você só pode comer frutas."
A Correção do Especialista: O especialista altera a frase para: "Eu vou comer maçãs." (Removendo "laranjas" porque, neste contexto, elas não são consideradas frutas).

O artigo argumenta: Por que não ensinar o computador a aprender com a correção do especialista?

A Solução: TypedCSIP (O Professor "Contrafactual")

Os autores criaram um método chamado TypedCSIP. Eles dividiram o treinamento em duas etapas, como um curso de dois semestres.

Semestre 1: O Treinamento "E Se..." (Pré-treinamento)
Em vez de apenas mostrar ao computador as leis em conflito, eles mostram três coisas:

A Lei do Chefe Supremo.
A Pequena Regra (que está em conflito).
A Correção do Especialista (a versão onde o conflito desapareceu).

O computador é convidado a jogar um jogo: "Olhe para a versão em conflito. Agora olhe para a versão corrigida. Que mudança específica o especialista fez para acabar com a briga?"

Se o especialista removeu uma palavra sobre "punição", o computador aprende: "Ah, este é um Conflito de Sanção."
Se o especialista alterou uma definição, o computador aprende: "Este é um Conflito de Definição."

O computador aprende a reconhecer o tipo de conflito estudando como o especialista o resolveu. É como aprender a identificar um erro de digitação observando alguém corrigi-lo.

Semestre 2: A Prova Final (Ajuste Fino)
Agora, o computador aplica o conhecimento adquirido no Semestre 1 em um novo teste. Ele analisa um novo par de leis (sem ver a correção do especialista) e precisa adivinhar: "Elas estão em conflito? Se sim, que tipo de conflito é?"

Os Resultados: Funcionou?

Os pesquisadores foram muito cuidadosos. Eles não executaram o teste apenas uma vez; rodaram-no 18 vezes com diferentes pontos de partida aleatórios (sementes) para garantir que os resultados não fossem apenas sorte. Eles também travaram suas regras antes de começar, para que não pudessem alterar as regras se os resultados parecessem ruins.

A Sentença:

Sim, funcionou. O novo método superou os métodos antigos e padrão.
Ele melhorou a precisão em cerca de 1% (o que parece pequeno, mas neste campo jurídico de alto risco, é uma grande conquista).
Funcionou melhor nos tipos específicos de conflitos (como "Definição" ou "Condição") do que apenas chutando "Sem Conflito".

A Descoberta "Surpresa"

Os pesquisadores tinham duas versões ligeiramente diferentes de seu método:

Versão 1 (A Simples): Aprender com a correção do especialista, depois descartar a ferramenta de "correção do especialista" e usar apenas o conhecimento.
Versão 2 (A Complexa): Aprender com a correção do especialista, manter a ferramenta de "correção do especialista" e usá-la novamente durante a prova final para ajudar a lembrar as lições.

Eles achavam que a Versão 2 seria melhor porque "lembrava" as lições com mais eficácia. Mas, ao testá-la, a Versão 1 (a simples) teve o mesmo desempenho.

A Lição: A magia não estava no truque complexo de memória; a magia estava no próprio Treinamento do Semestre 1. Apenas aprender com as edições do especialista foi suficiente para tornar o computador mais inteligente.

O Teste de "Partida Fria"

Os pesquisadores também se preocuparam: "O computador apenas memorizou os exemplos específicos que viu no treinamento?"
Para verificar isso, eles o testaram em um grupo de leis onde a combinação de "Chefe Supremo" e "Correção do Especialista" nunca havia sido vista antes.

Resultado: O computador ainda performou melhor do que os métodos antigos. Isso prova que ele realmente aprendeu o conceito de conflito legal, e não apenas memorizou as respostas.

Resumo

O artigo apresenta uma maneira inteligente de ensinar computadores a encontrar conflitos legais. Em vez de apenas mostrar o problema, eles mostram ao computador o problema e a solução do especialista. Ao estudar a solução, o computador aprende a identificar o tipo específico de conflito legal. É um método simples e eficaz que funciona melhor do que tentativas anteriores, e prova que aprender "como corrigir" é uma maneira poderosa de aprender "como identificar".

Resumo Técnico: TypedCSIP

Definição do Problema
O artigo aborda a tarefa de Classificação de Conflitos Legislativos Chineses utilizando o benchmark LCR-CN. O objetivo é classificar um par de disposições legais — uma lei superior ( $A$ ) e uma disposição subordinada sob revisão ( $B$ ) — em uma das cinco categorias mutuamente exclusivas: Conflito de Responsabilidade, Conflito de Condição, Conflito de Sanção, Conflito de Definição ou Sem-Conflito.

Esta tarefa apresenta desafios específicos:

Granularidade: A evidência para um tipo de conflito é frequentemente um pequeno segmento localizado dentro de textos legais longos.
Escassez e Desequilíbrio de Dados: O conjunto de dados é relativamente pequeno (696 registros de teste), com a classe Definição sendo particularmente rara ( $n=48$ ).
Sobreposição Estrutural: O desenho do benchmark inclui sobreposição estrutural entre os conjuntos de treinamento e teste. Especificamente, disposições subordinadas distintas, mas restringidas pela mesma lei superior, frequentemente compartilham a mesma revisão mínima escrita por especialistas ($eB$), criando sobreposições de tuplas $(A, eB)$ que poderiam permitir que modelos "atalhassem" a aprendizagem memorizando padrões de revisão em vez de compreender a lógica do conflito.
Falta de Métodos Especializados: Trabalhos anteriores sobre PLN jurídico chinês focam pesadamente em previsão de julgamento ou recuperação. As linhas de base existentes para LCR-CN tratam a tarefa como um problema de classificação padrão, comprimindo a decisão em um único rótulo sem utilizar as anotações de revisão fornecidas no conjunto de dados.

Metodologia: TypedCSIP
Os autores propõem o TypedCSIP (Pré-treinamento Seletivo de Intervenção Contrafactual Tipado), um método em duas etapas que aproveita a revisão mínima escrita por especialistas ($eB$) como um sinal de supervisão contrafactual durante o pré-treinamento.

Etapa 1: Pré-treinamento Contrafactual Tipado
- Entrada: Triplets $(A, B, eB)$, onde $A$ é a lei superior, $B$ é a disposição subordinada conflitante e $eB$ é a revisão de especialista que resolve o conflito.
- Arquitetura: Um codificador compartilhado (por exemplo, chinese-roberta-wwm-ext ou SAILER) produz uma representação [CLS]. Esta é alimentada em uma Cabeça de Fatores Tipados ( $W_\phi$ ) com quatro linhas correspondentes aos quatro tipos de conflito.
- Classificador Monotônico-Complementar: Em vez de um softmax padrão de 5 vias, o modelo utiliza um classificador especializado onde o logit de Sem-Conflito é derivado como uma função estritamente decrescente das quatro evidências de fatores de conflito. Isso impõe a restrição de domínio de que "Sem-Conflito" é a ausência de qualquer evidência de conflito.
- Função de Perda: O objetivo de pré-treinamento consiste em três componentes:
  1. Perda Positiva: Força o fator de conflito verdadeiro de $(A, B)$ a ativar.
  2. Perda Contrafactual: Força todos os quatro fatores da revisão de especialista $(A, eB)$ a permanecerem silenciosos (evidência zero).
  3. Perda de Seletividade: Penaliza mudanças nas pontuações de fatores não-alvo entre $B$ e $eB$, garantindo que o modelo aprenda a localizar o sinal de conflito para o fator específico sendo editado.
- Objetivo: Treinar o codificador para reconhecer tipos de conflito observando como um especialista os resolve, tratando a revisão como um "positivo contrafactual" que não carrega evidência de conflito.
Etapa 2: Transferência para Classificação
O artigo avalia duas variantes da transferência:
1. TypedCSIP-v1 (Descarte Tipado): A cabeça de fatores tipados e os parâmetros do classificador monotônico-complementar são descartados. Uma nova cabeça de classificação de 5 vias é inicializada e ajustada (fine-tuned) usando entropia cruzada ponderada por classe padrão.
2. TypedCSIP-v2 (Reprodução Anti-Esquecimento): A cabeça de fatores tipados é mantida como um grupo de parâmetros ativo durante o ajuste fino. Uma perda de reprodução auxiliar (idêntica à Etapa 1) é aplicada a triplets amostrados independentemente para evitar que o processo de ajuste fino apague a estrutura de discriminação de conflitos aprendida na Etapa 1.

Protocolo Experimental e Rigor
O estudo é um estudo confirmatório pré-registrado registrado na Open Science Framework (OSF) antes que qualquer medição fosse observada.

Sementes: 18 sementes foram derivadas deterministicamente de um hash criptográfico de um pré-registro anterior, eliminando a seleção de sementes post-hoc.
Regra de Decisão: Uma regra de "semente travada como unidade" exige que a melhoria média por semente exceda 0,8 pontos percentuais (pp) e que tanto o bootstrap de sementes quanto os intervalos de confiança de 95% de Student-t tenham limites inferiores estritamente acima de zero.
Backbones: Os experimentos foram executados em chinese-roberta-wwm-ext (primário) e SAILER (replicação cruzada de backbone).
Linha de Base: O método é comparado ao C2, uma reimplementação de um classificador denso de modelo único forte que concatena $(A, B)$ e usa entropia cruzada ponderada por classe, sem acesso a $eB$.

Resultados Chave

Sucesso Confirmatório: A variante TypedCSIP-v2 pré-registrada passou na regra de decisão travada em ambos os backbones:
- RoBERTa: Melhoria média de +0,916 pp (IC: [+0,512, +1,346]).
- SAILER: Melhoria média de +1,288 pp (IC: [+0,676, +1,922]).
Achados Auxiliares (Auditoria de Sementes Correspondentes): Uma reexecução da variante mais simples TypedCSIP-v1 (sem reprodução) nas mesmas 18 sementes alcançou uma melhoria média de +1,137 pp no RoBERTa. Isso sugere que o pré-treinamento CSIP tipado da Etapa 1 é o componente "estrutural" da família, enquanto o mecanismo de reprodução anti-esquecimento da Etapa 2 (v2) não é estritamente necessário para o ganho nesta tarefa.
Avaliação Estratificada (Início Frio): Quando avaliado no estrato Unseen-gB (registros de teste onde a tupla $(A, eB)$ é nova em relação ao treinamento), os ganhos permaneceram positivos e significativos em ambos os backbones. Os ganhos foram concentrados nas classes de tipo de conflito (especialmente Definição e Condição) em vez da classe Sem-Conflito, refutando a hipótese de que a melhoria é impulsionada pela memorização de sobreposições exatas de tuplas.
Limitação Trans-Tarefa: O codificador da Etapa 2, especializado para classificação de conflitos, desempenhou mal quando reutilizado como um bi-codificador para a tarefa de Recuperação de Lei Superior (Tarefa 1), mostrando uma queda significativa no desempenho.

Significância e Alegações
O artigo alega introduzir uma combinação novel de pré-treinamento contrastivo contrafactual tipado e revisões legais escritas por especialistas para o domínio específico de revisão de conflitos legislativos chineses.

Contribuição Metodológica: A contribuição central é o uso de revisões de especialistas ($eB$) como positivos contrafactuais para treinar uma cabeça de fatores tipados, permitindo que o modelo aprenda a "resolução" de um conflito para compreender o próprio conflito.
Reprodutibilidade: O estudo demonstra que um protocolo pré-registrado com regra de decisão travada é viável em PLN, fornecendo um modelo para avaliação rigorosa em benchmarks aplicados pequenos onde existem sobreposições estruturais de dados.
Escopo Modesto: Os autores afirmam explicitamente que o ganho absoluto (~1 pp) é modesto, mas consistente e reproduzível. Eles não alegam que o TypedCSIP resolve todo o problema da revisão legislativa ou que é a única maneira de utilizar $eB$. Eles também esclarecem que o método é delimitado à tarefa de classificação de conflitos e não se estende a tarefas de recuperação ou geração.
Ganho em Nível de Família: Os resultados suportam o conceito de "família TypedCSIP", onde o sinal de pré-treinamento tipado transfere-se efetivamente para uma nova cabeça de classificação, independentemente de o mecanismo de reprodução da Etapa 2 ser empregado ou não.