💻 computer science

Quantifying and Mitigating Gender Bias in Legal Large Language Models:A Counterfactual Fairness Framework

Este artigo audita modelos de linguagem de grande escala jurídicos quanto ao viés de gênero nos cálculos de indenização por demissão sem justa causa na China, revelando que a instabilidade contrafactual, em vez do viés direcional, é o principal modo de falha, e propõe dois remédios eficazes — Calibração Simétrica Contrafactual e Ajuste Fino com Restrição de Equidade — para mitigar esses erros ao abordar o conhecimento ausente de fórmulas.

Autores originais: Yikuan Feng, Xiao Li

Publicado 2026-08-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yikuan Feng, Xiao Li

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em uma biblioteca gigante e de alta tecnologia, onde os bibliotecários são robôs superinteligentes. Esses robôs leram quase todos os livros já escritos e podem responder a perguntas sobre qualquer coisa, desde receitas de cozinha até viagens espaciais. Mas há um detalhe: às vezes, quando você faz uma pergunta, eles podem te dar uma resposta diferente apenas porque você mudou um detalhe minúsculo sobre si mesmo, como seu nome ou seu gênero. Isso é um grande problema no mundo da "Inteligência Artificial" (IA), especificamente em um campo chamado "Aprendizado de Máquina" (Machine Learning). Pense nesses modelos de IA como cérebros digitais que aprendem padrões a partir de dados. Um dos maiores receios dos cientistas e advogados é o "viés". O viés é como um par de óculos coloridos; se a IA usar óculos que a fazem ver homens de forma diferente de mulheres, ela pode tomar decisões injustas. Geralmente, nos preocupamos com o fato de a IA ser consistentemente injusta — como sempre dar respostas melhores para homens do que para mulheres. Mas e se a IA não for consistentemente injusta, mas apenas aleatoriamente confusa? E se ela te der uma ótima resposta um dia e uma terrível no outro, apenas porque você trocou uma palavra na sua pergunta? Esse é o mistério que este artigo tenta resolver.

Os pesquisadores neste estudo decidiram colocar quatro dos "Modelos de Linguagem Jurídicos Grandes" mais populares do mundo (pense neles como super-robôs advogados) à prova. Eles escolheram um trabalho muito específico e pesado em matemática: calcular quanto dinheiro um trabalhador deve receber se for demitido injustamente na China. A lei aqui é como uma receita rigorosa: se você trabalhou por 5 anos e ganhou $1.000 por mês, o robô deve calcular exatamente $10.000. Não há espaço para suposições. Se o robô disser $12.000, ele está errado. Se disser $8.000, também está errado. Os cientistas criaram 50 histórias diferentes de "e se". Em cada história, eles perguntaram ao robô para calcular o pagamento para um homem e, depois, fizeram a mesma pergunta novamente, mas mudaram o gênero do trabalhador para mulher. Eles fizeram isso 400 vezes no total.

Aqui está a reviravolta surpreendente que encontraram. Eles esperavam que os robôs fossem consistentemente tendenciosos, como uma balança que sempre inclina demais para a esquerda. Em vez disso, descobriram algo muito mais estranho: instabilidade. Os robôs não estavam favorecendo consistentemente homens ou mulheres. Em vez disso, estavam agindo como uma calculadora trêmula. Para a maioria das histórias, os robros davam exatamente a mesma resposta para homens e mulheres. Mas, para algumas histórias específicas, os robôs enlouqueciam. Eles davam a um homem um pagamento enorme e à mulher um pagamento minúsculo, ou vice-versa, sem nenhum padrão para explicar o porquê. Era como um lançamento de moeda que às vezes caía em cara, às vezes em coroa, e às vezes de lado. Os pesquisadores chamam isso de "instabilidade contrafactual". É um tipo de injustiça assustador porque você não pode simplesmente consertá-lo adicionando um "fator de correção" ao cérebro do robô. Se o robô é aleatoriamente errôneo, você não consegue prever quando ele vai errar.

Para corrigir isso, a equipe tentou dois tipos de "curativos". O primeiro foi um truque inteligente chamado Calibração Simétrica Contrafactual (CSC). Imagine que você tem um robô que às vezes te dá a resposta errada. Em vez de tentar retreinar o robô (o que é difícil e caro), você apenas coloca uma rede de segurança sob ele. Toda vez que o robô dá uma resposta diferente para um homem e uma mulher, você ignora o robô e usa apenas a fórmula matemática do livro de leis. Isso funcionou incrivelmente bem. Para alguns robôs, corrigiu a precisão jurídica em até 72 pontos percentuais! Foi como pegar um prato que está caindo antes que ele atinja o chão.

O segundo ajuste foi uma cirurgia mais profunda chamada Ajuste Fino com Restrição de Equidade (FCFT). Aqui, os pesquisadores pegaram um robô menor e ensinaram a ele a fórmula matemática diretamente, enquanto também diziam: "Ei, certifique-se de tratar homens e mulheres exatamente da mesma forma". Eles descobriram algo muito importante: os robôs não estavam sendo maldosos ou sexistas de propósito. Eles apenas eram ruins em matemática! A principal razão pela qual davam respostas erradas era que eles não sabiam realmente a fórmula dentro do livro de leis. Uma vez que foram ensinados a fórmula, o "viés de gênero" praticamente desapareceu. Acontece que os robôs não estavam usando óculos coloridos; eles apenas não sabiam fazer a conta de adição.

No fim, este artigo nos diz que, quando usamos IA para decisões jurídicas, não podemos apenas confiar que ela saiba "falar" como um advogado. Se a lei é um problema matemático, a IA precisa agir como uma calculadora, não como um contador de histórias. O maior perigo não é que a IA odeia um determinado grupo de pessoas; é que ela pode estar imprevisivelmente confusa. A boa notícia é que podemos construir redes de segurança para capturar esses erros e podemos ensinar os robôs as regras para que parem de adivinhar. É um lembrete de que, no mundo da IA, às vezes o mais importante não é o quão inteligente o robô parece, mas se ele consegue fazer uma conta simples sem tropeçar nos próprios pés.

Resumo Técnico: Quantificação e Mitigação de Viés de Gênero em Grandes Modelos de Linguagem Jurídicos

1. Definição do Problema

O artigo aborda a questão crítica do viés algorítmico em Grandes Modelos de Linguagem (LLMs) jurídicos, focando especificamente no viés de gênero no contexto de indenização por demissão injustificada sob o Artigo 87 da Lei de Contratos de Trabalho (LCL) da China. Diferente dos sistemas de common law, onde os resultados são probabilísticos (ex: risco de reincidência), este domínio oferece um campo de teste experimental "limpo" único: o valor da indenização justa é determinado unicamente por uma fórmula estatutária ( $Indenização = Tempo\ de\ Serviço \times Salário\ Mensal \times 2$ ).

Os autores argumentam que as pesquisas de viés existentes frequentemente negligenciam um modo de falha específico: a instabilidade contrafactual. Enquanto trabalhos anteriores focam no viés direcional (ex: favorecer sistematicamente um gênero), este estudo investiga se uma substituição de um único token de gênero em um prompt de outra forma idêntico causa desvios imprevisíveis e específicos para cada caso no valor da indenização recomendado. Tal instabilidade viola a equidade contrafactual (Kusner et al., 2017) e compromete a justiça processual, pois introduz uma "arbitrariedade técnica" onde atributos juridicamente irrelevantes (gênero) alteram os resultados de forma imprevisível.

2. Metodologia

2.1 Estrutura de Equidade Contrafactual

O estudo define o viés de gênero usando a Taxa de Deslocamento de Viés ( $\Delta$ ):
$\Delta = \frac{R_{masculino} - R_{feminino}}{\bar{R}}$
Onde $R_{masculino}$ e $R_{feminino}$ são os valores de indenização recomendados para cenários idênticos que diferem apenas no gênero do autor, e $\bar{R}$ é a sua média.

Verdade Fundamental ( $R^*$ ): O valor estatutário calculado via fórmula da LCL.
Conformidade Legal: Um output é conforme se estiver dentro de $\pm 10\%$ de $R^*$ .
Limiar de Viés: Um cenário é considerado enviesado se $|\Delta| > 0,05$ .

2.2 Design Experimental

Cenários: Foram construídos 50 pares de cenários contrafactuais, variando tempo de serviço (1–12 anos), salário (4k–30k CNY) e incluindo contexto juridicamente irrelevante (educação, estado civil) para simular ruído realista.
Modelos: Quatro LLMs principais foram avaliados via suas APIs oficiais:
- Qwen 3.6 Plus (Alibaba)
- DeepSeek V4 Flash (DeepSeek)
- Gemini 3.1 Flash Lite (Google)
- Claude Sonnet 4.6 (Anthropic)
Protocolo de Inferência: Foram realizadas 400 inferências determinísticas ( $K=1$ , temperatura $= 0$ ). Este design isola a sensibilidade determinística ao token de gênero, excluindo a variância de amostragem.

2.3 Estratégias de Remediação

Duas estratégias complementares foram propostas e testadas:

Calibração Simétrica Contrafactual (CSC): Uma rede de segurança de pós-processamento para modelos de código fechado. Se $|\Delta| > 0,05$ , ambos os outputs de gênero são substituídos pelo valor estatutário $R^*$ . Isso não requer retreinamento do modelo.
Ajuste Fino com Restrição de Equidade (FCFT): Uma abordagem de nível de parâmetro para modelos de código aberto (testada no Qwen1.5-1.8B-Chat). O objetivo de treinamento combina a perda de linguagem padrão com um regularizador de equidade:
$L_{total} = L_{LM} + \lambda \cdot L_{equidade}$
Onde $L_{equidade}$ penaliza a divergência KL entre as distribuições de saída condicionadas ao gênero. Um estudo de ablação comparou quatro variantes: Baseline, Apenas Alinhamento de Dados, Apenas Perda KL e Full FCFT.

3. Principais Resultados

3.1 Detecção de Viés: Instabilidade sobre Direcionalidade

Em todos os quatro modelos, o estudo não encontrou viés direcional estatisticamente significativo (todos os Wilcoxon $p > 0,28$ ). No entanto, todos os modelos exibiram uma instabilidade contrafactual pronunciada:

DeepSeek V4 Flash: Menor instabilidade (Média $|\Delta| = 0,082$ ), com 86% dos cenários apresentando recomendações idênticas.
Qwen 3.6 Plus & Claude Sonnet 4.6: Maior instabilidade (Média $|\Delta| = 0,266$ e $0,214$ respectivamente), com 74% dos cenários apresentando viés.
Distribuição: A distribuição de $|\Delta|$ possui cauda pesada. Embora o desvio da mediana para alguns modelos fosse zero, uma minoria de casos produziu desvios extremos, indicando que os erros são esporádicos e imprevisíveis, em vez de uniformes.

3.2 Conformidade Legal

DeepSeek alcançou a maior conformidade legal basal (78%).
Claude e Gemini mostraram desvios negativos sistemáticos da fórmula estatutária mesmo em cenários neutros de gênero, resultando em conformidade basal muito baixa (2% e 6%, respectivamente).
Achado: Alta fluência e redação profissional (como visto nos outputs do Claude) não se correlacionam com precisão jurídica.

3.3 Eficácia da Remediação

Desempenho da CSC: Aplicar a CSC melhorou dramaticamente a conformidade legal:
- Qwen: +60 pontos percentuais (34% $\to$ 94%).
- Claude: +72 pontos percentuais (2% $\to$ 74%).
- DeepSeek: +14 pontos percentuais (78% $\to$ 92%).
- O método eliminou com sucesso o viés nos cenários disparados ( $\Delta \to 0$ ).
Ablação do FCFT: O ajuste fino diagnóstico revelou que a ausência de conhecimento da fórmula, e não o gênero codificado, é o principal motor do viés.
- Variante B (Apenas Alinhamento de Dados): Alcançou 97,29% de precisão legal e o menor $|\Delta|$ (0,0213), provando que o fornecimento de rótulos estatutários resolve a maioria dos problemas.
- Variante D (Full FCFT): Reduziu ainda mais a divergência KL (0,0010), mas com um leve custo à precisão em comparação com a Variante B, sugerindo que o regularizador de equidade atua como uma restrição de suavização.

4. Significância e Alegações

O artigo alega três contribuições primárias:

Primeira Auditoria Contrafactual em Larga Escala: Fornece a primeira auditoria sistemática de LLMs jurídicos em um cenário de direito civil determinado por fórmula, caracterizando a instabilidade contrafatual como a forma dominante de viés, distinta da discriminação direcional.
Pipeline de Remediação: Valida a CSC como uma rede de segurança de baixo custo e alto impacto para APIs de código fechado e o FCFT como uma ferramenta de diagnóstico para modelos de código aberto.
Insight Arquitetural: Os resultados argumentam pelo desacoplamento do cálculo jurídico da geração de linguagem. Como a verdade fundamental é uma função determinística, confiar o cálculo numérico a modelos generativos introduz variância desnecessária. Os autores propõem uma arquitetura neuro-simbólica onde módulos simbólicos lidam com a execução de fórmulas, e os LLMs lidam com o contexto e a explicação.

Os autores enfatizam que este tipo de viés (inconsistência) é invisível para auditorias agregadas de nível de grupo e não pode ser corrigido por ajustes escalares, necessitando de testes contrafactuais de nível individual. Eles concluem que, para tarefas jurídicas determinadas por fórmulas, os padrões regulatórios devem exigir auditorias de equidade contrafactual e a integração de módulos de execução de fórmulas para garantir a justiça processual.