🤖 AI

Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions

Este artigo introduz um benchmark para detectar citações implícitas do Código Civil Francês e demonstra que a discordância de especialistas nesses casos serve como um sinal crítico de dificuldade intrínseca, revelando que, enquanto os modelos têm dificuldade com instâncias disputadas, uma abordagem de consenso multi-modelo pode classificar candidatos de alta confiança sem supervisão.

Autores originais: Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Avrile Floro (UPHF), Tamara Dhorasoo (UPHF), Soline Pellez (UPHF), Nils Holzenberger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério em uma biblioteca gigante de decisões judiciais francesas. Seu trabalho é encontrar as "pistas ocultas": momentos em que um juiz usa uma regra específica do livro de leis (o Código Civil) para tomar uma decisão, mas nun nunca menciona o nome da regra.

É como um chef fazendo um bolo perfeito, mas nunca listando a "farinha" na receita. Você sabe que ele usou a farinha porque o bolo tem gosto de farinha, mas o texto não diz isso. No mundo jurídico, essas são chamadas de citações implícitas.

O Grande Problema: O "Ponto Cego"

Normalmente, advogados encontram leis pesquisando palavras-chave como "Artigo 1192". Mas se um juiz aplica esse artigo sem escrever o número, o mecanismo de busca fica cego. Isso cria uma enorme lacuna em nossa compreensão de como as leis são realmente utilizadas. Os autores deste artigo queriam construir um programa de computador (um modelo) que pudesse agir como um superdetetive e encontrar essas regras ocultas.

O Experimento: Um Teste de Três Especialistas

Para ensinar o computador, a equipe criou um conjunto de teste especial de 1.015 pares de textos. Eles pediram a três especialistas jurídicos que olhassem para cada par e decidissem: "O juiz está usando esta lei ou apenas falando sobre fatos?"

Foi aqui que as coisas ficaram interessantes. Os especialistas nem sempre concordavam. Em cerca de um terço dos casos (39 de 339), os especialistas discutiram. Um poderia dizer: "Sim, essa é a lei!", enquanto outro dizia: "Não, isso é apenas um fato".

A Principal Descoberta: Onde os Humanos Tropeçam, os Computadores Também Tropeçam

A maior descoberta do artigo é um pouco de um revés. Geralmente, quando os especialistas discordam, pensamos que é apenas "ruído" ou confusão. Mas os autores descobriram que essa discordância é, na verdade, um sinal de alerta.

Quando os especialistas não conseguiam concordar se uma lei estava sendo usada, os modelos de computador falhavam quase todas as vezes.

O melhor grupo de computadores (um "ensemble" de modelos) obteve uma pontuação de 0,70 no total, o que é decente.
No entanto, observe os erros: Dois terços dos falsos alarmes do computador (dizer "Sim, é a lei!" quando não era!) aconteceram exatamente nesses casos complicados onde os especialistas humanos estavam brigando.

O artigo sugere que esses não são apenas erros aleatórios. Eles são dificuldades intrínsecas. A linha entre "aplicar uma lei" e "declarar um fato" é tênue, mesmo para humanos. Quando os humanos estão incertos, os computadores têm ainda mais probabilidade de estarem errados com confiança.

O Que o Artigo Descarta (A Lista do "Não")

Não é apenas "ruído": O artigo argumenta contra a ideia de que a discordância dos especialistas é apenas dados bagunçados que devem ser ignorados. Em vez disso, é um sinal de que o caso é genuinamente difícil.
Não é um problema resolvido: Os autores não afirmam que construíram uma ferramenta perfeita que possa substituir advogados. Eles declaram explicitamente que a classificação perfeita (acertar um Sim/Não simples todas as vezes) não é atualmente possível para esses casos complicados.
Não é apenas sobre o cérebro do computador: A falha não é porque o computador é "burro". Mesmo quando o computador estava muito confiante (dando uma pontuação alta), ele ainda estava errado nesses casos disputados. O artigo mostra que a confiança não é igual à precisão quando os humanos estão argumentando.

A Luz no Fim do Túnel: Uma Nova Maneira de Jogar

Então, se o computador não pode dar um Sim/Não perfeito, ele é inútil? Os autores dizem que não. Eles sugerem um jogo diferente: Classificação (Ranking).

Em vez de perguntar ao computador, "Esta é a lei?" (o que ele pode errar), pergunte a ele, "Quais 200 casos são mais prováveis de serem a lei?"

Ao deixar múltiplos modelos votarem e classificar os resultados, eles criaram uma "lista de seleção".
Quando olharam para os 200 principais candidatos, 76% estavam de fato corretos.
Isso significa que um advogado pode usar a ferramenta para escanear milhares de documentos e obter uma lista gerenciável dos "esquemas ocultos" mais promissores para revisar manualmente.

O Quão Certos Estamos?

Os autores são muito cuidadosos com sua linguagem.

Eles mediram a discordância e as taxas de erro precisamente usando seu conjunto de dados de 1.015 casos.
Eles provaram que os erros se concentram em casos disputados em dez modelos diferentes.
Eles sugerem (mas não provam) que esse padrão existe devido à "textura aberta" do direito — um conceito onde as regras jurídicas têm um núcleo claro, mas bordas nebulosas onde a aplicação é incerta.
Eles demonstraram que uma ferramenta de classificação não supervisionada (que não precisa de rótulos humanos para funcionar) pode atingir essa precisão de 76% nos 200 principais resultados.

A Conclusão

O artigo conclui que não devemos esperar que os computadores substituam perfeitamente o julgamento humano nessas bordas nebulosas do direito. Em vez disso, o melhor uso da IA é agir como um holofote de alta potência. Ela não pode lhe dar o veredito final, mas pode iluminar os 200 candidatos mais prováveis entre um milhão, permitendo que o especialista humano faça o trabalho final e crucial de decidir o que é real e o que é apenas uma sombra.

Em resumo: Onde os especialistas discordam, os modelos falham. Mas se você usar os modelos para encontrar a "pilha dos talvez", você ainda pode encontrar o ouro.

Resumo Técnico: Detecção de Citações Jurídicas Implícitas em Decisões Judiciais Francesas

Definição do Problema
O artigo aborda uma lacuna crítica na análise jurídica computacional: a detecção de citações estatutárias implícitas. Enquanto citações explícitas (ex: "nos termos do Artigo 1192") são facilmente recuperadas via busca por palavras-chave, os tribunais frequentemente aplicam regras jurídicas sem nomear o artigo específico. Isso cria um "ponto cego" tanto para profissionais do direito que buscam aplicações práticas de uma regra quanto para pesquisadores quantitativos que estudam tendências jurisprudenciais. A tarefa é definida como determinar, dado um trecho de uma decisão judicial e um candidato a artigo do Código Civil, se o trecho aplica a regra jurídica desse artigo sem mencioná-lo explicitamente. Isso requer distinguir o raciocínio jurídico genuíno de mera similaridade semântica ou descrição factual.

Metodologia
Os autores propõem um pipeline abrangente envolvendo construção de dataset, anotação por especialistas e avaliação multi-modelo:

Construção do Dataset:
- Fonte: 182.155 decisões de tribunais civis de primeira instância franceses (tribunaux judiciaires) coletadas via API Judilibre (dezembro de 2023–julho de 2025).
- Geração de Candidatos: Um bi-encoder (baseado em JuriBERT) foi treinado em citações explícitas (com números de artigos mascarados para evitar correspondência de padrões) para recuperar artigos semanticamente similares para fragmentos de decisões. Candidatos contendo palavras-chave explícitas foram filtrados.
- Filtragem Adversária: Para garantir que o dataset contivesse exemplos desafiadores, os autores utilizaram o modelo o3 da OpenAI com um prompt rigoroso para filtrar candidatos. Apenas pares onde o o3 previu uma aplicação implícita foram retidos, criando um conjunto de negativos "difíceis" onde modelos que compartilham os padrões de raciocínio do o3 provavelmente falhariam.
- Benchmark Final: 1.015 pares trecho–artigo foram selecionados, cobrindo 418 artigos distintos do Código Civil (77% provenientes do Livro III: Obrigações).
Protocolo de Anotação:
- Três especialistas com formação jurídica anotaram o dataset.
- Tratamento de Desacordo: Diferente das práticas padrão de NLP que tratam o desacordo como ruído, os autores o trataram como um sinal. A1 e A2 rotularam todos os 1.015 pares; A3 adjudicou os 339 casos (33,4%) onde A1 e A2 discordaram.
- Descoberta Principal: 92,6% dos casos disputados foram resolvidos como "Não" (não-implícito), frequentemente envolvendo a fronteira entre a descrição factual e o raciocínio jurídico.
Avaliação Experimental:
- Aprendizado Supervisionado: Oito encoders pré-treinados (incluindo modelos de domínio jurídico como JuriBERT e SAUL-7B) foram congelados, com classificadores simples (Regressão Logística, MLP) treinados sobre eles. Um ensemble de quatro modelos foi construído via stacking.
- LLMs Zero-Shot: Dez LLMs ajustados por instrução (variando de 7B a 70B parâmetros) foram avaliados usando prompting zero-shot.
- Ranking Não Supervisionado: Uma estratégia de ranking foi desenvolvida usando a interseção de predições de quatro LLMs com baixo viés positivo, combinada com baselines lexicais (TF-IDF, BM25) e um cross-encoder.

Resultos Principais

Desempenho do Modelo: O melhor ensemble supervisionado alcançou um F1 score de 0,70 e um MCC de 0,53. Os LLMs zero-shot geralmente exibiram alto viés positivo (prevendo "Sim" com muita frequência), tornando-os não confiáveis como classificadores binários, mas úteis como sinais de ranking.
A Correlação Desacordo-Falha: A descoberta central é que os erros dos modelos concentram-se em casos onde os especialistas humanos discordam.
- Os falsos positivos do ensemble supervisionado estavam desproporcionalmente localizados nos 33% de casos disputados.
- A taxa de falsos positivos em casos disputados foi de 14,3%, comparada a 8,4% em casos acordados (um aumento de 1,7x).
- Este padrão manteve-se em todos os dez modelos avaliados, incluindo cross-encoders ajustados e baselines de NLI.
- Os modelos permaneceram confiantes em suas predições incorretas em casos disputados, indicando uma falta de calibração em cenários ambíguos.
Utilidade Não Supervisionada: Reenquadrando a tarefa como um problema de recuperação top- $k$ , um ensemble não supervisionado alcançou 76% de precisão em $k=200$ (recuperando 34% dos verdadeiros positivos), superando significativamente o ranking aleatório e os baselines lexicais.

Significância e Alegações
O artigo alega que o desacordo dos especialistas não é ruído de anotação, mas um sinal da dificuldade intrínseca da tarefa, refletindo provavelmente a "textura aberta" dos conceitos jurídicos (Hart, 1961), onde a fronteira entre fato e direito é genuinamente ambígua.

Limitações da Classificação: Os autores argumentam que a classificação binária perfeita é inalcançável para esses casos ambíguos porque nem mesmo os especialistas humanos conseguem chegar a um consenso.
Caminho Prático: Em vez de julgamentos binários, o artigo propõe o ranking com consenso multi-modelo como uma ferramenta viável para profissionais do direito. Ao apresentar uma lista curta gerenciável de candidatos (ex: top 200), o sistema permite que especialistas façam a triagem de casos onde a lei é mais ambígua, em vez de tentar automatizar a decisão final.
Contribuição para o NLP: O trabalho desafia a prática padrão de NLP de suprimir o desacordo dos anotadores, demonstrando que, no domínio jurídico, o desacordo prevê a falha do modelo e deve ser aproveitado para identificar os limites dos métodos computacionais atuais.

O artigo conclui que, embora os métodos computacionais lutem com a "penumbra" do raciocínio jurídico, eles ainda podem fornecer assistência útil ao destacar casos limítrofes para revisão humana, desde que o sistema seja projetado para reconhecer e gerenciar a incerteza, em vez de mascará-la.