Resumo Técnico: Responsabilidade em Movimento

Definição do Problema

Embora os sistemas de Predição de Julgamento Jurídico (LJP - Legal Judgment Prediction) tenham alcançado alta precisão em tarefas de classificação binária (ex: vitória/derrota), sua implementação prática em fluxos de trabalho jurídicos reais permanece limitada. Os sistemas existentes frequentemente falham em abordar as necessidades específicas de disputas de massa de alto volume, como acidentes de trânsito menores, que congestionam os processos judiciais e sobrecarregam os processos de negociação extrajudiciais. Além disso, a pesquisa atual em LJP foca predominantemente em jurisdições de common law ou resultados binários, deixando uma lacuna na aplicação dessas tecnologias em sistemas de direito civil (civil law), onde a responsabilidade é determinada por distribuições contínuas e proporcionais (cotas de responsabilidade) em vez de vereditos categóricos. O desafio reside em preencher a lacuna entre as capacidades técnicas de processamento de linguagem natural e os requisitos normativos da justiça substantiva, particularmente na Resolução Alternativa de Disputas (ADR) pré-litigiosa.

Metodologia

O estudo propõe uma arquitetura de Aprendizado em Contexto com Recuperação Aumentada (RALM - Retrieval-Augmented In-Context Learning) adaptada para a predição de cotas de responsabilidade em acidentes de trânsito na Alemanha. O sistema não realiza o ajuste fino (fine-tuning) do modelo generativo, mas baseia-se na recuperação de precedentes jurídicos relevantes para informar o contexto do modelo.

Fonte de Dados

A base de conhecimento deriva de Liability Quotas in Traffic Accidents (Grüneberg, 2025), um comentário jurídico alemão de referência que contém 5.575 casos organizados em uma árvore taxonômica granular. O conjunto de dados foi restrito a acidentes entre duas partes para garantir que as distribuições de responsabilidade proporcional somem 100%. O comentário fornece:

• Resumos Fáticos: Descrições breves das circunstâncias do acidente.
• Cotas de Responsabilidade: As partes proporcionais de negligência das partes envolvidas.
• Metadados Taxonômicos: Cabeçalhos hierárquicos de capítulos (ex: "Acidentes ao realizar conversões") e observações preliminares delineando a doutrina jurídica prevalecente.
• Metadados Ex-post: Instância judicial, ano e localização (usados primariamente para análise descritiva).

Arquitetura do Modelo

O sistema utiliza um Grande Modelo de Linguagem (LLM) pronto para uso como gerador e um componente de recuperação para selecionar demonstrações (exemplos em contexto).

• Geradores: Uma suíte de LLMs de código aberto (incluindo variações de Llama-3, Llama-4, Qwen3 e GPT-oss) variando de 17B a 405B de parâmetros.
• Estratégias de Recuperação: Quatro configurações distintas de recuperação foram avaliadas:
  1. Recuperação Aleatória: Serve como um baseline.
  2. Recuperação Não Supervisionada (KATE): Utiliza a similaridade de cosseno de embeddings de texto bruto (via jina-embeddings-v4) para selecionar os $k$ resumos de casos semanticamente mais similares.
  3. Recuperação Supervisionada: Alavanca a taxonomia hierárquica do comentário. Ela recupera casos do exato mesmo capítulo da consulta, expandindo recursivamente para os capítulos pais caso o número alvo de demonstrações ($k$) não seja atingido. Isso garante que o contexto recuperado se alinhe a doutrinas jurídicas específicas.
  4. Recuperação Híbrida: Concatena os cabeçalhos de capítulos hierárquicos com a descrição fática do acidente em uma única sequência de texto antes da vetorização (embedding) e recuperação, combinando informações semânticas e estruturais.

Desenho Experimental

• Tarefa: Predizer a cota de responsabilidade de uma das partes em um acidente entre duas partes.
• Hiperparâmetro ($k$): O número de demonstrações recuperadas foi variado de 0 a 300 para estudar os efeitos do volume de contexto.
• Ordenação: As demonstrações foram apresentadas tanto em ordem decrescente de relevância (padrão) quanto em ordem aleatória para testar o viés de posição.
• Métrica de Avaliação: Erro absoluto em pontos percentuais entre a cota predita e a verdade fundamental (ground truth). Um baseline (divisão 50/50) foi utilizado para comparação.

Principais Resultados

1. Eficácia da Estratégia de Recuperação

• Sistemático vs. Aleatório: Todos os métodos de recuperação sistemática (Não Supervisionada, Supervisionada, Híbrida) superaram significativamente o baseline de recuperação aleatória.
• Integração de Metadados: Abordagens que incorporam a taxonomia jurídica (Supervisionada e Híbrida) superaram significativamente a abordagem puramente semântica Não Supervisionada. Isso confirma que o alinhamento da recuperação com a doutrina jurídica é crítico para a precisidade.
• Híbrida vs. Supervisionada: Não foi encontrada diferença estatisticamente significativa entre as abordagens Supervisionada e Híbrida. A abordagem Híbrida, que exige menos engenharia de pipeline complexa (sem filtragem recursiva), é sugerida como a escolha de design mais eficiente.

2. Desempenho do Modelo

• Taxas de Erro: A configuração de melhor desempenho (Qwen3-235B com recuperação Híbrida) alcançou um erro médio de aproximadamente 19 pontos percentuais, com um erro mediano de 17 pontos percentuais.
• Comparação com o Baseline: Todas as variantes de RALM (exceto um modelo pequeno com recuperação aleatória) superaram significativamente o baseline (divisão 50/50), que apresentou um erro médio de ~30 pontos.
• Volume de Contexto ($k$): Foi observado uma tendência de desempenho parabólica. O aumento do número de demonstrações melhora inicialmente a precisão, mas o volume excessivo leva à saturação do contexto e à degradação do desempenho.

3. Sensibilidade à Ordem

• Impacto do Embaralhamento: O estudo confirmou que a ordenação das demonstrações impacta significativamente o desempenho.
• Ordenação por Relevância: Quando as demonstrações foram classificadas por relevância, o modelo manteve um desempenho estável mesmo conforme o comprimento do contexto aumentava.
• Embaralhamento Aleatório: Quando as demonstrações foram embaralhadas aleatoriamente, o desempenho degradou significativamente conforme $k$ aumentava, exibindo um declínio parabólico claro. Isso sugere que a ordenação por relevância mitiga os efeitos negativos da saturação de contexto.

Significância e Alegações

O artigo reivindica diversas contribuições para o campo da IA Jurídica:

1. Mudança da Predição Binária para a Contínua: O estudo demonstra que LLMs podem prever efetivamente distribuições de responsabilidade contínuas e proporcionais, indo além das classificações binárias comuns na literatura de LJP existente.
2. Aplicação em Direito Civil: Fornece um arcabouço para LJP em jurisdições de direito civil, onde comentários jurídicos (em vez de precedentes vinculantes) servem como a principal fonte de doutrina. A pesquisa mostra que transformar textos jurídicos autoritativos em dispositivos de coordenação computáveis é viável.
3. Alinhamento Doutrinário sobre Escala de Modelo: Os resultados sugerem que a eficácia da IA jurídica depende mais do alinhamento arquitetônico com a doutrina jurídica (via recuperação estruturada) do que da escala de parâmetros do modelo generativo subjacente.
4. Utilidade Prática para ADR: O sistema é posicionado não como um substituto para juízes, mas como uma ferramenta para a Resolução Alternativa de Disputas (ADR) pré-litigiosa. Ao fornecer uma base padronizada e alinhada com a doutrina, o modelo pode racionalizar as expectativas dos litigantes, reduzir assimetrias de informação e facilitar acordos extrajudiciais sem comprometer a justiça substantiva.
5. Mitigação da Saturação de Contexto: O estudo oferece implicações práticas de design, mostrando que demonstrações ordenadas por relevância são essenciais para evitar a degradação do desempenho em aplicações jurídicas de contexto longo.

O autor mantém uma postura modesta, reconhecendo que o conjunto de dados consiste em casos de tribunais de apelação curados e complexos, em vez de disputas rotineiras de primeira instância. Consequentemente, as taxas de erro relatadas podem subestimar a precisão potencial do modelo em cenários do mundo real de alto volume, onde os resultados são frequentemente mais previsíveis. O artigo conclui que, embora a tecnologia prometa racionalizar as expectativas em disputas de massa, seu uso em procedimentos judiciais formais exige cautela extrema devido a limites normativos e éticos.