AppellateGen: A Benchmark for Appellate Legal Judgment Generation

Título: AppellateGen: Um Benchmark para Geração de Julgamentos Legais em Segunda Instância

1. Problema e Motivação

O campo da Inteligência Artificial Jurídica (Legal AI) avançou significativamente na previsão de julgamentos e geração de documentos para primeira instância, onde os modelos mapeiam fatos estáticos para vereditos. No entanto, existe uma lacuna crítica na automação de julgamentos de segunda instância (recursos/apelações).

• Natureza Dialética: Diferente da primeira instância, o processo de apelação é inerentemente dialético. Envolve uma análise comparativa entre o julgamento original e as novas alegações ou evidências apresentadas pelo recorrente.
• Limitações Atuais: Os benchmarks existentes focam predominantemente em tarefas discriminativas (classificação) ou na geração de documentos baseada em fatos estáticos, ignorando a dependência causal entre as etapas do processo judicial e a necessidade de processar atualizações factuais dinâmicas.
• Complexidade: Em jurisdições de Direito Civil (como a China), os tribunais de segunda instância podem reexaminar fatos e admitir novas evidências, o que exige modelos capazes de identificar discrepâncias, corrigir erros de fato ou de aplicação da lei e produzir um veredito vinculativo que confirme, reverta ou anule a decisão inicial.

2. Metodologia e Propostas

O artigo apresenta duas contribuições principais: um novo benchmark e um novo framework de sistema multi-agente.

A. O Benchmark AppellateGen

• Construção: O dataset foi construído a partir de 4,7 milhões de documentos brutos do China Judgments Online. Foi desenvolvida uma pipeline de correspondência para vincular julgamentos de primeira e segunda instância do mesmo caso.
• Escala e Qualidade: O dataset final contém 7.351 pares de casos de alta qualidade.
• Anotação Granular: Diferente de datasets anteriores, o AppellateGen inclui anotações finas que capturam:
  • Classificação do resultado (Confirmação vs. Reversão).
  • Razão da reversão (erro de fato, erro de lei ou violação processual).
  • Identificação de novas evidências e fatos introduzidos especificamente na segunda instância.
  • Extração de citações estatutárias específicas usadas para fundamentar a decisão.
• Estatísticas: Cerca de 10,7% dos casos resultam em reversão, enquanto 89,3% são confirmados, refletindo a realidade judicial.

B. Framework SLMAS (Sistema Multi-Agente Jurídico Baseado em SOP)
Para abordar a complexidade da tarefa e mitigar alucinações, os autores propõem o SLMAS (Judicial Standard Operating Procedure-based Legal Multi-Agent System).

• Inspiração: O sistema mimetiza o Procedimento Operacional Padrão (SOP) humano dos juízes, decompondo a geração em um fluxo de trabalho determinístico.
• Arquitetura de 4 Agentes Especializados:
  1. Agente de Identificação de Questões Disputadas (Analysis): Analisa as discrepâncias entre o julgamento original e as novas evidências para extrair os pontos centrais de contestação.
  2. Agente de Recuperação Jurídica (Search): Recupera artigos de lei e interpretações judiciais relevantes com base nas questões identificadas.
  3. Agente de Previsão de Reversão (Predict): Simula a deliberação interna do juiz, prevendo se o veredito deve ser confirmado ou revertido e gerando uma justificativa lógica preliminar.
  4. Agente de Geração de Documento (Write): Redige o julgamento final de segunda instância, condicionado a todo o raciocínio intermediário (questões, leis e previsão).
• Vantagem: Esta abordagem estruturada força o modelo a seguir uma cadeia de raciocínio lógica, reduzindo a dependência de correlações estatísticas superficiais.

3. Resultados Experimentais

Os experimentos foram realizados utilizando uma variedade de modelos (LLMs de código aberto, comerciais e específicos para o domínio jurídico) em um conjunto de teste de 1.000 casos.

• Desempenho do SLMAS: O framework SLMAS superou consistentemente os baselines de agente único (incluindo modelos comerciais como o Gemini 2.5 e modelos específicos de domínio como o DISC-LawLLM).
  • Com o modelo Qwen3-235B, o SLMAS alcançou uma acurácia de previsão de reversão de 67,24% e uma pontuação média de qualidade de geração de 2,536 (em uma escala de 0-5 baseada em "LLM-as-a-Judge").
  • O SLMAS superou o modelo proprietário Gemini 2.5 Flash (66,53% de acurácia).
• LLMs Gerais vs. Modelos de Domínio: Um achado crucial foi que LLMs de propósito geral com capacidades de raciocínio avançado (como Qwen3) superaram significativamente os modelos especializados em direito (que obtiveram apenas ~35-37% de acurácia). Isso sugere que a tarefa de julgamento de apelação depende mais da flexibilidade cognitiva e do raciocínio comparativo do que do conhecimento estático do domínio.
• Métricas de Avaliação: O uso de métricas tradicionais (ROUGE-L) mostrou-se insuficiente, pois modelos que apenas copiam o texto original obtinham pontuações altas de sobreposição lexical, mas falhavam em consistência lógica. As métricas baseadas em "LLM-as-a-Judge" (focadas em consistência de veredito, fatos, aplicação da lei e raciocínio lógico) revelaram a superioridade do SLMAS.
• Estudo de Ablação: A remoção do agente de identificação de questões degradou o desempenho, confirmando que a definição clara dos pontos de disputa é essencial para a recuperação correta da lei e para a geração final.

4. Contribuições Chave

1. Definição de Tarefa Pioneira: Estende o NLP jurídico da previsão de primeira instância para a Geração de Julgamentos de Segunda Instância, exigindo raciocínio dialético dinâmico.
2. AppellateGen: O primeiro benchmark em larga escala (7.351 pares) que vincula explicitamente procedimentos de julgamento com resultados de apelação, incluindo anotações de novas evidências e razões de reversão.
3. Framework SLMAS: Uma arquitetura multi-agente baseada em SOP que demonstra que a decomposição estruturada do fluxo de trabalho judicial melhora a consistência lógica e reduz alucinações.
4. Insight Metodológico: Evidencia que, para tarefas jurídicas complexas de raciocínio, a flexibilidade cognitiva de LLMs gerais supera o conhecimento estático de modelos de domínio pré-treinados.

5. Significado e Conclusão

O trabalho estabelece um novo paradigma para a pesquisa em Inteligência Jurídica. Ao focar na complexidade dialética das apelações, o AppellateGen desafia os modelos atuais a lidarem com narrativas conflitantes e atualizações factuais dinâmicas.

Os resultados indicam que, embora os modelos atuais ainda tenham uma lacuna em relação à perícia humana (especialmente na construção de argumentos de "fechamento" lógico), a abordagem de sistemas multi-agentes inspirados em procedimentos judiciais humanos oferece um caminho promissor. O estudo sugere que o futuro da IA jurídica não reside apenas em mais dados de treinamento, mas em arquiteturas que simulam corretamente o processo de raciocínio judicial, desde a identificação de questões até a aplicação da lei.

O dataset e o código estão disponíveis publicamente para fomentar pesquisas futuras sobre modelagem de dependência causal e arquiteturas de raciocínio comparativo robusto.