Resumo Técnico: Explorando Modelos de Linguagem Grandes Leves para Geração de Visão Judicial

Definição do Problema

A Geração de Visão Judicial Criminal (CVG) é uma tarefa crítica na Inteligência Artificial Jurídica (Legal AI) que envolve a geração automática da "visão judicial"—o raciocínio judiciário que justifica uma sentença final—com base nos fatos do caso. Esta tarefa é essencial para garantir transparência e interpretabilidade jurídicas. No entanto, a CVG permanece desafiadora devido à complexidade da linguagem jurídica, à necessidade de consistência lógica e ao requisito de incorporar com precisão conhecimento estatutário e detalhes factuais.

Embora Redes Neurais Profundas (DNNs) tenham sido aplicadas à CVG, elas frequentemente lutam com raciocínio jurídico complexo e dependências de longo alcance. Por outro lado, Modelos de Linguagem Grandes (LLMs) oferecem capacidades superiores de geração e raciocínio. Apesar disso, há uma falta de pesquisa sistemática sobre LLMs leves (especificamente aqueles com menos de 2 bilhões de parâmetros) no domínio jurídico. Lacunas-chave incluem entender como diferentes arquiteturas e tamanhos de modelo afetam a qualidade da CVG e a previsão de acusações subsequentes, comparar LLMs leves contra DNNs tradicionais e avaliar se gerar visões judiciais antes da previsão de acusações melhora a precisão em comparação com a previsão direta.

Metodologia

Os autores conduziram um estudo sistemático utilizando um novo framework de avaliação desenvolvido, o CVGEvalKit, que suporta três conjuntos de dados públicos: C3VG, LCVG e CCVG. A metodologia envolveu os seguintes componentes:

1. Seleção de Modelos: O estudo avaliou vários LLMs leves de código aberto em diferentes arquiteturas (Qwen, Llama, Gemma, InternLM) e tamanhos (variando de 0,5B a 1,8B parâmetros). Estes foram comparados com baselines DNN tradicionais (AttS2S, Transformer, C3VG, LeGen).
2. Estratégia de Treinamento: Todos os modelos foram ajustados finamente usando um conjunto de treinamento misto derivado dos três conjuntos de dados. Para LLMs, os autores empregaram Adaptação de Baixo Rank (LoRA) para ajuste fino eficiente em parâmetros, congelando pesos originais e treinando apenas matrizes de atualização de baixo rank.
3. Paradigmas de Tarefa: Dois paradigmas para previsão de acusações foram investigados:
   • CVG Primeiro: O modelo gera a visão judicial primeiro, depois prevê a acusação com base nessa visão gerada.
   • Diretamente: O modelo prevê a acusação diretamente a partir dos fatos do caso sem uma etapa intermediária de geração.
4. Métricas de Avaliação:
   • Geração de Visão Judicial: Medida usando pontuações ROUGE-1, ROUGE-2, ROUGE-L e BLEU.
   • Previsão de Acusações: Medida usando Precisão (Acc) e Macro-F1 (MF1). Uma previsão foi considerada correta se a visão judicial gerada contivesse o rótulo de acusação correto.

Principais Contribuições

O artigo faz quatro contribuições primárias:

1. Análise Arquitetural: Uma análise sistemática das diferenças de desempenho entre várias arquiteturas de LLMs leves (por exemplo, Qwen, Llama, Gemma, InternLM) no contexto da geração de texto jurídico.
2. Efeitos de Escala: Uma investigação sobre como o tamanho do modelo (dentro da faixa <2B) influencia a qualidade da CVG e a precisão da previsão de acusações.
3. Comparação DNN vs. LLM: Uma análise comparativa demonstrando as vantagens e limitações de LLMs leves sobre DNNs tradicionais para tarefas judiciais.
4. Avaliação de Integração de Tarefas: Uma avaliação do impacto da estratégia "CVG Primeiro" versus previsão direta de acusações, revelando como etapas intermediárias de raciocínio afetam a precisão subsequente.

Resultados Experimentais

Os experimentos produziram várias descobertas significativas:

• Impacto da Arquitetura: A arquitetura do modelo influencia significativamente o desempenho. O Qwen3-1.7B geralmente superou outros modelos zero-shot (Llama, InternLM) nas métricas ROUGE e BLEU, provavelmente devido ao seu design de seguimento de instruções. O InternLM2.5-1.8B-Chat alcançou o maior desempenho após ajuste fino (ROUGE-L: 68,63), embora tenha lutado em configurações zero-shot.
• Tamanho do Modelo: Em configurações zero-shot, modelos maiores (1,7B) superaram significativamente os menores (0,6B) na CVG (aproximadamente 7x de melhoria no ROUGE). No entanto, após o ajuste fino, a lacuna de desempenho estreitou-se, sugerindo que a adaptação específica do domínio pode compensar o tamanho dos parâmetros. Para a previsão de acusações, o efeito do tamanho foi menos pronunciado em zero-shot, mas tornou-se mais relevante após o ajuste fino. Notavelmente, os ganhos de desempenho não foram lineares abaixo do limiar de 1B; melhorias tornaram-se consistentes apenas além de 1 bilhão de parâmetros.
• LLMs vs. DNNs: LLMs leves ajustados finamente superaram consistentemente as baselines DNN tradicionais. Por exemplo, o InternLM2.5-1.8B-Chat(FT) alcançou um ganho de ~32% no ROUGE-L e ~36% no Macro-F1 sobre a baseline DNN mais forte (C3VG).
• CVG Primeiro vs. Previsão Direta: A estratégia "CVG Primeiro" mostrou resultados mistos. Para modelos com ≤1B parâmetros (por exemplo, Qwen3-0.6B, Gemma3-1B-IT), gerar a visão judicial primeiro melhorou a precisão da previsão de acusações. No entanto, para modelos leves maiores (>1B, por exemplo, Qwen3-1.7B, InternLM2.5-1.8B-Chat), essa abordagem de dois passos frequentemente levou à degradação do desempenho, sugerindo que modelos maiores performam melhor quando focados em uma única tarefa de previsão bem definida.

Significado e Alegações

O artigo alega que LLMs leves possuem potencial significativo para aplicações de IA judiciária, particularmente quando ajustados finamente em dados específicos do domínio. O estudo destaca que:

• Paradigmas de treinamento e arquiteturas são determinantes mais críticos de desempenho do que o tamanho do modelo sozinho dentro da faixa leve.
• O ajuste fino é essencial para que LLMs leves superem DNNs tradicionais tanto na qualidade de geração quanto na precisão de tarefas subsequentes.
• A estratégia de tarefa importa: A decisão de gerar raciocínio intermediário (visões judiciais) antes de prever acusações deve ser adaptada à capacidade do modelo; modelos menores se beneficiam da decomposição, enquanto modelos leves maiores podem sofrer com a complexidade adicional.

Os autores introduzem o CVGEvalKit para facilitar pesquisas futuras, fornecendo um framework padronizado para avaliar tanto a qualidade de geração quanto o raciocínio jurídico subsequente. Eles reconhecem limitações, notando que suas descobertas são atualmente específicas para conjuntos de dados jurídicos chineses e modelos leves, e podem não generalizar para outras línguas, sistemas jurídicos ou escalas maiores de parâmetros sem investigação adicional.