Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study

Resumo Técnico: Fertilidade do Tokenizador e Desempenho Zero-Shot de Modelos Fundacionais em Textos Jurídicos Ucranianos

Declaração do Problema
Os modelos fundacionais exibem disparidades significativas em eficiência e desempenho ao processar textos jurídicos ucranianos em comparação com o inglês. O ucraniano, uma língua morfologicamente rica que utiliza o alfabeto cirílico, frequentemente sofre de tokenização subótima, levando a contagens infladas de tokens, custos de inferência mais elevados e janelas de contexto efetivas reduzidas. Embora existam avaliações de domínio geral, há uma falta de comparação sistemática sobre como diferentes modelos fundacionais se desempenham em tarefas jurídicas específicas e de alto risco dentro do domínio ucraniano. Os profissionais que constroem plataformas de tecnologia jurídica enfrentam incertezas quanto à seleção de modelos, pois o tamanho do modelo (contagem de parâmetros) pode não correlacionar-se com o desempenho em tarefas não inglesas e específicas de domínio.

Metodologia
O estudo, designado como "Experimento A" do programa de Treinamento de Testes LEX AI, avaliou sete modelos fundacionais de cinco provedores (Meta, Mistral AI, NVIDIA, Amazon e Qwen) acessados via AWS Bedrock. A avaliação utilizou um corpus de 300 decisões judiciais autênticas do Registro Estadual Unificado de Decisões Judiciais da Ucrânia (EDRSR), estratificadas entre jurisdições civil, criminal, comercial e administrativa. Após validação rigorosa de rótulos usando uma votação majoritária de três fontes (analizador regex, Claude Sonnet 4.5 e NVIDIA Nemotron Super 3), um subconjunto validado de 273 documentos foi utilizado para as métricas finais.

A avaliação mediu três dimensões principais:

1. Fertilidade do Tokenizador: A razão entre tokens de subpalavras e palavras delimitadas por espaços em amostras de documentos de 6.000 caracteres.
2. Desempenho da Tarefa: Desempenho zero-shot e few-shot em três tarefas:
   • Classificação do Tipo de Caso: Categorização jurisdicional de 4 classes.
   • Classificação do Resultado do Caso: Predição de 5 classes da disposição do caso (por exemplo, concedido, negado).
   • Extração de Normas Jurídicas: Extração estruturada em JSON de leis e artigos citados.
3. Análise de Custos: Custos totais de API incorridos durante a inferência, incluindo estudos de ablação sobre sensibilidade ao prompt e distribuição de exemplos.

Principais Contribuições

1. Benchmarking de Fertilidade do Tokenizador: O artigo quantifica uma variância de 1,6× na eficiência do tokenizador entre os modelos. Demonstra que o design do tokenizador é uma escolha ao nível do vocabulário independente da escala do modelo, com modelos da família Llama sendo significativamente mais eficientes do que modelos Qwen em texto ucraniano.
2. Desacoplamento de Desempenho vs. Escala: O estudo fornece evidências empíricas de que a contagem total de parâmetros é um mau preditor de desempenho em tarefas jurídicas ucranianas. Um modelo de 120B parâmetros (Nemotron Super 3) superou um modelo de 675B parâmetros (Mistral Large 3) em todas as tarefas por uma fração do custo.
3. O Efeito de Degradação Few-Shot: A pesquisa documenta um fenômeno contra-intuitivo onde o prompting few-shot degrada o desempenho em tarefas de classificação jurídica ucraniana. Para vários modelos, fornecer exemplos reduziu a precisão em até 26 pontos percentuais. Estudos de ablação confirmam que isso é intrínseco à complexidade morfológica das demonstrações ucranianas, e não um artefato da seleção de exemplos ou formulação do prompt.
4. Otimização Custo-Desempenho: Os autores fornecem uma classificação composta e uma arquitetura proposta de roteamento multi-modelo que otimiza tanto a qualidade quanto o custo, sugerindo que diferentes modelos devem ser implantados para diferentes subtarefas dentro de um pipeline jurídico.

Principais Resultados

• Eficiência do Tokenizador: O Llama 4 Maverick alcançou a maior eficiência (2,43 tokens/palavra), enquanto os modelos Qwen3 foram os menos eficientes (3,90 tokens/palavra), consumindo 60% mais tokens para entrada idêntica.
• Desempenho do Modelo:
  • NVIDIA Nemotron Super 3 alcançou a pontuação composta mais alta (83,1) e a melhor precisão zero-shot na classificação de resultados de casos (96,0%), superando o Mistral Large 3 (675B parâmetros totais) apesar de ter significativamente menos parâmetros ativos.
  • Llama 4 Maverick empatou na melhor classificação de tipo de caso (98,9%) ao menor custo ($0,81 para todo o experimento).
  • Llama 3.3 70B performou melhor na extração de normas jurídicas (F1 = 0,604), sugerindo que arquiteturas densas podem se destacar em tarefas de extração estruturada.
• Impacto Few-Shot: O prompting few-shot resultou em degradação de desempenho para 12 das 21 combinações modelo-tarefa. A queda mais severa foi observada no Qwen3 235B na classificação de resultados de casos (−26,0 pontos percentuais). A ablação estratificada confirmou que até exemplos com distribuição correspondida falharam em melhorar o desempenho, apoiando a hipótese de interferência morfológica.
• Eficiência de Custos: O ensemble roteado (usando Llama 4 Maverick para classificação, Nemotron para resultados e Llama 3.3 para extração) alcançou uma pontuação composta mais alta (85,1) com 37% menos custo do que usar apenas o Nemotron.

Significado e Alegações
O artigo alega que, para profissionais que implantam modelos fundacionais em línguas morfologicamente ricas com alfabeto cirílico como o ucraniano, heurísticas padrão como "modelos maiores são melhores" ou "few-shot é sempre superior" são inválidas. Os autores afirmam que:

1. A análise do tokenizador deve preceder a seleção do modelo para evitar inflação de custos desnecessária e redução da janela de contexto.
2. O prompting zero-shot deve ser a linha de base padrão para tarefas jurídicas ucranianas, pois exemplos few-shot podem interferir ativamente no desempenho do modelo devido à morfologia rica da língua.
3. A seleção do modelo deve ser específica à tarefa. Nenhum modelo único domina todas as tarefas de PLN jurídico; uma estratégia de roteamento que aproveita as forças específicas de diferentes modelos (por exemplo, usar um modelo mais barato e eficiente para classificação simples e um modelo mais capaz para raciocínio complexo) oferece o equilíbrio ótimo entre qualidade e custo.
4. Benchmarking abrangente e específico de língua é viável e acessível, com o custo total desta avaliação extensa (incluindo ablações) somando aproximadamente $60.

O estudo conclui que benchmarks centrados no inglês e contagens de parâmetros são proxies insuficientes para desempenho em domínios jurídicos não ingleses, instando a comunidade a priorizar avaliações específicas de domínio e conscientes da língua antes da implantação.