Ayn: A Tiny yet Competitive Indian Legal Language Model Pretrained from Scratch

O artigo apresenta o Ayn, um modelo de linguagem minúsculo (88M parâmetros) pré-treinado do zero para o domínio jurídico indiano, que demonstra superar modelos grandes (até 8B parâmetros) em tarefas específicas desse setor e manter competitividade em tarefas gerais, desafiando a necessidade de modelos massivos para aplicações especializadas.

O essencial

Imagine que você precisa resolver um problema muito específico: entender e prever o resultado de casos jurídicos na Índia. A maneira padrão de fazer isso hoje em dia é usar "Gigantes" da Inteligência Artificial (chamados de Grandes Modelos de Linguagem ou LLMs).

Esses Gigantes são como elefantes: eles são incrivelmente inteligentes, sabem de tudo (história, culinária, leis de vários países), mas são pesados, lentos, consomem muita energia (como um elefante que precisa de toneladas de comida) e são caros de manter.

O artigo que você enviou apresenta uma solução diferente: o AYN.

O que é o AYN?

O AYN é um modelo de linguagem "minúsculo" (Tiny Language Model). Pense nele como um formiga especialista.

• Tamanho: Enquanto os elefantes (LLMs) têm bilhões de "cérebros" (parâmetros), a formiga AYN tem apenas 88 milhões. É cerca de 80 vezes menor que os maiores modelos.
• Foco: Em vez de tentar saber tudo sobre o mundo, a formiga AYN foi treinada exclusivamente para ser uma especialista em leis indianas. Ela só "comeu" documentos do Supremo Tribunal da Índia, a Constituição e o Código Penal Indiano.

A Grande Descoberta: A Formiga Vence o Elefante

A equipe de pesquisa fez um teste curioso: eles perguntaram para a formiga (AYN) e para vários elefantes (modelos de 1 bilhão a 8 bilhões de parâmetros) para prever o resultado de casos jurídicos e resumir textos longos.

O resultado foi surpreendente:

1. Na previsão de julgamentos: A formiga AYN foi mais precisa do que todos os elefantes, inclusive os que eram 80 vezes maiores.
   • Analogia: Imagine um elefante tentando adivinhar o que vai acontecer em uma partida de cricket local, e uma formiga que vive no estádio e conhece cada jogador. A formiga ganha porque conhece os detalhes específicos, enquanto o elefante sabe de tudo, mas não do "jeito" local.
2. No resumo de textos: A formiga conseguiu resumir documentos jurídicos tão bem quanto elefantes que eram 30 vezes maiores.

Por que a Formiga é tão boa? (O Segredo do "Dicionário")

Um dos maiores problemas ao usar modelos gigantes para leis indianas é a linguagem. O direito indiano usa palavras arcaicas, frases longas e misturas de idiomas (inglês com termos locais).

Os modelos gigantes usam um "dicionário" (tokenizador) genérico, feito para o inglês americano ou britânico. Quando eles leem uma lei indiana, eles quebram as palavras em pedaços sem sentido, como se alguém lesse "Constituição" e a dividisse em "Con", "sti", "tu", "i", "ção". Isso confunde o modelo.

O AYN, no entanto, foi construído do zero com um dicionário personalizado para leis indianas.

• Analogia: É como se o AYN tivesse um tradutor que entende perfeitamente gírias locais e termos jurídicos complexos, enquanto o elefante está tentando ler um livro em uma língua que ele não domina perfeitamente.

Economia e Sustentabilidade

Além de ser mais inteligente na tarefa específica, a formiga é muito mais barata e ecológica:

• Custo: Treinar o AYN custou menos de 500 dólares. Treinar um elefante pode custar milhões.
• Energia: O treinamento do AYN consumiu energia equivalente a apenas 0,02 toneladas de CO2. É como dirigir um carro elétrico por algumas horas, enquanto treinar um modelo gigante seria como voar de avião de um continente para outro várias vezes.
• Hardware: Foi treinado em uma única placa de vídeo (GPU) por alguns dias. Os gigantes precisam de centenas de placas trabalhando juntas.

E o que ela não sabe?

Como a formiga é especialista, ela não é uma generalista. Se você perguntar para o AYN sobre culinária francesa ou sobre a história da Roma Antiga, ela pode não saber responder tão bem quanto um elefante. Ela é focada no seu "jardim" (o sistema jurídico indiano).

Conclusão

O artigo nos ensina uma lição valiosa: nem sempre o maior é o melhor.

Para problemas específicos (como leis de um país específico), criar um modelo pequeno, treinado do zero com dados limpos e um vocabulário adaptado, pode ser muito mais eficiente, barato e preciso do que tentar adaptar um modelo gigante que foi treinado em tudo, menos no que você realmente precisa.

O AYN é a prova de que, às vezes, você não precisa de um elefante para carregar uma caixa; você precisa de uma formiga que saiba exatamente onde a caixa está.

Resumo técnico

Resumo Técnico: AYN – Um Modelo de Linguagem Indiano Especializado em Direito

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) atuais, embora eficazes, apresentam desafios significativos: alto custo de treinamento e inferência, viés ocidental (devido ao treinamento predominante em dados de sistemas jurídicos ocidentais) e ineficiência em domínios específicos com dados escassos, como o direito indiano. O direito indiano possui características únicas, incluindo vocabulário arcaico, estruturas de citação complexas, sentenças longas e code-switching multilíngue. Além disso, os tokenizadores genéricos frequentemente fragmentam termos jurídicos específicos, prejudicando a aprendizagem do modelo.

O artigo questiona se é possível substituir LLMs massivos por Modelos de Linguagem Minúsculos (TLMs) com menos de 100 milhões de parâmetros, pré-treinados do zero em um domínio específico, para tarefas jurídicas, oferecendo uma alternativa mais acessível, eficiente e equitativa.

2. Metodologia

Os autores desenvolveram o AYN, um modelo decodificador-only com 88 milhões de parâmetros, pré-treinado exclusivamente em dados do domínio jurídico indiano.

• Corpus de Pré-treinamento:

  • Extensão do corpus ILDC (Indian Legal Documents Corpus).
  • Adição de 3.046 casos da Suprema Corte da Índia (maio de 2020 a dezembro de 2023).
  • Inclusão da Constituição da Índia e do Código Penal Indiano.
  • Total: ~142,6 milhões de palavras.
  • O processo de limpeza envolveu a remoção de metadados (números de caso, datas, nomes de juízes) e a preservação das seções de decisão.

• Tokenização Especializada:

  • Desenvolvimento de um tokenizador BPE (Byte-Pair Encoding) treinado do zero especificamente para textos jurídicos indianos.
  • O tokenizador utiliza normalização NFC e trata dígitos como tokens individuais.
  • Vocabulário: 3.500 tokens.
  • Vantagem: Diferente de tokenizadores genéricos (como o do LLaMA-2), o tokenizador do AYN preserva termos jurídicos compostos (ex: "hereinafter", "statutory bar", "jurisdiction") como unidades semânticas coesas, evitando fragmentação excessiva.

• Arquitetura e Treinamento:

  • Baseado na arquitetura Transformer (decoder-only), utilizando RMSNorm, SwiGLU e weight tying.
  • Dimensões: 768 (hidden size), 12 camadas, 2048 (FFN hidden size).
  • Contexto: Treinado com contexto de 8192 tokens em uma única GPU A100, utilizando uma técnica de interpolação de RoPE (Rotary Position Embeddings) com um fator de redução (shrinking factor) de 32 para contornar limitações de memória.
  • Recursos: Treinamento de 185 horas em uma única A100, consumindo apenas 0,0196 tCO2eq.

3. Principais Contribuições

1. Recurso de Dados: Criação de um novo corpus de 142,6 milhões de palavras focado na Suprema Corte da Índia, incluindo documentos constitucionais e penais.
2. Tokenizador Jurídico: Desenvolvimento de um tokenizador BPE especializado que melhora a representação semântica de jargão legal indiano.
3. Modelo AYN: Lançamento de um TLM de 88M parâmetros, pré-treinado do zero, otimizado para hardware limitado e com baixo impacto ambiental.
4. Avaliação Abrangente: Comparação empírica do TLM contra LLMs de 1B a 8B parâmetros em tarefas jurídicas e benchmarks gerais.

4. Resultados e Desempenho

O modelo foi avaliado em duas tarefas jurídicas principais e em benchmarks gerais de NLP:

• Tarefa 1: Predição de Julgamento de Casos (Classificação)

  • Cenário Zero-Shot: O AYN (88M) superou todos os LLMs comparados (incluindo LLaMA-3 8B e modelos continuamente pré-treinados como CPTLlama-2 7B), alcançando 52% de precisão e 0,5037 de Macro-F1. O melhor LLM comparado atingiu apenas 50,58%.
  • Com Classificador Discriminativo: Ao adicionar uma cabeça de classificação simples, o AYN atingiu 69,69% de precisão, superando significativamente os LLMs (que estagnaram em torno de 60-63%).
  • Conclusão: O pré-treinamento denso no domínio jurídico permite que o modelo capture representações específicas superiores às de modelos maiores treinados em dados gerais ou com fine-tuning limitado.

• Tarefa 2: Resumo Abstrativo de Casos (Geração)

  • O AYN rivalizou com LLMs de até 30 vezes seu tamanho (ex: LLaMA-3.2 3B) na geração de resumos de casos da Suprema Corte.
  • Obteve os melhores resultados em métricas de sobreposição textual (ROUGE-1, BLEU, METEOR) e semântica (BERTScore) em comparação com modelos de 1B e 3B parâmetros.
  • Não superou modelos acima de 7B parâmetros nesta tarefa específica, mas manteve-se competitivo com uma fração mínima do custo computacional.

• Benchmarks Gerais (MMLU, LogiQA, etc.)

  • Apesar de treinado apenas em dados jurídicos, o AYN demonstrou capacidade de generalização, superando em média seis LLMs de tamanho similar ou maior (como Pythia 6.9B e LLaMA 7B) em tarefas de raciocínio lógico e compreensão de linguagem, embora fique atrás dos maiores modelos (8B+).

5. Significância e Conclusão

O trabalho demonstra que modelos pequenos e especializados (TLMs) podem superar ou rivalizar com modelos massivos em domínios específicos, especialmente quando:

1. O pré-treinamento é feito do zero em dados de alta qualidade e domínio específico.
2. O tokenizador é adaptado para a terminologia do domínio.
3. O custo de treinamento e a pegada de carbono são fatores críticos (o AYN foi treinado com menos de $500 e 0,0196 tCO2eq).

O AYN oferece uma solução viável para a democratização de ferramentas de IA jurídica na Índia e em outras jurisdições sub-representadas, reduzindo a dependência de modelos ocidentais grandes e caros, e mitigando vieses culturais e linguísticos. O estudo sugere que, para tarefas de domínio restrito, a especialização e a eficiência de dados superam a simples escala de parâmetros.