Quecto-V1: Empirical Analysis of 8-bit Quantized Small Language Models for On-Device Legal Retrieval

Resumo Técnico: Quecto-V1

1. O Problema: A "Trilema" do Legal AI

O artigo identifica um conjunto de barreiras críticas que impedem o acesso democrático à inteligência jurídica, especialmente em ambientes com recursos limitados (como estudantes de direito, pequenos escritórios e regiões com baixa conectividade na Índia). O problema é caracterizado por uma "Trilema":

• Lacuna de Acessibilidade: Sistemas jurídicos de ponta dependem de APIs em nuvem caras ou bancos de dados proprietários, inacessíveis em regiões de baixa banda.
• Paradoxo de Privacidade: Consultas jurídicas contêm dados sensíveis de clientes. O envio desses dados para processamento em nuvem de terceiros viola o sigilo advogado-cliente e normas de soberania de dados.
• Barreira Computacional: Modelos de Linguagem de Grande Escala (LLMs) modernos (ex: Llama-3-70B) exigem GPUs empresariais caras para inferência, tornando-os inviáveis para hardware de consumo (CPUs comuns).

Além disso, modelos generalistas tendem a alucinar ao citar números de seções específicas e não possuem a densidade léxica necessária para o "Legalese" (linguagem jurídica complexa).

2. Metodologia

A solução proposta, Quecto-V1, é um Modelo de Linguagem Pequeno (SLM) de domínio específico, projetado para funcionar totalmente offline em dispositivos de consumo.

• Arquitetura e Treinamento:

  • Baseado em uma configuração personalizada do GPT-2 Small (124 milhões de parâmetros, 12 camadas, dimensão oculta de 768).
  • Treinamento do Zero: Diferente de modelos que fazem fine-tuning em pesos pré-treinados, o Quecto-V1 foi inicializado com pesos aleatórios (distribuição Gaussiana). Isso garante que todo o raciocínio jurídico derive exclusivamente do corpus de treinamento, sem viés de conhecimento geral da web.
  • Corpus de Dados: Treinado exclusivamente em estatutos jurídicos indianos, incluindo o Código Penal Indiano (IPC), o Código de Processo Criminal (CrPC) e a Constituição da Índia.
  • Hiperparâmetros: Utilizou o otimizador AdamW, warmup linear (10% dos passos) seguido de decaimento cosinoidal, e treinamento de precisão mista (FP16) para otimização de memória em uma GPU NVIDIA T4.

• Protocolo de Quantização:

  • Para viabilizar a execução em CPUs de consumo, o modelo foi convertido para o formato GGUF usando a biblioteca llama.cpp.
  • Aplicou-se a quantização Q8_0 (8-bit Simétrica). Esta abordagem foi escolhida por oferecer um equilíbrio "Pareto Ótimo" entre compressão e fidelidade, evitando as degradações severas de raciocínio comuns em quantizações de 4 bits.
  • A quantização mapeia pesos de ponto flutuante de 32 bits para inteiros assinados de 8 bits usando escalas por bloco.

3. Contribuições Principais

• Democratização da Inteligência Jurídica: Prova que um modelo SLM (124M parâmetros) pode superar modelos muito maiores em tarefas de recuperação específica de domínio.
• Eficiência de Recursos: Redução drástica da pegada de memória para < 150 MB, permitindo execução offline em laptops e dispositivos móveis sem necessidade de GPU.
• Validação de Especialização vs. Escala: Demonstra empiricamente que, para tarefas de recuperação de definições estatutárias, a especificidade do domínio é mais valiosa do que a escala massiva do modelo.
• Privacidade por Design: Elimina a necessidade de enviar dados sensíveis para a nuvem, resolvendo o paradoxo de privacidade.

4. Resultados e Análise Comparativa

Os experimentos compararam o Quecto-V1 com o GPT-2 Base (vanilla) e o TinyLlama-1.1B (modelo geral).

• Desempenho em Tarefas Jurídicas:

  • Precisão na Definição Legal: Quecto-V1 alcançou 88,2% de precisão, superando o TinyLlama (45,0%) e o GPT-2 Base (12,5%).
  • Taxa de Alucinação: Reduzida para **< 15%** no Quecto-V1, comparado a >60% no GPT-2 e 30% no TinyLlama.
  • Eficiência de Parâmetros: Com 10x menos parâmetros que o TinyLlama, o Quecto-V1 superou-o em 43,2% em tarefas de recuperação jurídica específica.

• Impacto da Quantização (Estudo de Ablação):

  • Redução de Tamanho: De 498 MB (FP32) para 132 MB (Q8_0), uma redução de 73,5%.
  • Velocidade de Inferência: Aumentou 2,5x (de 45 ms/token para 18 ms/token) em CPUs.
  • Degradação de Desempenho: A precisão de correspondência exata caiu apenas 2,5% (de 91,0% para 88,5%) e a perplexidade teve um aumento negligenciável (+0,53).

5. Significado e Conclusão

O artigo conclui que a hipótese de "Escala é tudo o que você precisa" não se aplica a tarefas jurídicas altamente especializadas. O Quecto-V1 oferece uma alternativa viável, privada e de baixo custo para a recuperação de leis e penalidades, preenchendo a lacuna entre APIs de nuvem de alta latência e as necessidades imediatas de profissionais em ambientes restritos.

Trabalhos Futuros Propostos:

• Integração de RAG (Geração Aumentada por Recuperação) com bancos de dados vetoriais para reduzir alucinações e fornecer citações em tempo real.
• Destilação de Conhecimento de modelos maiores (ex: Llama-3-8B) para melhorar o raciocínio lógico do SLM.
• Expansão para suporte multilíngue (Hindi, Tamil, Marathi) e inclusão de jurisprudência (decisões da Suprema Corte) no corpus de treinamento.

Limitação Reconhecida: O modelo é estritamente um motor de recuperação e conclusão baseado no texto treinado; não substitui o aconselhamento jurídico profissional e carece de conhecimento de mundo geral de modelos maiores.