Sabiá-4 Technical Report

1. Problema e Contexto

O relatório aborda a necessidade de modelos de linguagem (LLMs) de alta performance, especificamente otimizados para o Português do Brasil, com um foco especial no domínio jurídico. Modelos anteriores, embora úteis, apresentavam limitações em:

• Precisão na redação de documentos jurídicos e decisões judiciais.
• Capacidade de seguir instruções complexas em cenários de "zero-shot".
• Manipulação de contextos longos (acima de 32k tokens).
• Funcionalidades de agentes (uso de ferramentas, navegação web e chamadas de função).
• Custo-benefício para implantação em produção, onde modelos de ponta globais muitas vezes são proibitivamente caros ou menos otimizados para nuances locais.

2. Metodologia

Os modelos foram desenvolvidos através de um pipeline de treinamento de quatro estágios, utilizando TPUs do Google (v5p e v6e) e o framework JAX:

1. Pré-treinamento Contínuo (Continual Pre-training):
   • Adaptação de um modelo base de propósito geral para o português.
   • Utilização de um corpus geral em português combinado com um corpus jurídico brasileiro massivo.
   • Objetivo: Melhorar a compreensão do domínio legal e da linguagem nativa.
2. Extensão de Contexto Longo:
   • Treinamento específico para estender a janela de contexto para 128k tokens.
   • Uso de fontes de dados com documentos naturalmente longos para garantir a capacidade de retenção de informação em textos extensos.
3. Ajuste Fino Supervisionado (SFT):
   • Treinamento em um conjunto diversificado de instruções, cobrindo: chat, código, tarefas jurídicas, seguimento de instruções e chamadas de função (agentic tasks).
   • Desenvolvimento de dados sintéticos para melhorar a capacidade de chamadas de função e diálogos multi-turno.
4. Alinhamento de Preferência:
   • Refinamento do estilo de escrita e ajuste para nuances sutis da linguagem humana.
   • Foco em seguir formatos rigorosos exigidos em tarefas profissionais (como documentos legais).

3. Contribuições Principais

• Sabiá-4 e Sabiazinho-4: Novas gerações de modelos focados em custo-efetividade e alta performance em português.
• Especialização Jurídica: Melhoria significativa na precisão de redação de peças processuais e decisões judiciais, superando gerações anteriores.
• Capacidade Agêntica: Avanços na capacidade de usar ferramentas, navegar na web e completar tarefas complexas em ambientes simulados (como compra de ingressos e transferências bancárias).
• Eficiência de Custo: Posicionamento estratégico no gráfico de "Custo vs. Desempenho", oferecendo performance competitiva a uma fração do custo de modelos concorrentes internacionais.

4. Resultados e Avaliação

Os modelos foram avaliados em seis categorias principais de benchmarks, com resultados notáveis:

• Domínio Jurídico:
  • OAB-Bench (Advogado): O Sabiá-4 atingiu 7.49/10, superando modelos como Qwen3 e GPT-4.1 Mini, e ficando próximo ao GPT-5.2.
  • Magis-Bench (Juiz): Atingiu 5.08/10, demonstrando forte capacidade de raciocínio judicial.
  • Conhecimento de Leis: O Sabiá-4 alcançou 97.4% de acurácia em questões sobre legislação federal brasileira, superando significativamente concorrentes como o GPT-5.2 (86.3%) e o Qwen3 (65.9%).
• Contexto Longo:
  • Nos testes MRCR (Resolução de Co-referência Multi-turno), as novas gerações (Sabiá-4 e Sabiazinho-4) mostraram superioridade clara sobre as versões anteriores (Sabiá-3.1 e Sabiazinho-3), mantendo alta precisão em janelas de até 128k tokens.
• Seguimento de Instruções e Conversação:
  • Multi-IF: Alta precisão em seguir instruções acumuladas em conversas de múltiplos turnos.
  • BRACEval: Taxa de vitória contra o GPT-4o em conversas em português, com o Sabiá-4 atingindo 53.8% (vs 44.6% da versão anterior).
• Capacidades Agênticas:
  • Em benchmarks como Ticket-Bench e Pix-Bench, o Sabiá-4 demonstrou forte capacidade de planejar e executar cadeias de chamadas de ferramentas (ex: comprar ingressos, fazer Pix), com taxas de sucesso significativas.
• Custo vs. Desempenho:
  • O Sabiá-4 e o Sabiazinho-4 ocupam a região superior-esquerda do gráfico de custo-desempenho, oferecendo a melhor relação entre preço (ex: Sabiazinho-4 a $0.19/1M tokens de entrada) e acurácia média nos benchmarks.

5. Significado e Impacto

O relatório demonstra que é possível criar modelos de linguagem de classe mundial focados em idiomas específicos (como o Português Brasileiro) e domínios especializados (Jurídico) sem a necessidade de treinar modelos do zero com recursos computacionais massivos.

A estratégia de aprendizado contínuo em domínios específicos (especialmente o jurídico) provou ser altamente eficaz. Os modelos Sabiá-4 e Sabiazinho-4 estabelecem um novo padrão para aplicações em produção no Brasil, onde a precisão legal, o entendimento de contextos longos e a economia de custos são críticos. Eles são particularmente atraentes para cenários de RAG (Geração Aumentada por Recuperação) e automação de workflows jurídicos e administrativos.

O trabalho também sinaliza futuras direções, incluindo o lançamento de versões com contexto de 256k tokens e a integração de capacidades de raciocínio mais complexas.