💬 NLP

Nanbeige4.1-3B: A Small General Model that Reasons, Aligns, and Acts

O artigo apresenta o Nanbeige4.1-3B, um modelo de linguagem aberto e unificado de apenas 3 bilhões de parâmetros que, através de técnicas avançadas de modelagem de recompensa e aprendizado por reforço, alcança desempenho superior em raciocínio, alinhamento, geração de código e interações complexas com ferramentas, superando modelos anteriores de escala similar e até mesmo modelos significativamente maiores.

Autores originais: Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

Publicado 2026-02-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Chen Yang, Guangyue Peng, Jiaying Zhu, Ran Le, Ruixiang Feng, Tao Zhang, Xiyun Xu, Yang Song, Yiming Jia, Yuntao Wen, Yunzhi Xu, Zekai Wang, Zhenwei An, Zhicong Sun, Zongchao Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cozinheiro de cozinha pequena (um modelo de IA de apenas 3 bilhões de parâmetros). Até agora, a regra era: "Para cozinhar um banquete complexo, você precisa de uma cozinha gigante com centenas de chefs". Modelos grandes eram os únicos que conseguiam fazer tudo: escrever poemas, resolver equações difíceis, programar jogos e navegar na internet para encontrar informações.

Mas a equipe do Nanbeige (do Boss Zhipin) decidiu fazer um desafio: Eles criaram um "Super Chef de Cozinha Compacta" chamado Nanbeige4.1-3B.

Aqui está a história de como eles fizeram isso, usando analogias do dia a dia:

1. O Problema: O Chef Especialista vs. O Generalista

Antes, os cozinheiros pequenos eram especialistas em apenas uma coisa.

Um era ótimo em matemática, mas se você pedisse para ele navegar na internet para achar uma receita, ele se perdia.
Outro era ótimo em programação, mas escrevia textos estranhos e não entendia o que o cliente realmente queria.
Os cozinheiros gigantes (modelos de 30B ou 100B parâmetros) faziam tudo bem, mas eram caros e lentos.

O Nanbeige4.1-3B é o primeiro cozinheiro pequeno que faz tudo bem ao mesmo tempo: ele pensa, escreve código, navega na web e se alinha ao gosto humano, tudo com o tamanho de um modelo pequeno.

2. Como eles treinaram esse "Super Chef"? (O Segredo da Receita)

Eles não apenas deram mais comida para o modelo; eles mudaram a forma como ele aprendeu.

A. A Sala de Aula (SFT - Aprendizado Supervisionado)

Imagine que o modelo estava estudando em uma biblioteca. Eles pegaram livros de código, matemática e navegação na web e misturaram tudo.

O Truque: Eles não apenas leram os livros; eles praticaram em "livros gigantes" (contexto de 256k tokens). Isso é como dar ao aluno um livro de 1.000 páginas para ler de uma vez só, para que ele consiga lembrar de detalhes do início até o fim de uma conversa longa.

B. O Treinador de "Não Repetir" (RL Ponto a Ponto)

O modelo começou a cometer um erro comum: ele ficava repetindo as mesmas coisas ou falando demais (como um aluno que fica enrolando para não entregar a tarefa).

A Solução: Eles contrataram um treinador que dava pontos apenas por respostas diretas e limpas. Se o modelo falava besteira ou repetia, o treinador dizia "não". Isso ensinou o modelo a ser conciso e útil.

C. O Treinador de "Escolha do Melhor" (RL Pares)

Agora, o modelo sabia falar bem, mas precisava saber qual resposta era melhor.

O Jogo: Eles mostraram duas respostas para o treinador (uma do modelo e uma de um "gênio") e perguntaram: "Qual é a melhor?". O modelo aprendeu a imitar o "gênio" para ganhar pontos. Isso refinou a qualidade, fazendo-o parecer mais humano e inteligente.

D. O Treinador de "Código Eficiente" (Programação)

Para programar, não basta o código funcionar; ele precisa ser rápido.

A Regra de Ouro: Se o código funciona, o modelo ganha pontos. Mas, se o código funciona e é super rápido (como um carro esportivo vs. um caminhão lento), o modelo ganha pontos extras. Isso forçou o modelo a pensar em soluções inteligentes, não apenas em soluções que funcionam.

E. O Treinador de "Detetive" (Busca Profunda)

Esta é a parte mais impressionante. O modelo precisa resolver problemas complexos que exigem pesquisar na internet várias vezes (como um detetive).

O Desafio: A maioria dos modelos pequenos desiste depois de 2 ou 3 tentativas de pesquisa. O Nanbeige foi treinado para fazer 600 passos de pesquisa sem se perder.
Como? Eles criaram um mapa de "caminhos de pesquisa" (como um labirinto) e treinaram o modelo a não se desviar. Eles ensinaram o modelo a avaliar cada passo: "Essa busca me ajudou ou foi perda de tempo?". Isso permitiu que ele resolva problemas que antes exigiam modelos gigantes.

3. O Resultado: O Milagre do Pequeno Gigante

Os testes mostraram algo incrível:

O Nanbeige4.1-3B (pequeno) bateu modelos de 30B e até 80B (gigantes) em várias tarefas, como programação e raciocínio lógico.
Em competições reais de programação (LeetCode), ele ficou em 1º lugar em um dos desafios, superando modelos muito maiores.
Na busca na internet, ele consegue navegar por horas (600 turnos) para encontrar a resposta, algo que modelos pequenos normais nem conseguem começar.

Resumo em uma frase:

O Nanbeige4.1-3B é como um ferramentário de bolso que, graças a um treinamento inteligente e rigoroso, consegue fazer o trabalho de uma oficina inteira, provando que você não precisa ser gigante para ser genial.

Onde encontrar?
Eles liberaram o modelo para que qualquer pessoa possa usá-lo e estudar como eles fizeram isso. É como se eles tivessem aberto a porta da cozinha para todos verem o segredo do chef.

Resumo Técnico: Nanbeige4.1-3B

1. O Problema e o Contexto

Os modelos de linguagem pequenos (SLMs - Small Language Models), geralmente com menos de 10 bilhões de parâmetros, têm demonstrado desempenho impressionante em tarefas especializadas (como matemática ou geração de código). No entanto, eles frequentemente exibem capacidades fragmentadas:

Modelos focados em raciocínio falham em interações de longo prazo (como buscas profundas).
Modelos especializados em agentes ou código carecem de raciocínio geral robusto e alinhamento com preferências humanas.
Construir um modelo generalista unificado na escala de 3 bilhões de parâmetros que domine simultaneamente raciocínio, codificação e comportamento de agente (agentic) permanece um desafio aberto.

O objetivo deste trabalho é responder: Quão longe um modelo de 3B pode ser levado como generalista sem comprometer suas forças existentes?

2. Metodologia

Os autores propõem o Nanbeige4.1-3B, um modelo unificado construído sobre a base Nanbeige4-3B. A metodologia foca na otimização de três pilares principais através de uma receita de treinamento estruturada:

A. Capacidades Gerais (Raciocínio e Alinhamento)

SFT (Fine-Tuning Supervisionado) Aprimorado: Redesenho da mistura de dados, aumentando a proporção de dados de código e problemas desafiadores em matemática. A janela de contexto foi expandida de 32k/64k para 256k tokens para suportar cenários de longo horizonte.
RL Ponto a Ponto (Point-wise RL): Introdução de um modelo de recompensa treinado em dados de preferência humana para suprimir respostas redundantes e repetitivas, otimizando a estabilidade e a legibilidade.
RL Pareado (Pair-wise RL): Uso de comparações entre modelos fortes e fracos para refinar o alinhamento. Um regularizador de consistência de troca (swap-consistency) mitiga viés de posição, melhorando significativamente a qualidade em diálogos de múltiplas voltas.

B. Capacidade de Busca Profunda (Deep Search)

Síntese de Dados Complexos: Criação de um pipeline de dados baseado em grafos de entidades do Wikipedia (com atualizações recentes) e caminhadas aleatórias (random walks) para gerar perguntas multi-hop.
Julgamento por Volta (Turn-level Judgment): Um mecanismo de crítica avalia cada passo da interação do agente em três dimensões: solidez lógica, precisão na chamada de ferramentas e ganho informativo. Apenas trajetórias de alta fidelidade são usadas para treinamento.
Treinamento de Longo Horizonte: O modelo é treinado para executar até 600 chamadas de ferramentas em sequência, permitindo resolução estável de problemas complexos.

C. Capacidade de Codificação

Sistema de Julgamento Unificado: Combina execução em sandbox para verificação de correção funcional e um modelo instrutor para avaliação de complexidade temporal.
RL em Duas Etapas:
1. Correção: Otimização para maximizar a taxa de aprovação (pass rate) nos casos de teste.
2. Eficiência (Gated Time Reward): Uma recompensa de complexidade temporal é ativada apenas quando a solução é 100% correta. Isso incentiva o modelo a buscar algoritmos mais eficientes (ex: $O(N)$ em vez de $O(N \log N)$ ) após garantir a funcionalidade.

D. Receita de Treinamento Unificada
O processo segue uma cascata: SFT estendido (256k) $\rightarrow$ RL Ponto a Ponto $\rightarrow$ RL Pareado $\rightarrow$ RL de Código (2 etapas) $\rightarrow$ RL Agente Leve. Isso garante que o modelo mantenha especialização em domínios específicos enquanto emerge como um generalista equilibrado.

3. Principais Contribuições

Primeiro SLM Versátil: É, segundo os autores, o primeiro modelo de linguagem pequeno (3B) de código aberto a alcançar versatilidade simultânea em raciocínio, geração de código e comportamento de agente.
Mecanismo de Recompensa Híbrido: A combinação de modelagem de recompensa ponto a ponto e pareada, juntamente com recompensas de complexidade temporal "gated" (condicionais), resolve problemas de redundância e ineficiência algorítmica.
Capacidade de Busca Profunda em Pequena Escala: Demonstra que modelos compactos podem realizar buscas profundas e interações de ferramentas de longo horizonte (até 600 voltas), uma capacidade antes restrita a modelos de dezenas ou centenas de bilhões de parâmetros.
Dados Sintéticos de Alta Qualidade: A criação e abertura de um conjunto de dados sintético complexo para busca (ToolMind-Web-QA) e trajetórias de raciocínio.

4. Resultados Experimentais

O Nanbeige4.1-3B foi avaliado em benchmarks abrangentes, superando modelos de escala similar e competindo com modelos muito maiores:

Raciocínio e Alinhamento: Supera consistentemente o Qwen3-4B e o Qwen3-8B. Em benchmarks como Arena-Hard V2, atinge 73.2, superando o Qwen3-30B-A3B (60.2) e o Qwen3-32B (56.0).
Codificação: No LiveCodeBench-V6, alcança 76.9, superando significativamente o Qwen3-4B (57.4) e superando o Qwen3-30B-A3B (66.0).
Desafios de Algoritmo Real (LeetCode): Em competições semanais do LeetCode, o modelo alcançou uma taxa de aprovação de 85.0%, superando modelos de 32B e 30B, e alcançando o 1º lugar na Competição 487.
Busca Profunda (Deep Search): O modelo alcançou desempenho de ponta (SOTA) em benchmarks como GAIA (69.90) e xBench-DeepSearch-05 (75.00).
- Comparação: Seu desempenho é comparável a modelos especializados de busca (como Tongyi-DeepResearch-30B) e rivaliza com modelos fundacionais gigantes (>100B) como Minimax-M2 e DeepSeek-V3.2, enquanto modelos de 4B-8B da série Qwen falham drasticamente nessas tarefas.

5. Significado e Impacto

O trabalho redefine o potencial dos modelos de 3 bilhões de parâmetros. Ele prova que, com objetivos de treinamento bem alinhados e atribuição de crédito adequada (especialmente em tarefas de longo horizonte), modelos compactos podem:

Alcançar competência ampla e especialização forte simultaneamente.
Reduzir drasticamente o custo computacional para aplicações que exigem raciocínio complexo, geração de código eficiente e agentes autônomos.
Servir como uma base acessível para pesquisa em agentes de IA eficientes, democratizando o acesso a capacidades que antes exigiam infraestrutura massiva.

O modelo e os dados estão disponíveis de código aberto no HuggingFace, incentivando a comunidade a explorar o treinamento conjunto de raciocínio, codificação e comportamento de agente sob restrições estritas de capacidade.