🤖 AI

Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge

O artigo apresenta o Wnuan, um pipeline de pós-treinamento de três estágios que adapta efetivamente grandes modelos de linguagem ao conhecimento proprietário de empresas ao alcançar uma taxa de respostas aceitáveis de 91,51% no WnuanBench, enquanto quantifica o compromisso associado nas capacidades gerais de seguimento de instruções.

Autores originais: Xiaofeng Shi, Xiaosong Qiu, Wenxin Ma, Qian Kou, Yiming Pan, Longbin Yu, Ying Liu, Haiping Wang, Hua Zhou

Publicado 2026-08-04

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaofeng Shi, Xiaosong Qiu, Wenxin Ma, Qian Kou, Yiming Pan, Longbin Yu, Ying Liu, Haiping Wang, Hua Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um adolescente brilhante e culto a administrar um negócio muito específico e complicado. Este adolescente já leu quase todos os livros da biblioteca pública e consegue conversar sobre qualquer assunto, da história à programação. No entanto, ele nunca viu os manuais de regras internos, manuais de segurança ou arquivos de projetos secretos da empresa. Se você apenas pedir que ele adivinhe as respostas com base no que sabe do mundo exterior, ele pode parecer confiante, mas errar os detalhes ou, pior, inventar fatos que parecem reais, mas não são verdadeiros (um problema que especialistas chamam de "alucinação").

Este é o desafio do Questionamento de Respostas Empresariais (Enterprise Question Answering). As empresas possuem montanhas de documentos privados que contêm as "respostas reais", mas seus modelos de IA não os conhecem. O objetivo é ensinar esses segredos privados à IA sem fazê-la esquecer como ser um assistente útil, educado e lógico. É um equilíbrio delicado: se você ensinar demais sobre a empresa, ela pode deixar de ser um bom assistente geral; se não ensinar o suficiente, ela não conseguirá realizar seu trabalho. O artigo que você está prestes a ler explora uma receita inteligente de três etapas para resolver esse quebra-cabeça, transformando uma IA de propósito geral em um especialista empresarial sem perder a sanidade.

A Receita Wnuan: Ensinando uma IA a Ser um Especialista de Empresa

Conheça o Wnuan, um novo pipeline de treinamento projetado para transformar uma IA geral em um especialista que conhece os documentos privados de uma empresa de ponta a ponta. Pense na IA não como um estudante decorando para uma prova, mas como um novo funcionário que precisa aprender o manual da empresa, os protocolos de segurança e o histórico de projetos, tudo isso enquanto se lembra de como ser um ser humano educado.

Os autores deste artigo construíram um acampamento de treinamento de três estágios para sua IA, que eles chamam de Wnuan. Veja como a jornada se desenrola, passo a passo.

Passo 1: Transformando o Manual em um Show de Perguntas e Respostas

Primeiro, a equipe teve que transformar milhares de documentos empresariais secos e entediantes (como PDFs de regras de segurança ou especificações técnicas) em algo do qual a IA pudesse realmente aprender. Você não pode simplesmente alimentar a IA com um manual de 500 páginas e esperar que ela o memorize. Em vez disso, eles usaram um processo chamado Document-to-QA (Documento-para-QA).

Imagine pegar um livro de regras denso e fazer com que um editor inteligente transforme cada regra em um cartão de memória de "Pergunta e Resposta". Se a regra diz: "Todos os funcionários devem usar capacetes na Zona B", o sistema cria um cartão que pergunta: "O que você deve usar na Zona B?" e fornece a resposta. Eles fizeram isso para mais de 220.000 exemplos! Eles até fizeram a IA reescrever algumas respostas para garantir que soassem exatamente como a IA específica que estavam treinando. Isso criou um enorme baralho de quiz personalizado e adaptado aos segredos da empresa.

Passo 2: A Pausa de "Replay"

Agora vem a parte difícil. Se você apenas estudar o manual da empresa, pode esquecer como conversar com as pessoas ou resolver problemas gerais. Isso é chamado de "esquecimento catastrófico". Para evitar isso, a equipe usou uma técnica chamada General-Data Replay (Replay de Dados Gerais).

Pense nisso como uma sessão de estudo onde o aluno estuda o manual da empresa por um tempo, mas depois faz uma pausa para conversar sobre tópicos gerais como esportes, ciência ou enigmas de lógica. O artigo descobriu que misturar cerca de 48% de dados de conversas gerais com os dados da empresa era o "ponto ideal". Isso manteve a IA inteligente e educada enquanto ela aprendia as regras da empresa. Sem essa pausa, a IA teria se tornado uma ótima especialista da empresa, mas uma péssima conversadora.

Passo 3: O Treino de "Erro Residual"

Após os dois primeiros passos, a IA já estava muito boa, mas ainda cometia erros. Ela acertava as perguntas fáceis, mas tropeçava nas difíceis. É aqui que entra o terceiro estágio, o Aprendizado por Reforço (RL) de Erro Residual.

Em vez de reestudar todo o baralho de perguntas, a equipe focou especificamente nas perguntas que a IA errou (os "erros residuais"). Eles trataram esses erros como um treinador focando nos pontos fracos de um atleta. Eles usaram um sistema de recompensa especial para ensinar a IA como corrigir esses erros específicos. É como dizer: "Você acertou os problemas matemáticos fáceis, mas vamos treinar intensamente nesses três problemas de álgebra complicados até você dominá-los".

Os Resultados: Uma Grande Vitória com um Pequeno Custo

Os resultados desse treinamento de três estágios foram impressionantes. Antes de qualquer treinamento, a IA (chamada de Wnuan-Base) conseguia dar respostas aceitáveis para apenas 52,76% das perguntas de seu conjunto de testes, chamado Wnuan-Bench.

Após o Passo 2 (SFT com Replay): A pontuação saltou para 80,06%. A IA agora era um funcionário sólido.
Após o Passo 3 (RL de Erro Residual): A pontuação subiu ainda mais para 91,51%. A IA havia dominado os segredos da empresa.

A equipe também verificou se a IA havia esquecido como ser uma assistente geral. Eles descobriram que, embora a IA tenha ficado ligeiramente pior em seguir instruções muito específicas e complexas (uma queda de cerca de 5 pontos em um benchmark geral), ela não perdeu sua inteligência geral. A troca valeu a pena: a IA tornou-se uma especialista de empresa muito melhor.

O Que o Artigo Descarta (e o Que Não Descarta)

Os autores foram muito cuidadosos ao testar suas ideias. Eles não apenas suporam que focar em erros era melhor; eles provaram.

Focar em erros funciona: Eles compararam seu método de "Erro Residual" (focando apenas em respostas erradas) contra outros dois métodos: estudar tudo (o pool completo) e estudar uma mistura aleatória de perguntas. O método de "Erro Residual" venceu, superando o método aleatório por 2,97 pontos e o pool completo por 3,11 pontos. Isso sugere que, uma vez que a IA conhece o básico, treinar intensamente seus pontos fracos específicos é a maneira mais eficiente de aprender.
A Recuperação (Retrieval) não é uma solução mágica: A equipe também testou um truque comum chamado RAG (Geração Aumentada por Recuperação), onde a IA tem permissão para procurar respostas em um banco de dados durante o teste. Surpreendentemente, para a IA totalmente treinada, a busca por respostas na verdade a tornou pior em alguns casos. A IA já havia aprendido o material tão bem que tentar procurá-lo a confundia. Isso sugere que, para este tipo de treinamento específico, é melhor ter o conhecimento "incorporado" do que procurá-lo sob demanda.
Não é uma cura universal: O artigo admite que este método funciona muito bem para estes documentos internos da empresa. Não afirma que resolve todos os problemas de IA do mundo. Além disso, a IA ainda é projetada para ser uma ajudante que humanos verificam, não um robô que toma decisões finais de segurança ou contratação por conta própria.

A Conclusão

O artigo Wnuan nos mostra um caminho claro para criar especialistas de IA. Ao transformar documentos em quizzes, misturar conversas gerais para manter a IA equilibrada e, em seguida, treinar especificamente nos erros que ela comete, você pode transformar um robô de propósito geral em um insider altamente qualificado da empresa.

Os autores sugerem que essa abordagem "em estágios" é a chave: primeiro ensine o básico, depois refine os pontos fracos. Embora a IA perca um pouco de sua capacidade de seguir instruções complexas, o ganho massivo de precisão (de 52,76% para 91,51%) torna essa uma estratégia vencedora para empresas que precisam que sua IA conheça as regras, os procedimentos e os segredos do negócio. É um lembrete de que, às vezes, a melhor maneira de aprender não é estudar tudo novamente, mas focar intensamente no que você errou.

Estágio II: SFT com Replay de Dados Gerais
- Modelo Base: O pipeline começa com o Qwen3-32B, que os autores denominam como Wnuan-Base.
- Treinamento: O modelo passa por um SFT de parâmetros totais no conjunto de QA de domínio misturado com exemplos gerais públicos (Soren 2025).
- Estratégia de Replay: Os autores buscam empiricamente uma razão ideal de "replay" (0% a 100% dos exemplos de domínio) para equilibrar o desempenho no domínio com a retenção da capacidade geral. A configuração nominal de 50% selecionada (razão real de ~48,3%) maximiza a média não ponderada dos benchmarks MMLU, IFEval e C-Eval. Isso produz o Wnuan-Inst.
Estágio III: Aprendizado por Reforço de Erro Residual (RL)
- Seleção: Em vez de treinar no pool completo, o pipeline identifica "erros residuais" — exemplos que o Wnuan-Inst ainda responde incorretamente. Isso resulta em um pool de 56.147 exemplos.
- Otimização: O modelo passa por Otimização de Política Relativa de Grupo (GRPO) com uma função de recompensa semântica ( $r = 0,6r_{acc} + 0,3r_{quality} + 0,1r_{format}$ ). Os componentes de recompensa pontuam correção, solidez lógica, expressão profissional, concisão e conformidade de formato.
- Comparação: Um experimento controlado compara esta amostragem de erro residual contra a amostragem de pool total e a amostragem aleatória de tamanho correspondente sob um orçamento fixo de 100 atualizações.

Principais Contribuições

Pipeline End-to-End: Uma receita para converter documentos proprietários em um modelo de QA de livro fechado (closed-book), abordando explicitamente o equilíbrio entre especialização de domínio e retenção de capacidade geral.
Wnuan-Bench: Um novo benchmark de avaliação consistindo em 707 perguntas através de oito domínios de negócios (ex: cenários operacionais, normas, supervisão de segurança), curado por especialistas internos e distinto dos dados de treinamento.
Estratégia de RL de Erro Residual: Evidência de que concentrar um orçamento fixo de atualização em exemplos que ainda são julgados incorretos após o SFT produz um desempenho superior em comparação com a amostragem aleatória ou de pool total.
Avaliação Calibrada: Um ensemble de avaliação automática (usando múltiplos juízes LLM) calibrado contra um especialista de domínio, alcançando 90,5% de concordância em uma amostra estratificada.

Resultados
Avaliado no Wnuan-Bench de 707 perguntas usando a rota primária de 32B:

Ganhos de Desempenho:
- Wnuan-Base: 52,76% de Taxa de Resposta Aceitável (AAR).
- Wnuan-Inst (Pós-SFT): 80,06% de AAR (+27,30 pontos).
- Wnuan-RL (Pós-RL): 91,51% de AAR (+11,45 pontos sobre o Inst).
Eficácia da Amostragem de Erro Residual: Sob um protocolo de 100 atualizações correspondentes, a amostragem de erro residual alcançou 89,39% de AAR, superando a amostragem de pool total (86,28%) e a amostragem aleatória de tamanho correspondente (86,42%) por 3,11 e 2,97 pontos, respectivamente. Os intervalos bootstrap de cluster de origem permaneceram positivos para esses contrastes.
Trade-offs de Capacidade Geral:
- A média do benchmark geral (MMLU, IFEval, C-Eval) diminuiu de 88,61% (Base) para 83,44% (RL).
- Este declínio concentrou-se no seguimento de instruções (IFEval), que caiu 6,52 pontos do Inst para o RL, enquanto o MMLU e o C-Eval viram um leve aumento.
Análise de Recuperação (Retrieval): Aplicar um pipeline de RAG fixo melhorou o modelo Base não adaptado, mas foi não-aditivo (e ligeiramente prejudicial) para os modelos especializados Inst e RL, sugerindo que a recuperação deve ser controlada (gated) em vez de incondicionalmente concatenada.

Significância e Alegações
O artigo afirma caracterizar tanto os ganhos quanto os custos da adaptação empresarial em estágios.

Eficiência em Estágios: O pipeline demonstra que, após o SFT resolver os exemplos fáceis, focar o RL nos erros residuais é uma política eficaz para maximizar a precisão de domínio sob restrições de orçamento.
Trade-offs Explícitos: Os autores observam modestamente que os ganhos na maestria de domínio vêm com um "custo de capacidade geral", especificamente uma redução no desempenho de seguimento de instruções. Eles não reivindicam uma solução universal, mas sim um ponto operacional específico selecionado via busca em grade empírica.
Rigor de Avaliação: Os resultados são suportados por análise de sensibilidade de cluster de origem e avaliação automática calibrada por especialistas, distinguindo entre melhorias de política agregada e invariância exata de linha.
Limitações: O estudo é limitado aos dados de domínio de uma única empresa; não reivindica generalização cross-enterprise ou desempenho em dados não vistos de origem. O diagnóstico de recuperação é limitado a um único pipeline e não estabelece uma interação geral de treinamento-recuperação.

Em conclusão, o Wnuan fornece uma receita validada para adaptação empresarial que prioriza o aprendizado de erro residual na etapa final, oferecendo um caminho claro para um QA de livro fechado de alta precisão, ao mesmo tempo em que reconhece explicitamente a degradação associada em capacidades gerais específicas.