🤖 machine learning

Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages

O artigo apresenta o Treinamento Introspectivo (IXT), um método que aproveita o feedback em linguagem natural de um modelo de recompensa cognitivo para condicionar com prefixos os dados de treinamento em todas as etapas do desenvolvimento de LLMs, melhorando significativamente a eficiência computacional e alcançando desempenho superior em matemática e código em comparação com abordagens de treinamento padrão.

Autores originais: Brandon Cui, Ximing Lu, Jaehun Jung, Syeda Nahida Akter, Hyunwoo Kim, Yuxiao Qu, David Acuna, Shrimai Prabhumoye, Yejin Choi, Prithviraj Ammanabrolu

Publicado 2026-05-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Brandon Cui, Ximing Lu, Jaehun Jung, Syeda Nahida Akter, Hyunwoo Kim, Yuxiao Qu, David Acuna, Shrimai Prabhumoye, Yejin Choi, Prithviraj Ammanabrolu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô gigante e faminto a ler e escrever. Tradicionalmente, o processo ocorre em duas fases muito distintas:

A Fase da "Biblioteca Gigante" (Pré-treinamento): Você despeja milhões de livros, sites e artigos no cérebro do robô. Ele lê tudo, bom e ruim, igualmente. É como alimentar uma criança com uma mistura de refeições gourmet, fast-food e embalagens vazias, esperando que ela aprenda a cozinhar provando tudo.
A Fase de "Tutoria" (Pós-treinamento): Mais tarde, você senta-se com o robô e diz: "Na verdade, não coma as embalagens. Aqui estão alguns problemas de matemática e tarefas de codificação específicos. Aprenda estes especificamente."

O problema com essa maneira antiga é que o robô gasta muito tempo e energia (poder de computação) digerindo as "embalagens" (dados de baixa qualidade) durante a primeira fase, apenas para perceber mais tarde que deveria tê-las ignorado.

A Nova Ideia: "Treinamento Introspectivo" (IXT)

Os autores deste artigo propõem uma maneira mais inteligente de ensinar o robô, que chamam de Treinamento Introspectivo (IXT). Pense nisso como dar ao robô um bibliotecário inteligente que caminha ao seu lado desde o primeiro dia.

Veja como funciona, usando uma analogia simples:

1. O Bibliotecário Inteligente (O Juiz)

Antes do robô começar a ler uma página, um "Juiz" (outra IA) examina o texto. O Juiz não diz apenas "Bom" ou "Ruim". Em vez disso, ele escreve uma nota curta em linguagem natural (uma crítica) explicando por que o texto é bom ou ruim.

Exemplo: "Este parágrafo é ótimo porque explica a química dos tampões de forma clara e precisa."
Exemplo: "Este parágrafo é fraco porque é apenas recheio de marketing sem fatos reais."

2. O Post-it (O Feedback)

O Juiz cola essa nota bem no topo da página, como um post-it. Agora, quando o robô lê a página, ele vê a nota primeiro.

Se a nota diz "Alta Qualidade", o robô presta atenção extra.
Se a nota diz "Baixa Qualidade", o robô aprende a tratá-la de forma diferente, entendendo que isso é apenas ruído.

3. Aprendendo a Ouvir (Condicionamento)

O robô é treinado para ler o post-it antes de tentar prever a próxima palavra. Ele aprende um padrão: "Quando vejo uma nota dizendo 'Especialização: Alta', devo esperar uma explicação muito inteligente e densa."

Este é o truque mágico: O robô aprende a distinguir entre "ouro" e "lixo" desde o início, em vez de esperar até o final de seu treinamento para descobrir isso.

O Que Eles Encontraram?

Os pesquisadores testaram isso em modelos que variam de pequenos a massivos (até 18 trilhões de palavras lidas). Aqui estão suas principais descobertas, traduzidas para o português claro:

É Como um Guia de Estudos Super Eficiente: Ao usar esses "post-its", o robô aprendeu a mesma quantidade de informações usando até 2,8 vezes menos energia (poder de computação) do que o método antigo. É como tirar A+ em uma aula estudando metade do esforço porque você foi informado exatamente no que focar.
Melhor em Matemática e Codificação: O robô ficou significativamente melhor em resolver problemas de matemática e escrever código. Na verdade, um robô treinado com este método em um conjunto de dados menor às vezes performou melhor do que um robô treinado em um conjunto de dados muito maior usando o método antigo de "comer tudo".
Funciona em Todo Lugar: Este truque funcionou tanto quando o robô estava apenas começando (lendo texto aleatório da internet), no meio do treinamento, ou no final (aprendendo tarefas específicas). É uma ferramenta universal.
A "Nota" Importa: Eles descobriram que escrever a explicação completa ("Isso é bom porque...") funcionou ligeiramente melhor do que apenas usar um rótulo simples como "Alta Qualidade". É como receber um comentário detalhado de um professor em seu ensaio, em vez de apenas uma nota "A".
Não Jogue Nada Fora (Ainda): Curiosamente, eles descobriram que até mesmo dados de "baixa qualidade" eram úteis se tivessem uma nota anexada. O robô aprendeu que "Isso é de baixa qualidade" ainda é informação valiosa. Jogar os dados fora completamente foi, na verdade, pior do que mantê-los e rotulá-los.

A Conclusão

Este artigo sugere que não precisamos apenas alimentar modelos de IA com mais e mais dados cegamente. Em vez disso, se tomarmos o tempo para rotular a qualidade dos dados com notas úteis antes de alimentá-los ao modelo, o modelo aprende mais rápido, usa menos energia e torna-se mais inteligente em raciocínio e codificação.

É a diferença entre um aluno que recebe uma pilha de papéis aleatórios e recebe a ordem de "aprender", versus um aluno que recebe a mesma pilha, mas com um marcador e anotações de um professor apontando exatamente o que estudar e o que pular.

Resumo Técnico: Treinamento Introspectivo (IXT)

Declaração do Problema

Os pipelines de treinamento atuais de Modelos de Linguagem de Grande Escala (LLMs) evoluíram de processos simples de duas etapas (pré-treinamento e pós-treinamento) para fluxos de trabalho complexos e multifásicos, envolvendo "mid-training" e especialização de domínio. Uma ineficiência crítica nesses pipelines é sua natureza unidirecional: informações e estratégias de diferenciação de qualidade desenvolvidas em etapas posteriores (por exemplo, alinhamento de pós-treinamento ou ajuste fino específico de domínio) raramente são utilizadas para informar etapas anteriores (por exemplo, pré-treinamento). Consequentemente, os modelos são frequentemente treinados em dados brutos onde todos os tokens são tratados igualmente durante o pré-treinamento, apenas para passar por curadoria agressiva e diferenciação de qualidade mais tarde. Esse isolamento de conhecimento limita o potencial de polinização cruzada de ideias e impede que o processo de treinamento seja computacionalmente eficiente desde o início. Os autores hipotetizam que introduzir diferenciação consciente da qualidade mais cedo no pipeline poderia melhorar significativamente a eficiência de escalabilidade e o desempenho downstream.

Metodologia: Treinamento Introspectivo (IXT)

Os autores propõem o Treinamento Introspectivo (IXT), um algoritmo unificado projetado para injetar feedback de etapas posteriores de treinamento em etapas anteriores. O IXT é inspirado no aprendizado por reforço condicionado a recompensas offline e opera condicionando os dados de treinamento ao feedback de qualidade gerado pelo modelo.

O Pipeline de Anotação

Avaliação Baseada em Rubrica: Um LLM avaliador (especificamente o Qwen3-30B-A3B nos experimentos) avalia documentos contra uma rubrica fixa. A rubrica inclui cinco dimensões: Estilo de Escrita, Expertise, Valor Educacional, Densidade/Exatidão de Fatos e Eficiência.
Geração de Feedback: Para cada documento, o avaliador produz:
- Pontuações por eixo (1–5).
- Uma pontuação geral (1–5).
- Uma crítica em linguagem natural (1–2 frases) resumindo pontos fortes e fracos.
Anotação Pares (Opcional): Para distribuições estreitas (por exemplo, dados de SFT curados), utiliza-se um procedimento de comparação em pares onde o avaliador seleciona o documento mais útil entre pares. Essas preferências são agregadas via um modelo Bradley-Terry para derivar pontuações contínuas, que são então agrupadas nas mesmas etiquetas de qualidade de 5 níveis.

Estratégias de Condicionamento de Treinamento

O feedback gerado é adicionado ao início do documento original como um prefixo, condicionando efetivamente o modelo ao sinal de qualidade durante o objetivo de previsão do próximo token (NTP). Os autores exploram duas formas de condicionamento:

Tokens de Qualidade Modelados ( $\phi_{tok}$ ): A pontuação geral é mapeada para etiquetas de linguagem natural quantizadas (por exemplo, [baixo], [médio], [alto]). Estes são tratados como tokens de texto padrão, não como tokens especiais.
Críticas em Linguagem Natural ( $\phi_{crit}$ ): A crítica completa em linguagem natural é adicionada ao início do documento. Isso fornece um sinal mais rico e interpretável.

Durante a inferência, o modelo pode ser orientado adicionando ao início uma etiqueta de qualidade específica ou um prefixo descritivo de crítica correspondente às características de saída desejadas.

Contribuições Principais

Algoritmo de Treinamento Unificado: O IXT fornece um único algoritmo aplicável a todas as etapas de treinamento (pré-treinamento, pré-treinamento contínuo e ajuste fino supervisionado), quebrando os silos tradicionais entre essas fases.
Condicionamento por Feedback: Diferentemente de trabalhos anteriores que filtram ou reponderam dados, o IXT preserva os dados originais enquanto expõe diretamente ao modelo, durante o treinamento, uma descrição interpretável da qualidade do documento.
Eficiência Computacional: O método demonstra que "gastar computação offline" para anotar dados uma vez permite reduções significativas nos FLOPs de treinamento para alcançar desempenho equivalente ou superior.
Especialização de Domínio: O quadro de trabalho especializa efetivamente os modelos em domínios específicos (matemática e código) mais cedo no ciclo de vida do treinamento, com ganhos persistindo através de etapas posteriores.

Resultados Experimentais

Os autores conduziram experimentos abrangentes em LLMs densos baseados em transformers (de 7,5B a 12B parâmetros) treinados do zero até 18 Trilhões de tokens.

Eficiência de Escalabilidade: O IXT curva as curvas de escalabilidade, alcançando até 2,8x mais eficiência computacional (economias de FLOP) em comparação com as bases padrão de Previsão do Próximo Token (NTP). Por exemplo, em benchmarks de codificação, o IXT alcança níveis de desempenho que o treinamento padrão não consegue atingir mesmo com computação significativamente maior.
Ganhos de Desempenho:
- Pré-treinamento do Zero: Em um modelo de 7,5B, o IXT melhorou a pontuação média geral do benchmark de 43,1 para 48,7, com ganhos significativos em matemática (MATH: 42,2 $\to$ 53,9) e código (HumanEval: 32,8 $\to$ 37,7).
- Pré-treinamento Contínuo (CPT): Nos checkpoints de 12T e 18T tokens, o IXT aplicado a dados específicos de domínio (Crane Math, Swallow Code) superou as bases NTP. Notavelmente, um modelo de 12T com especialização IXT superou uma base de corpus geral de 18T no HumanEval (65,8% vs. 59,0%).
- Ajuste Fino Supervisionado (SFT): O IXT melhorou o desempenho em SFT Geral, OpenThinker e conjuntos de dados SFT > 4k, embora os ganhos tenham sido menores devido à já alta qualidade dos dados de SFT. A anotação em pares para SFT impulsionou ainda mais os resultados.
Generalização: Aplicar o IXT apenas a um subconjunto direcionado de dados (por exemplo, 15% da mistura Dolmino contendo matemática/código) rendeu desempenho comparável à anotação de todo o conjunto de dados, com efeitos de transbordamento positivos para benchmarks gerais.
Formato de Feedback: Críticas em linguagem natural geralmente superaram tokens modelados (por exemplo, +2,6 pontos em média em misturas gerais), oferecendo uma interface mais expressiva para controle no tempo de inferência.

Significado e Alegações

O artigo afirma que o Treinamento Introspectivo representa um caminho prático e amplamente eficaz para um treinamento de LLM mais eficiente computacionalmente. Ao permitir que o feedback flua "para trás" através do pipeline de treinamento, o IXT permite que os modelos aprendam com sinais de qualidade muito mais cedo do que o tradicionalmente reservado para o pós-treinamento.

Os autores enfatizam que seu método não requer a alteração do objetivo fundamental de treinamento (NTP), mas sim modifica a distribuição de entrada para incluir contexto de qualidade. Eles concluem que o condicionamento em feedback gerado pelo modelo permite:

Romper com os assíntotos de desempenho que o treinamento padrão atinge em corpora fixos.
Alcançar especialização de domínio com menos tokens de treinamento.
Fornecer um mecanismo escalável e interpretável para orientar o comportamento do modelo no tempo de inferência.

O trabalho sugere que a separação entre pré-treinamento e pós-treinamento é artificial e que unificar essas etapas através do condicionamento por feedback pode gerar ganhos substanciais de eficiência sem sacrificar capacidade.