💬 NLP

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

O UltraX é um framework de chamada de função que aprimora o refinamento de dados de pré-treinamento em larga escala ao introduzir edição programática adaptativa com capacidades de inserção, exclusão e modificação, superando assim as limitações de eficiência e confiabilidade das abordagens existentes baseadas em regras e em LLMs para alcançar eficiência de dados e desempenho de modelo superiores.

Autores originais: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a falar como um humano. Por muito tempo, o ingrediente secreto era apenas mais dados. Você jogava uma montanha de livros, sites e artigos sobre o robô, esperando que ele aprendesse tudo pelo puro volume. Mas agora, batemos em um muro. Raspamos quase todos os bits úteis de texto da internet. A regra do "mais é melhor" está começando a perder força, como uma bateria ficando sem carga.

Então, o que fazemos? Paramos de acumular e começamos a limpar.

Conheça o UltraX, uma nova ferramenta projetada para agir como um editor microscópico e superveloz para os livros de treinamento do robô. Mas aqui está o toque especial: em vez de apenas deletar frases ruins ou reescrever parágrafos inteiros (o que é lento e arriscado), o UltraX usa um truque inteligente chamado chamada de função (function calling).

O "Mestre de Lego" vs. A "Equipe de Demolição"

Pense nos métodos antigos de limpeza de dados como uma equipe de demolição.

Métodos baseados em regras são como trabalhadores com um martelo e uma lista de verificação. Eles destroem qualquer coisa que pareça um anúncio ou um símbolo estranho. Mas eles são desajeitados; às vezes derrubam uma escultura bela (informação valiosa) só porque ela parecia um pouco com uma pilha de tijolos.
Grandes editores de IA são como artistas que reescrevem toda a história para torná-la perfeita. Mas eles são lentos, caros e, às vezes, mudam tanto o enredo que a história deixa de fazer sentido.

O UltraX é diferente. Ele é como um mestre de Lego com um conjunto específico de ferramentas. Em vez de reescrever o livro inteiro, ele dá ao robô uma pequena lista de instruções:

Delete esta linha específica de lixo (como um anúncio).
Substitua este erro de digitação estranho pela palavra correta.
Insira uma peça de informação que falta e que se perdeu na bagunça.

O artigo argumenta explicitamente contra a ideia de que você precisa reescrever textos inteiros para consertá-los. Ele mostra que apenas deletar coisas (como outras ferramentas fazem) não é suficiente porque você pode acabar jogando fora coisas boas por acidente. Também argumenta que tentar gerar parágrafos inteiros novos é muito lento e pouco confiável para a escala massiva de dados necessária para treinar esses robôs. O UltraX prova que edições precisas e cirúrgicas são a chave.

Como Funciona: A "Receita" e o "Chef"

O processo acontece em dois atos principais:

Ato 1: O Treinamento (Ensinando o Chef)
Primeiro, os pesquisadores precisavam ensinar seu pequeno modelo "refinador" a ser um bom editor. Eles não apenas adivinharam; eles usaram um "chef inteligente" (uma IA poderosa) para escrever versões perfeitas e limpas de páginas da web bagunçadas. Então, usaram um truque de mapeamento especial para transformar essas versões limpas em uma receita de instruções (como "remova a linha 5", "corrija a palavra 12"). Eles filtraram as receitas confusas e ensinaram seu pequeno modelo a seguir essas instruções perfeitamente.

Ato 2: A Limpeza (A Escala)
Agora, eles pegam esse "refinador" treinado e o soltam em bilhões de páginas da web. Ele lê um trecho de texto, prevê a lista exata de movimentos de Lego necessários para consertá-lo e, então, um programa de computador executa esses movimentos instantaneamente. Como o modelo só precisa gerar uma lista curta de comandos (como "deletar linha 3") em vez de escrever uma história inteira nova, ele é incrivelmente rápido e não se cansa.

Os Resultados: Mais Rápido, Mais Inteligente e Mais Eficiente

Os pesquisadores testaram isso treinando um robô de 1 bilhão de parâmetros do zero usando diferentes tipos de dados limpos. Aqui está o que eles descobriram:

Melhores Pontuações: Em um teste de 10 habilidades diferentes (como responder perguntas de ciências ou entender piadas), o robô treinado com dados do UltraX obteve pontuações mais altas do que robôs treinados com dados brutos ou dados limpos por outros métodos. De fato, o UltraX foi o melhor desempenho em todos os cinco tipos diferentes de dados da internet que eles testaram.
O Impulso de "2%": Em vários conjuntos de dados, o UltraX deu uma melhoria relativa de mais de 2%. No mundo da IA, esse é um salto enorme.
Fazer Mais com Menos: Esta é a parte mais legal. O robô treinado com o UltraX atingiu o mesmo nível de alto desempenho usando menos tokens de treinamento (menos palavras) do que os outros. Isso sugere que o UltraX torna os dados "mais densos" com informações úteis, para que o robô aprenda mais rápido.

O Que Eles Não Fizeram (E o Que Não Têm Certeza)

É importante conhecer os limites desta história. O artigo não afirma que isso resolve tudo para sempre.

Eles testaram isso apenas em dados da web em inglês. Eles admitem que ainda não tentaram isso em chinês ou outros idiomas, onde o "ruído" pode parecer totalmente diferente.
Eles treinaram um modelo de 1 bilhão de parâmetros. Eles ainda não provaram se isso funciona exatamente da mesma forma em modelos massivos de trilhões de parâmetros que estão por vir.
Eles sugerem que os ganhos vêm do equilíbrio entre a remoção de ruído e a manutenção de boas informações, mas não afirmam ter uma fórmula perfeita para cada tipo de bagunça da internet.

A Conclusão

O UltraX sugere que o futuro de ensinar IA não é encontrar mais dados, mas sim ser mais inteligente com os dados que já temos. Ao usar uma abordagem precisa, baseada em instruções, que pode deletar, corrigir e inserir partes específicas de um texto, ele limpa a biblioteca do robô de forma mais rápida e melhor do que os métodos antigos. É uma mudança de "jogar tudo contra a parede" para "remover cirurgicamente o lixo", e os resultados mostram que uma limpeza inteligente e estratégica vai longe.

Resumo Técnico: UltraX

Declaração do Problema

À medida que o limite físico dos dados de treinamento disponíveis se aproxima, os ganhos de desempenho derivados das Leis de Escala (Scaling Laws) estão diminuindo. Consequentemente, o foco para o aprimoramento de Grandes Modelos de Linguagem (LLMs) mudou da mera expansão de dados para a melhoria da eficiência de utilização de dados por meio de dados de maior qualidade. No entanto, as metodologias de refinamento existentes para corpora de larga escala enfrentam limitações significativas:

Abordagens baseadas em regras são limitadas por heurísticas fixas, tendo dificuldade com variações ao nível de instância e frequentemente rejeitando documentos que contêm informações de alto valor recuperáveis.
Abordagens baseadas em modelos (incluindo o refinamento ponta a ponta baseado em LLM) frequentemente incorrem em custos computacionais substanciais, sofrem de baixo throughput e têm dificuldade em escalar para corpora de pré-treinamento. Além disso, a geração ponta a ponta em cenários de contexto longo pode introduzir fragmentação semântica e inconsistências estruturais devido a dificuldades em delinear pontos de segmentação.
Métodos de refinamento programáticos existentes (ex: ProX, RefineX) exibem espaços de funções incompletos (carecendo de capacidades de inserção), dependem de supervisão de sementes não confiável e sofrem com problemas de execução, como correspondência de strings duplicadas e interferência entre operações consecutivas.

O desafio central é como reter os benefícios do refinamento orientado por modelo e de grão fino, enquanto se escala o processo de forma confiável para corpora de pré-treinamento de larga escala com alta eficiência e estabilidade.

Metodologia

O UltraX é um framework de chamada de função (function-calling) projetado para enfrentar esses desafios através de um fluxo de trabalho de dois estágios: Construção do Modelo de Refinamento e Execução de Programa em Escala.

1. Definição de Tarefa e Design do Espaço de Funções

O UltraX formula o refinamento de dados como um processo programático de transformação de texto. Em vez de gerar texto diretamente, um modelo leve prevê uma sequência estruturada de chamadas de função ( $Z$ ) que um executor determinístico aplica ao documento original ( $d$ ) para produzir o documento refinado ( $\hat{d}$ ).

Para superar as limitações de trabalhos anteriores, o UltraX introduz um espaço de funções de edição completo ( $\Omega$ ) que inclui:

Deleção: remove_lines (para ruídos como anúncios, navegação, templates) e remove_all (para documentos sem valor).
Modificação: replace_str (para substituição localizada de strings, ex: corrigir remanescentes de HTML ou ruído inline).
Inserção: add_line (para suplementar estrutura ausente ou restaurar conteúdo semântico).
Preservação: keep_all (para documentos que não requerem alterações).

Crucialmente, as operações são ancoradas por números de linha e strings locais em vez de índices de caracteres brutos, facilitando a execução por modelos leves enquanto garante a auditabilidade.

2. Pipeline de Geração de Supervisão de Programa

Para treinar o modelo de refinamento, o UltraX constrói um pipeline de supervisão de sementes confiável:

Otimização de Prompt Adaptativa ao Dataset: Um agente automático perfila os padrões de ruído e tipos de conteúdo de cada dataset, otimizando iterativamente os prompts para guiar um LLM especialista (DeepSeek-V3.2) na produção de textos refinados ponta a ponta de alta qualidade.
Mapeamento Hierárquico de Texto-para-Operação:
- Mapeamento de Alinhamento de Linha: Alinha linhas originais e refinadas com base em conteúdo, contexto e posição para identificar deleções, inserções e modificações.
- Substituição de Contexto Dinâmico: Analisa intervalos de edição intra-linha e expande dinamicamente o contexto circundante para converter edições em operações replace_str localizáveis de forma única, evitando ambiguidades de substrings repetidas.
Filtragem e Amostragem: Exemplos de baixa confiança (ex: operações excessivas, inserções excessivamente longas) são filtrados. Os dados de treinamento são construídos usando amostragem controlada por tipo de combinação de operação para estabilizar a distribuição de treinamento.

3. Pipeline de Execução em Larga Escala

Durante a inferência, o UltraX processa corpora de larga escala através de:

Predição por Segmento: Os documentos são divididos em janelas deslizantes (com sobreposição) para lidar com limites de comprimento. O modelo prevê sequências de operações para cada segmento.
Agregação de Operações: As operações locais são mapeadas de volta para um espaço global de números de linha. Regiões de sobreposição são tratadas pela janela precedente para evitar modificações duplicadas.
Pós-processamento Sistemático: O pipeline inclui filtragem de substituições ambíguas, fusão de operações adjacentes/interferentes na mesma linha e detecção de padrões repetitivos (ex: inserções cíclicas) para garantir a estabilidade da execução.
Execução Determinística: Um executor determinístico aplica o programa validado ao texto original, garantindo rastreabilidade e reprodutibilidade.

Principais Contribuições

Framework UltraX: Um framework de refinamento por chamada de função que introduz a inserção ao lado de deleção e modificação, completando o espaço de funções de edição para edição de instância de grão fino.
Pipeline de Supervisão Confiável: Um sistema de mapeamento hierárquico de texto-para-operação utilizando otimização de prompt adaptativa ao dataset, Mapeamento de Alinhamento de Linha e Substituição de Contexto Dinâmico para converter textos refinados ponta a ponta em supervisão de programa estruturada.
Mecanismo de Execução Robusto: Um pipeline de execução em larga escala apresentando predição por janela deslizante, agregação de operações globais e pós-processamento sistemático (incluindo detecção de padrões duplicados) para normalizar e validar as saídas do modelo.
Validação Empírica: Experimentos extensos demonstrando que o UltraX melhora o desempenho downstream em múltiplos corpora heterogêneos enquanto alcança uma eficiência de dados superior.

Resultados Experimentais

Os autores conduziram experimentos de pré-treinamento do zero usando um modelo MiniCPM de 1 bilhão de parâmetros em cinco corpora: FineWeb, RedPajama-V2, AICC, Ultra-FineWeb e FineWeb-ProX-Doc.

Ganhos de Desempenho: O UltraX alcançou o maior desempenho médio em todos os cinco corpora. Em múltiplos datasets, mostrou melhorias relativas superiores a 2% em comparação com os dados brutos e o baseline ProX-C.
Eficiência de Dados: O UltraX igualou ou superou os métodos de baseline com menos tokens de treinamento. Por exemplo, no FineWeb, o UltraX treinado com 16B tokens alcançou uma pontuação média mais alta (45.49) do que os baselines de 20B tokens (Raw: 45.08, ProX-C: 45.05).
Qualidade de Refinamento: A análise de 80K documentos amostrados mostrou que o UltraX alcançou uma pontuação de qualidade média mais alta (9.60 vs. 9.17 para ProX-C) e uma taxa significativamente menor de amostras de baixa pontuação (0.38% vs. 2.59%). Demonstrou desempenho superior na remoção de ruído, preservação de conteúdo e integridade de formato.
Distribuição de Tokens: Ao contrário dos métodos de deleção agressiva que reduzem drasticamente as contagens de tokens, o UltraX preserva mais documentos não vazios e conteúdo útil, equilibrando a remoção de ruído com a preservação de informação.

Significância e Alegações

O artigo alega que o UltraX fornece uma abordagem eficiente, confiável e escalável para melhorar a qualidade dos dados de pré-treinamento. Ao mudar da geração de texto ponta a ponta para chamadas de função estruturadas, o UltraX supera os gargalos de eficiência dos LLMs de refinamento enquanto evita a rigidez dos métodos baseados em regras.

Os autores enfatizam que os ganhos de desempenho não decorrem simplesmente de deletar mais conteúdo, mas sim do refinamento programático de grão fino ao nível de instância que equilibra melhor a remoção de ruído com a preservação de sinais de treinamento valiosos. O framework escala com sucesso o refinamento por chamada de função para corpora de pré-treinamento de larga escala, oferecendo um caminho viável para aumentar o desempenho dos LLMs à medida que as leis de escala de dados começam a diminuir.

O artigo reconhece modestamente as limitações, observando que os experimentos foram conduzidos sob orçamentos de tokens e escalas de modelos limitados, e que o foco atual é em corpora web em inglês. Sugere-se trabalho futuro para ambientes multilíngues, compressão de modelos e refinadores especializados para patologias de dados específicas.