💬 NLP

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

UltraX è un framework di function-calling che potenzia il raffinamento dei dati di pre-training su larga scala introducendo l'editing programmatico adattivo con capacità di inserimento, eliminazione e modifica, superando così i limiti di efficienza e affidabilità degli approcci esistenti basati su regole o su LLM per ottenere una superiore efficienza dei dati e prestazioni del modello.

Autori originali: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Pubblicato 2026-07-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot super-intelligente come parlare l'umano. Per molto tempo, la ricetta segreta è stata semplicemente più dati. Avresti lanciato un intero monte di libri, siti web e articoli al robot, sperando che imparasse tutto per pura quantità. Ma ora, abbiamo sbattuto contro un muro. Abbiamo estratto quasi ogni frammento utile di testo da Internet. La regola del "più è meglio" sta iniziando a svanire, come una batteria che si scarica.

Quindi, cosa facciamo? Smettiamo di accumulare e iniziamo a pulire.

Entra in scena UltraX, un nuovo strumento progettato per agire come un editor microscopico e super-veloce per i libri di addestramento del robot. Ma ecco il colpo di scena: invece di limitarsi a cancellare intere frasi o riscrivere interi paragrafi (il che è lento e rischioso), UltraX usa un trucco geniale chiamato function calling (chiamata di funzione).

Il "Maestro dei Lego" vs. La "Squadra di Demolizione"

Pensa ai vecchi modi per pulire i dati come a una squadra di demolizione.

I metodi basati su regole sono come operai con un martello e una lista di controllo. Distruggono tutto ciò che sembra un annuncio pubblicitario o un simbolo strano. Ma sono goffi; a volte abbattono una bellissima scultura (un'informazione preziosa) solo perché somigliava un po' a un mucchio di mattoni.
I grandi editor IA sono come artisti che riscrivono l'intera storia per renderla perfetta. Ma sono lenti, costosi e a volte cambiano così tanto la trama che la storia non ha più senso.

UltraX è diverso. È come un maestro dei Lego con un set specifico di strumenti. Invece di riscrivere l'intero libro, fornisce al robot una piccola lista di istruzioni:

Elimina questa specifica riga di spazzatura (come un annuncio).
Sostituisci questo errore di battitura strano con la parola corretta.
Inserisci un pezzo di informazione mancante che si è perso nel caos.

Il documento sostiene esplicitamente contro l'idea che sia necessario riscrivere interi testi per sistemarli. Dimostra che limitarsi a cancellare le cose (come fanno altri strumenti) non è sufficiente perché si rischia di buttare via involontariamente contenuti validi. Argomenta inoltre che cercare di generare nuovi paragrafi interi è troppo lento e inaffidabile per la scala massiccia di dati necessaria per addestrare questi robot. UltraX dimostra che modifiche precise e chirurgiche sono la chiave.

Come Funziona: La "Ricetta" e lo "Chef"

Il processo si svolge in due atti principali:

Atto 1: L'Addestramento (Insegnare allo Chef)
Per prima cosa, i ricercatori dovevano insegnare al loro piccolo modello "raffinatore" come essere un buon editor. Non hanno tirato a indovinare; hanno usato uno "chef intelligente" (un'IA potente) per scrivere versioni perfette e pulite di pagine web disordinate. Poi, hanno usato un trucco speciale di mappatura per trasformare quelle versioni pulite in una ricetta di istruzioni (come "rimuovi riga 5", "correggi parola 12"). Hanno filtrato le ricette confuse e hanno insegnato al loro piccolo modello a seguire queste istruzioni perfettamente.

Atto 2: La Pulizia (La Scalabilità)
Ora, prendono questo "raffinatore" addestrato e lo scatenano su miliardi di pagine web. Legge un blocco di testo, predice l'esatta lista di mosse Lego necessarie per sistemarlo e poi un programma per computer esegue quelle mosse istantaneamente. Poiché il modello deve solo produrre una breve lista di comandi (come "elimina riga 3") invece di scrivere una storia intera, è incredibilmente veloce e non si stanca.

I Risultati: Più Veloci, Più Intelligenti e Più Efficienti

I ricercatori hanno testato questo metodo addestrando un robot da 1 miliardo di parametri da zero utilizzando diversi tipi di dati puliti. Ecco cosa hanno scoperto:

Punteggi Migliori: In un test su 10 diverse abilità (come rispondere a domande scientifiche o capire una barzelletta), il robot addestrato con i dati di UltraX ha ottenuto punteggi più alti rispetto ai robot addestrati con dati grezzi o dati puliti con altri metodi. Infatti, UltraX è stato il top performer in tutti e cinque i diversi tipi di dati di Internet che hanno provato.
Il "Boost del 2%": Su diversi dataset, UltraX ha dato un miglioramento relativo superiore al 2%. Nel mondo dell'IA, questo è un salto enorme.
Fare di più con meno: Questa è la parte più incredibile. Il robot addestrato con UltraX ha raggiunto lo stesso alto livello di prestazioni utilizzando meno token di addestramento (meno parole) rispetto agli altri. Questo suggerisce che UltraX rende i dati "più densi" di informazioni utili, permettendo al robot di imparare più velocemente.

Cosa Non Hanno Fatto (E su Cosa Non Sono Sicuri)

È importante conoscere i limiti di questa storia. Il documento non sostiene di aver risolto tutto per sempre.

Hanno testato questo metodo solo su dati web in inglese. Ammettono di non averlo ancora provato su cinese o altre lingue, dove il "rumore" potrebbe apparire totalmente diverso.
Hanno addestrato un modello da 1 miliardo di parametri. Non hanno ancora dimostrato se questo funzioni esattamente allo stesso modo sui modelli massicci da trilioni di parametri che arriveranno a breve.
Suggeriscono che i guadagni derivino dal bilanciamento tra la rimozione del rumore e la conservazione delle buone informazioni, ma non affermano di avere una formula perfetta per ogni singolo tipo di disordine presente su Internet.

Il Punto Fondamentale

UltraX suggerisce che il futuro dell'insegnamento dell'IA non riguarda il trovare più dati, ma l'essere più intelligenti con i dati che già abbiamo. Utilizzando un approccio preciso basato sulle istruzioni che può eliminare, correggere e inserire parti specifiche di un testo, pulisce la biblioteca del robot in modo più veloce e migliore rispetto ai vecchi metodi. È un passaggio dal "lanciare tutto contro il muro" al "rimuovere chirurgicamente la spazzatura", e i risultati dimostrano che un po' di pulizia intelligente fa la differenza.

Sintesi Tecnica: UltraX

Problematica

Man mano che il limite fisico dei dati di addestramento disponibili si avvicina, i guadagni di prestazioni derivanti dalle Leggi di Scalabilità (Scaling Laws) stanno diminuendo. Di conseguenza, l'attenzione per il miglioramento dei Large Language Models (LLM) si è spostata dalla mera espansione dei dati al miglioramento dell'efficienza di utilizzo dei dati attraverso dati di qualità superiore. Tuttavia, le metodologie di raffinamento esistenti per i corpora su larga scala affrontano limitazioni significative:

Gli approcci basati su regole sono vincolati da euristiche fisse, faticano con le variazioni a livello di istanza e spesso rifiutano documenti che contengono informazioni di alto valore salvabili.
Gli approcci basati su modelli (inclusi il raffinamento end-to-end basato su LLM) comportano spesso costi computazionali sostanziali, soffrono di un basso throughput e faticano a scalare ai corpora di pre-training. Inoltre, la generazione end-to-end in scenari a lungo contesto può introdurre frammentazione semantica e incoerenze strutturali a causa delle difficoltà nel delineare i punti di segmentazione.
I metodi di raffinamento programmatico esistenti (ad esempio, ProX, RefineX) presentano uno spazio di funzioni incompleto (mancanza di capacità di inserimento), si affidano a una supervisione di semi inaffidabile e soffrono di problemi di esecuzione come la corrispondenza di stringhe duplicate e l'interferenza tra operazioni consecutive.

La sfida centrale è come mantenere i benefici del raffinamento guidato da modelli, granulare, scalando il processo in modo affidabile ai grandi corpora di pre-training con alta efficienza e stabilità.

Metodologia

UltraX è un framework di raffinamento tramite chiamata di funzioni (function-calling) progettato per affrontare queste sfide attraverso un flusso di lavoro in due fasi: Costruzione del Modello di Raffinamento ed Esecuzione del Programma su Larga Scala.

1. Definizione del Task e Design dello Spazio delle Funzioni

UltraX formula il raffinamento dei dati come un processo di trasformazione testuale programmatico. Invece di generare direttamente il testo, un modello leggero predice una sequenza strutturata di chiamate di funzione ( $Z$ ) che un esecutore deterministico applica al documento originale ( $d$ ) per produrre il documento raffinato ( $\hat{d}$ ).

Per superare i limiti dei lavori precedenti, UltraX introduce uno spazio di funzioni di editing completo ( $\Omega$ ) che include:

Eliminazione: remove_lines (per rumore come pubblicità, navigazione, template) e remove_all (per documenti privi di valore).
Modifica: replace_str (per la sostituzione localizzata di stringhe, ad esempio per correggere residui HTML o rumore inline).
Inserimento: add_line (per integrare la struttura mancante o ripristinare il contenuto semantico).
Preservazione: keep_all (per documenti che non richiedono modifiche).

Fondamentalmente, le operazioni sono ancorate dai numeri di riga e dalle stringhe locali piuttosto che dagli indici di carattere grezzi, facilitando l'esecuzione da parte di modelli leggeri pur garantendo l'auditabilità.

2. Pipeline di Generazione della Supervisione del Programma

Per addestrare il modello di raffinamento, UltraX costruisce una pipeline di supervisione dei semi affidabile:

Ottimizzazione dei Prompt Adattiva al Dataset: Un agente automatico profila i pattern di rumore e i tipi di contenuto di ogni dataset, ottimizzando iterativamente i prompt per guidare un LLM esperto (DeepSeek-V3.2) nella produzione di testi raffinati end-to-end di alta qualità.
Mappatura Gerarchica Testo-Operazione:
- Mappatura di Allineamento delle Righe: Allinea le righe originali e quelle raffinate in base al contenuto, al contesto e alla posizione per identificare eliminazioni, inserimenti e modifiche.
- Sostituzione del Contesto Dinamico: Analizza gli intervalli di modifica intra-riga e espande dinamicamente il contesto circostante per convertire le modifiche in operazioni replace_str unicamente localizzabili, evitando l'ambiguità derivante da sottostringhe ripetute.
Filtraggio e Campionamento: Gli esempi a bassa confidenza (ad esempio, operazioni eccessive, inserimenti troppo lunghi) vengono filtrati. I dati di addestramento sono costruiti utilizzando un campionamento controllato dal rapporto per tipo di combinazione di operazioni per stabilizzare la distribuzione dell'addestramento.

3. Pipeline di Esecuzione su Larga Scala

Durante l'inferenza, UltraX elabora corpora su larga scala attraverso:

Predizione per Segmenti: I documenti vengono suddivisi in finestre scorrevoli (con sovrapposizione) per gestire i limiti di lunghezza. Il modello predice le sequenze di operazioni per ogni segmento.
Aggregazione delle Operazioni: Le operazioni locali vengono mappate nuovamente in uno spazio globale di numeri di riga. Le regioni di sovrapposizione sono gestite dalla finestra precedente per evitare modifiche duplicate.
Post-Processing Sistematico: La pipeline include il filtraggio delle sostituzioni ambigue, la fusione di operazioni adiacenti/interferenti sulla stessa riga e la rilevazione di pattern ripetitivi (ad esempio, inserimenti ciclici) per garantire la stabilità dell'esecuzione.
Esecuzione Deterministica: Un esecutore deterministico applica il programma validato al testo originale, garantendo tracciabilità e riproducibilità.

Contributi Chiave

Framework UltraX: Un framework di raffinamento tramite chiamata di funzioni che introduce l'inserimento insieme a eliminazione e modifica, completando lo spazio delle funzioni di editing per un editing granulare a livello di istanza.
Pipeline di Supervisione Affidabile: Un sistema di mappatura gerarchica testo-operazione che utilizza l'ottimizzazione dei prompt adattiva al dataset, la Mappatura di Allineamento delle Righe e la Sostituzione del Contesto Dinamico per convertire i testi raffinati end-to-end in supervisione programmata strutturata.
Meccanismo di Esecuzione Robusto: Una pipeline di esecuzione su larga scala caratterizzata da predizione a finestra scorrevole, aggregazione globale delle operazioni e post-processing sistematico (inclusa la rilevazione di pattern duplicati) per normalizzare e validare gli output del modello.
Validazione Empirica: Esperimenti estesi che dimostrano come UltraX migliori le prestazioni a valle su molteplici corpora eterogenei, ottenendo al contempo una superiore efficienza dei dati.

Risultati Sperimentali

Gli autori hanno condotto esperimenti di pre-training da zero utilizzando un modello MiniCPM da 1 miliardo di parametri su cinque corpora: FineWeb, RedPajama-V2, AICC, Ultra-FineWeb e FineWeb-ProX-Doc.

Guadagni di Prestazioni: UltraX ha ottenuto la prestazione media più elevata su tutti e cinque i corpora. Su molteplici dataset, ha mostrato miglioramenti relativi superiori al 2% rispetto ai dati grezzi e al baseline ProX-C.
Efficienza dei Dati: UltraX ha eguagliato o superato i metodi baseline con meno token di addestramento. Ad esempio, su FineWeb, UltraX con 16 miliardi di token ha raggiunto un punteggio medio più alto (45.49) rispetto ai baseline da 20 miliardi di token (Raw: 45.08, ProX-C: 45.05).
Qualità del Raffinamento: L'analisi di 80.000 documenti campionati ha mostrato che UltraX ha ottenuto un punteggio di qualità media più alto (9.60 rispetto a 9.17 per ProX-C) e un tasso significativamente inferiore di campioni a basso punteggio (0.38% rispetto a 2.59%). Ha dimostrato prestazioni superiori nella rimozione del rumore, nella preservazione del contenuto e nell'integrità del formato.
Distribuzione dei Token: A differenza dei metodi di eliminazione aggressiva che riducono drasticamente il conteggio dei token, UltraX preserva più documenti non vuoti e contenuti utili, bilanciando la rimozione del rumore con la preservazione delle informazioni.

Significato e Rivendicazioni

Il paper sostiene che UltraX fornisca un approccio efficiente, affidabile e scalabile per migliorare la qualità dei dati di pre-training. Passando dalla generazione di testo end-to-end alla chiamata di funzioni strutturate, UltraX supera i colli di bottiglia di efficienza degli LLM basati sul raffinamento, evitando al contempo la rigidità dei metodi basati su regole.

Gli autori sottolineano che i guadagni di prestazione non derivano dal semplice fatto di eliminare più contenuti, ma da un raffinamento programmatico granulare a livello di istanza che bilancia meglio la rimozione del rumore con la preservazione dei segnali di addestramento preziosi. Il framework scala con successo il raffinamento tramite chiamata di funzioni ai grandi corpora di pre-training, offrendo una via percorribile per potenziare le prestazioni degli LLM man mano che le leggi di scaling dei dati iniziano a diminuire.

Il paper riconosce modestamente alcuni limiti, notando che gli esperimenti sono stati condotti sotto budget di token e scale di modelli limitati, e che l'attuale focus è sui corpora web in lingua inglese. Si suggerisce il lavoro futuro per contesti multilingue, compressione dei modelli e raffinatori specializzati per specifiche patologie dei dati.