💬 NLP

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

UltraX es un marco de trabajo de llamada a funciones que mejora el refinamiento de datos de preentrenamiento a gran escala mediante la introducción de una edición programática adaptativa con capacidades de inserción, eliminación y modificación, superando así las limitaciones de eficiencia y fiabilidad de los enfoques actuales basados en reglas y en LLM para lograr una eficiencia de datos y un rendimiento del modelo superiores.

Autores originales: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Publicado 2026-07-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a hablar como un humano. Durante mucho tiempo, el ingrediente secreto fue simplemente más datos. Le lanzabas una montaña de libros, sitios web y artículos al robot, con la esperanza de que aprendiera todo por puro volumen. Pero ahora, hemos chocado contra un muro. Hemos extraído casi cada bit útil de texto de internet. La regla de "más es mejor" está empezando a desvanecerse, como una batería que se queda sin carga.

Entonces, ¿qué hacemos? Dejamos de acumular y empezamos a limpiar.

Presentamos UltraX, una nueva herramienta diseñada para actuar como un editor microscópico y superrápido para los libros de entrenamiento del robot. Pero aquí está el giro: en lugar de simplemente borrar malas frases o reescribir párrafos enteros (lo cual es lento y arriesgado), UltraX utiliza un truco ingenioso llamado llamada a funciones (function calling).

El "Maestro de Lego" frente a la "Cuadrilla de Demolición"

Piensa en las formas antiguas de limpiar datos como una cuadrilla de demolición.

Los métodos basados en reglas son como trabajadores con un martillo y una lista de verificación. Destruyen cualquier cosa que parezca un anuncio o un símbolo extraño. Pero son torpes; a veces derriban una hermosa escultura (información valiosa) solo porque parecía un montón de ladrillos.
Los grandes editores de IA son como artistas que reescriben toda la historia para hacerla perfecta. Pero son lentos, costosos y, a veces, cambian tanto la trama que la historia deja de tener sentido.

UltraX es diferente. Es como un maestro de Lego con un conjunto específico de herramientas. En lugar de reescribir todo el libro, le da al robot una pequeña lista de instrucciones:

Elimina esta línea específica de basura (como un anuncio).
Cambia este error tipográfico extraño por la palabra correcta.
Inserta una pieza de información faltante que se perdió en el desorden.

El artículo argumenta explícitamente en contra de la idea de que necesitas reescribir textos enteros para arreglarlos. Demuestra que solo borrar cosas (como hacen otras herramientas) no es suficiente porque podrías desechar accidentalmente contenido bueno. También argumenta que intentar generar párrafos enteros nuevos es demasiado lento e inestable para la escala masiva de datos necesaria para entrenar a estos robots. UltraX demuestra que las ediciones precisas y quirúrgicas son la clave.

Cómo funciona: La "Receta" y el "Chef"

El proceso ocurre en dos actos principales:

Acto 1: El Entrenamiento (Enseñando al Chef)
Primero, los investigadores necesitaron enseñar a su pequeño modelo "refinador" cómo ser un buen editor. No lo hicieron al azar; usaron un "chef inteligente" (una IA poderosa) para escribir versiones perfectas y limpias de páginas web desordenadas. Luego, usaron un truco de mapeo especial para convertir esas versiones limpias en una receta de instrucciones (como "eliminar línea 5", "corregir palabra 12"). Filtraron las recetas confusas y enseñaron a su pequeño modelo a seguir estas instrucciones a la perfección.

Acto 2: La Limpieza (El Escalamiento)
Ahora, toman este "refinador" ya entrenado y lo dejan suelto sobre miles de millones de páginas web. Lee un fragmento de texto, predice la lista exacta de movimientos de Lego necesarios para arreglarlo, y luego un programa informático ejecuta esos movimientos instantáneamente. Debido a que el modelo solo tiene que producir una lista corta de comandos (como "elimina la línea 3") en lugar de escribir una historia nueva completa, es increíblemente rápido y no se cansa.

Los Resultados: Más Rápido, Más Inteligente y Más Eficiente

Los investigadores probaron esto entrenando un robot de 1.000 millones de parámetros desde cero utilizando diferentes tipos de datos limpios. Esto es lo que encontraron:

Mejores Puntuaciones: En una prueba de 10 habilidades diferentes (como responder preguntas científicas o entender chistes), el robot entrenado con datos de UltraX obtuvo puntuaciones más altas que los robots entrenados con datos brutos u otros métodos de limpieza. De hecho, UltraX fue el mejor performer en los cinco tipos diferentes de datos de internet que probaron.
El "Impulso del 2%": En varios conjuntos de datos, UltraX dio una mejora relativa de más del 2%. En el mundo de la IA, ese es un salto enorme.
Hacer más con menos: Esta es la parte más genial. El robot entrenado con UltraX alcanzó el mismo nivel de alto rendimiento utilizando menos tokens de entrenamiento (menos palabras) que los demás. Esto sugiere que UltraX hace que los datos sean "más densos" en información útil, de modo que el robot aprende más rápido.

Lo que no hicieron (Y de lo que no están seguros)

Es importante conocer los límites de esta historia. El artículo no afirma que esto resuelva todo para siempre.

Solo probaron esto en datos web en inglés. Admiten que no lo han probado en chino u otros idiomas, donde el "ruido" podría verse totalmente distinto.
Entrenaron un modelo de 1.000 millones de parámetros. Aún no han demostrado si esto funciona exactamente igual en los modelos masivos de billones de parámetros que vendrán pronto.
Sugieren que las ganancias provienen de equilibrar la eliminación de ruido con la preservación de la buena información, pero no afirman tener una fórmula perfecta para cada tipo de desorden de internet.

La Conclusión

UltraX sugiere que el futuro de la enseñanza de la IA no consiste en encontrar más datos, sino en ser más inteligentes con los datos que ya tenemos. Al utilizar un enfoque preciso basado en instrucciones que puede eliminar, corregir e insertar partes específicas del texto, limpia la biblioteca del robot de forma más rápida y mejor que los métodos antiguos. Es un cambio de "lanzar todo contra la pared" a "eliminar quirúrgicamente la basura", y los resultados demuestran que un poco de limpieza inteligente llega muy lejos.

Resumen Técnico: UltraX

Planteamiento del Problema

A medida que el límite físico de los datos de entrenamiento disponibles se acerca, las ganancias de rendimiento derivadas de las Leyes de Escala (Scaling Laws) están disminuyendo. En consecuencia, el enfoque para mejorar los Modelos de Lenguaje de Gran Escala (LLMs) se ha desplazado de la mera expansión de datos hacia la mejora de la eficiencia en la utilización de los datos mediante datos de mayor calidad. Sin embargo, las metodologías de refinamiento existentes para corpus a gran escala enfrentan limitaciones significativas:

Los enfoques basados en reglas están limitados por heurísticas fijas, luchando con las variaciones a nivel de instancia y rechazando a menudo documentos que contienen información de alto valor recuperable.
Los enfoques basados en modelos (incluyendo el refinamiento de extremo a extremo basado en LLM) suelen incurrir en costos computacionales sustanciales, sufren de un bajo rendimiento (throughput) y tienen dificultades para escalar a corpus de pre-entrenamiento. Además, la generación de extremo a extremo en escenarios de contexto largo puede introducir fragmentación semántica e inconsistencias estructurales debido a las dificultades para delimitar los puntos de segmentación.
Los métodos de refinamiento programático existentes (por ejemplo, ProX, RefineX) presentan espacios de funciones incompletos (carecen de capacidades de inserción), dependen de una supervisión de semillas poco fiable y sufren problemas de ejecución como la coincidencia de cadenas duplicadas y la interferencia entre operaciones consecutivas.

El desafío central es cómo retener los beneficios del refinamiento impulsado por modelos, de grano fino, mientras se escala el proceso de manera fiable a corpus de pre-entrenamiento a gran escala con alta eficiencia y estabilidad.

Metodología

UltraX es un marco de trabajo de llamada a funciones (function-calling) diseñado para abordar estos desafíos a través de un flujo de trabajo de dos etapas: Construcción del Modelo de Refinamiento y Ejecución de Programas a Escala.

1. Definición de la Tarea y Diseño del Espacio de Funciones

UltraX formula el refinamiento de datos como un proceso de transformación de texto programático. En lugar de generar texto directamente, un modelo ligero predice una secuencia estructurada de llamadas a funciones ( $Z$ ) que un ejecutor determinista aplica al documento original ( $d$ ) para producir el documento refinado ( $\hat{d}$ ).

Para superar las limitaciones de trabajos anteriores, UltraX introduce un espacio de funciones de edición completo ( $\Omega$ ) que incluye:

Eliminación: remove_lines (para ruido como anuncios, navegación, plantillas) y remove_all (para documentos sin valor).
Modificación: replace_str (para el reemplazo de cadenas localizado, por ejemplo, para corregir remanentes de HTML o ruido en línea).
Inserción: add_line (para suplementar la estructura faltante o restaurar el contenido semántico).
Preservación: keep_all (para documentos que no requieren cambios).

Crucialmente, las operaciones están ancladas por números de línea y cadenas locales en lugar de índices de caracteres brutos, lo que facilita la ejecución por parte de modelos ligeros mientras asegura la auditabilidad.

2. Pipeline de Generación de Supervisión de Programas

Para entrenar el modelo de refinamiento, UltraX construye un pipeline de supervisión de semillas fiable:

Optimización de Prompts Adaptativa al Conjunto de Datos: Un agente automático perfila los patrones de ruido y tipos de contenido de cada conjunto de datos, optimizando iterativamente los prompts para guider a un LLM experto (DeepSeek-V3.2) en la producción de textos refinados de extremo a extremo de alta calidad.
Mapeo Jerárquico de Texto a Operación:
- Mapeo de Alineación de Líneas: Alinea las líneas originales y refinadas basándose en contenido, contexto y posición para identificar eliminaciones, inserciones y modificaciones.
- Reemplazo de Contexto Dinámico: Analiza los rangos de edición intra-línea y expande dinámicamente el contexto circundante para convertir las ediciones en operaciones replace_str localizables de forma única, evitando la ambigüedad de las subcadenas repetidas.
Filtrado y Muestreo: Se filtran los ejemplos de baja confianza (por ejemplo, operaciones excesivas, inserciones demasiado largas). Los datos de entrenamiento se construyen utilizando un muestreo controlado por tipo de combinación de operaciones para estabilizar la distribución del entrenamiento.

3. Pipeline de Ejecución a Gran Escala

Durante la inferencia, UltraX procesa corpus a gran escala a través de:

Predicción por Segmentos: Los documentos se dividen en ventanas deslizantes (con solapamiento) para manejar los límites de longitud. El modelo predice secuencias de operaciones para cada segmento.
Agregación de Operaciones: Las operaciones locales se mapean de nuevo a un espacio global de números de línea. Las regiones superpuestas son gestionadas por la ventana precedente para evitar modificaciones duplicadas.
Post-procesamiento Sistemático: El pipeline incluye el filtrado de reemplazos ambiguos, la fusión de operaciones adyacentes/interferentes en la misma línea y la detección de patrones repetitivos (por ejemplo, inserciones cíclicas) para asegurar la estabilidad de la ejecución.
Ejecución Determinista: Un ejecutor determinista aplica el programa validado al texto original, asegurando la trazabilidad y la reproducibilidad.

Contribuciones Clave

Marco UltraX: Un marco de refinamiento de llamada a funciones que introduce la inserción junto con la eliminación y la modificación, completando el espacio de funciones de edición para la edición de grano fino a nivel de instancia.
Pipeline de Supervisión Fiable: Un sistema de mapeo jerárquico de texto a operación que utiliza la optimación de prompts adaptativa al conjunto de datos, el Mapeo de Alineación de Líneas y el Reemplazo de Contexto Dinámico para convertir textos refinados de extremo a extremo en supervisión de programas estructurada.
Mecanismo de Ejecución Robusto: Un pipeline de ejecución a gran escala que cuenta con predicción de ventana deslizante, agregación de operaciones globales y post-procesamiento sistemático (incluyendo la detección de patrones duplicados) para normalizar y validar las salidas del modelo.
Validación Empírica: Experimentos extensos que demuestran que UltraX mejora el rendimiento downstream en múltiples corpora heterogéneos mientras logra una eficiencia de datos superior.

Resultados Experimentales

Los autores realizaron experimentos de pre-entrenamiento desde cero utilizando un modelo MiniCPM de 1B de parámetros en cinco corpora: FineWeb, RedPajama-V2, AICC, Ultra-FineWeb y FineWeb-ProX-Doc.

Ganancias de Rendimiento: UltraX logró el rendimiento promedio más alto en los cinco corpora. En múltiples conjuntos de datos, mostró mejoras relativas superiores al 2% en comparación con los datos brutos y la línea base ProX-C.
Eficiencia de Datos: UltraX igualó o superó a los métodos de línea base con menos tokens de entrenamiento. Por ejemplo, en FineWeb, UltraX entrenó con 16B de tokens y logró un puntaje promedio más alto (45.49) que las líneas base de 20B de tokens (Raw: 45.08, ProX-C: 45.05).
Calidad de Refinamiento: El análisis de 80K documentos muestreados mostró que UltraX logró un puntaje de calidad promedio más alto (9.60 vs. 9.17 para ProX-C) y una tasa significativamente menor de muestras de bajo puntaje (0.38% vs. 2.59%). Demostró un rendimiento superior en la eliminación de ruido, preservación de contenido e integridad de formato.
Distribución de Tokens: A diferencia de los métodos de eliminación agresiva que reducen drásticamente el conteo de tokens, UltraX preserva más documentos no vacíos y contenido útil, equilibrando la eliminación de ruido con la preservación de la información.

Significado y Reivindicaciones

El artículo afirma que UltraX proporciona un enfoque eficiente, fiable y escalable para mejorar la calidad de los datos de pre-entrenamiento. Al cambiar de la generación de texto de extremo a extremo a las llamadas a funciones estructuradas, UltraX supera los cuellos de botella de eficiencia de los procesos de refinamiento basados en LLM, evitando al mismo tiempo la rigidez de los métodos basados en reglas.

Los autores enfatizan que las ganancias de rendimiento no provienen simplemente de eliminar más contenido, sino de un refinamiento programático de grano fino a nivel de instancia que equilibra mejor la eliminación de ruido con la preservación de las señales de entrenamiento valiosas. El marco escala con éxito el refinamiento de llamada a funciones a grandes corpus de pre-entrenamiento, ofreciendo un camino viable para mejorar el rendimiento de los LLM a medida que las leyes de escala de datos comienzan a disminuir.

El artículo reconoce modestamente las limitaciones, señalando que los experimentos se realizaron bajo presupuestos de tokens y escalas de modelos limitados, y que el enfoque actual es en corpora web en inglés. Se sugiere trabajo futuro para entornos multilingües, compresión de modelos y refinadores especializados para patologías de datos específicas.