💬 NLP

Mix, MinHash, and Match: Cross-Source Agreement for Multilingual Pretraining Datasets

Este artículo presenta MixMinMatch, un método rentable que aprovecha la redundancia entre fuentes como un filtro de calidad gratuito para generar conjuntos de datos de preentrenamiento multilingües de alta calidad, logrando una diversidad de tokens y mejoras de rendimiento significativas sobre las líneas base de fuente única para el árabe, el turco y el hindi.

Autores originales: Sultan Alrashed, Francesco Orabona

Publicado 2026-01-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sultan Alrashed, Francesco Orabona

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El gran problema: Todos compran los mismos comestibles

Imagina que estás intentando enseñarle a un robot a hablar diferentes idiomas (como el árabe, el turco y el hindi). Para hacer esto, necesitas alimentarlo con una biblioteca masiva de texto de internet.

El problema es que diferentes equipos de investigación de todo el mundo van a la misma "tienda de comestibles de internet" a comprar estos libros. Todos están comprando las mismas novelas, artículos de noticias y recetas populares.

El desperdicio: Resulta que más del 40% del texto en estas diferentes bibliotecas son simplemente duplicados. Es como si cinco personas distintas compraran las mismas cinco latas de sopa porque todas vieron el mismo anuncio.
La forma antigua: Normalmente, cuando los investigadores ven esta duplicación, simplemente desechan las copias extra para ahorrar espacio. Piensan: "Oh, esto es solo un esfuerzo desperdiciado".

La nueva idea: La duplicación es un "sello de aprobación"

Los autores de este artículo tienen una forma diferente de pensar. Se preguntan: "¿Qué pasaría si el hecho de que cinco personas diferentes hayan comprado la misma lata de sopa significa que en realidad es una muy buena sopa?"

Su teoría se basa en una lógica simple:

Si una persona compra un libro extraño o de spam, podría ser un error.
Pero si cinco equipos diferentes, utilizando cinos métodos diferentes para buscar libros, todos deciden conservar el mismo documento específico, ese documento probablemente sea de alta calidad.
Es como una reseña de un producto: Si una persona dice que un teléfono es genial, tal vez tenga un sesgo. Pero si cinco revisores independientes dicen que es genial, puedes confiar en ello.

La solución: "Mix, MinHash, and Match"

Los autores crearon una receta de tres pasos para convertir este "desperdicio" en un conjunto de datos de supercalidad. Lo llaman MixMinMatch.

1. Mix (La gran olla)

Primero, toman todas las diferentes bibliotecas (de equipos como C4, CulturaX, FineWeb, etc.) y las vierten todas en una gran olla.

Analogía: Imagina a cinco familias diferentes trayendo sus sobras de cazuelas a una cena de convivencia. Ahora tienes una pila enorme y desordenada de comida.

2. MinHash (El buscador de duplicados)

Después, utilizan una herramienta especial llamada MinHash. Esta herramienta es como un escáner superrápido que mira la comida y dice: "Oye, esta cazuela de la Familia A es un 90% idéntica a la de la Familia B".

Normalmente, cuando encuentras duplicados, simplemente los tiras para ahorrar espacio.
El giro del artículo: En lugar de solo tirarlos, los agrupan (clusters). Crean un "grupo" de documentos idénticos.

3. Match (El sistema de votación)

Este es el paso mágico. Miran esos grupos y preguntan: "¿Cuántas familias diferentes contribuyeron con este plato específico?"

Si un plato solo vino de la Familia A, lo ponen en la pila de "tal vez".
Si un plato vino de la Familia A, la Familia B y la Familia C, lo ponen en la pila "Premium".
A esto lo llaman "Acuerdo entre fuentes" (Cross-Source Agreement). Es un control de calidad gratuito. No necesitan leer el texto ni ejecutar programas de computadora costosos para juzgarlo; el hecho de que múltiples equipos lo conservaran es la prueba de su calidad.

¿Por qué es esto genial?

Es gratis: Normalmente, para encontrar texto de alta calidad, tienes que ejecutar modelos de IA costosos para calificar cada frase. Este método obtiene el mismo resultado de forma gratuita porque la "calificación" (deduplicación) ya fue realizada por la computadora para ahorrar espacio.
Funciona: Lo probaron en árabe, turco e hindi.
- Para el árabe, su pila "Premium" (el texto emparejado) hizo que la IA fuera un 4.5% más inteligente que la mejor biblioteca individual que tenían.
- Para el turco, hizo que la IA fuera un 5.5% más inteligente.
- Para el hindi, hizo que la IA fuera un 11.6% más inteligente.
No es solo el sesgo de un equipo: Demostraron que incluso si eliminas la "mejor" biblioteca de la mezcla, las bibliotecas restantes siguen coincidiendo en lo que es bueno. Esto significa que la calidad proviene del acuerdo entre los grupos, no solo de que un grupo tenga la razón.

La conclusión

El artículo argumenta que no deberíamos ver los datos duplicados simplemente como un desperdicio. Debemos verlos como una señal. Cuando equipos independientes coinciden accidentalmente en qué texto es bueno, ese texto es probablemente lo mejor de internet. Al usar un sistema de "votación" simple basado en quién conservó los datos, podemos construir cerebros de IA mejores sin gastar dinero o tiempo adicional.

Resumen Técnico: MixMinMatch – Acuerdo entre Fuentes para Conjuntos de Datos de Preentrenamiento Multilingües

Planteamiento del Problema

La construcción de corpus de preentrenamiento de alta calidad para Modelos de Lenguaje de Gran Escala (LLM) mediante el raspado de la web (web scraping) es computacionalmente costosa y requiere muchos recursos. Para idiomas distintos del inglés, múltiples grupos de investigación suelen rastrear y filtrar la web de forma independiente, lo que resulta en una redundancia significativa. Si bien esta redundancia se ve tradicionalmente como una ineficiencia —un desperdicio de recursos en contenido duplicado—, los autores argumentan que representa una señal de calidad no aprovechada.

El problema central abordado es la falta de un método computacionalmente eficiente y libre de modelos para filtrar texto de baja calidad en conjuntos de datos multilingües. Los enfoques existentes suelen depender de clasificadores de calidad basados en modelos costosos (que requieren pasadas de inferencia para cada documento) o heurísticas específicas de cada idioma que no logran generalizarse a través de diversos alfabetos y morfologías. Además, la deduplicación estándar elimina los duplicados cercanos para ahorrar cómputo, pero descarta la valiosa metadata sobre qué fuentes retuvieron contenido específico.

Metodología: MixMinMatch

Los autores proponen MixMinMatch, un flujo de trabajo de tres etapas que aprovecha la redundancia de los corpus web existentes como un filtro de calidad. El método trata las decisiones de filtrado independientes de diferentes grupos de investigación como un conjunto de "votantes" sobre la calidad del contenido.

1. Mix (Mezcla)

El flujo de trabajo agrega múltiples corpus de preentrenamiento públicos existentes para un idioma objetivo (por ejemplo, árabe, turco, hindi) preservando la procedencia de cada documento. Cada documento se almacena como una tupla $(x, s)$ , donde $x$ es el texto y $s$ denota el conjunto de datos de origen. Antes de la agregación, se aplican filtros de calidad específicos del idioma (por ejemplo, restricciones de longitud, consistencia de alfabeto, comprobaciones de repetición de n-gramas) de forma independiente a cada fuente para eliminar el contenido de baja calidad evidente.

2. MinHash

El corpus agregado se somete a la detección estándar de duplicados cercanos mediante MinHash y Hashing de Sensibilidad Local (LSH).

Proceso: Los documentos se convierten en conjuntos de n-gramas de caracteres ( $n=5$ ). Se computan las firmas de MinHash y los documentos que colisionan en al menos un lóbulo (band) de LSH se tratan como pares candidatos.
Clustering: Los pares con una similitud de Jaccard estimada $\geq 0.8$ se agrupan mediante Union-Find.
Deduplicación: Se retiene un documento representativo por cada clúster.
Perspectiva Clave: Este paso es una práctica estándar en el preentrenamiento de LLM para evitar entrenar con duplicados. MixMinMatch utiliza los clústeres producidos por este paso, no solo el resultado deduplicado.

3. Match (Coincidencia)

Esta etapa extrae la señal de calidad del proceso de deduplicación.

Acuerdo entre Fuentes: Para cada clúster de duplicados cercanos, el algoritmo cuenta el número de conjuntos de datos de origen únicos ( $s$ ) que contribuyeron con un documento a ese clúster.
Filtrado: El subconjunto "Matched" retiene solo los representantes de los clústeres donde $|S(C_i)| \geq 2$ . En otras palabras, se conserva un documento solo si fue recuperado independientemente por al menos dos pipelines de fuentes distintas.
Eficiencia: Esta operación es computacionalmente gratuita en relación con el paso de deduplicación. Solo implica contar etiquetas de origen dentro de las estructuras de Union-Find ya existentes, sin requerir pasadas de inferencia adicionales ni entrenamiento de modelos.

Contribuciones Clave

Análisis Sistemático de la Redundancia: Los autores cuantifican el solapamiento entre fuentes para los principales corpus multilingües (C4, CulturaX, HPLT 2.0, FineWeb-2, etc.), demostrando que decenas de miles de millones de tokens se comparten entre pipelines independientes. Por ejemplo, C4 y CulturaX comparten más de 9 mil millones de tokens de contenido duplicado cercano en árabe.
Algoritmo MixMinMatch: Un método novedoso que redefine el acuerdo entre fuentes como un filtro de ensamble. Extrae una señal de calidad "gratis" de la infraestructura de deduplicación MinHash ya utilizada en el preentrenamiento.
Nuevos Corpus: La publicación de tres nuevos conjuntos de datos de preentrenamiento multilingüe (AraMix, TurMix, HinMix) para árabe, turco e hindi. Estos incluyen tanto versiones completas deduplicadas por MinHash como subconjuntos "Matched" más pequeños y de alta calidad con recuentos de origen por documento.
Validación Empírica: Evidencia experimental que muestra que el emparejamiento entre fuentes identifica contenido de alta calidad que supera a los baselines de una sola fuente.

Resultados

Los autores evaluaron los conjuntos de datos generados preentrenando modelos tipo Llama de 1.46B de parámetros con un presupuesto fijo de tokens (29.36B de tokens) y midiendo el rendimiento en suites de evaluación específicas de cada idioma (FineTasks).

Árabe: El subconjunto AraMix-Matched logró una puntuación agregada de 0.161, una mejora relativa del 4.5% respecto al mejor baseline de una sola fuente (ArabicWeb24, 0.154). La mezcla completa AraMix-MinHash (178B de tokens) igualó el rendimiento del baseline (0.153) proporcionando 4.3 veces más tokens únicos.
Turco: TurMix-Matched alcanzó una puntuación de 0.204, una mejora relativa del 5.5% sobre el baseline de turco de FineWeb-2 (0.194).
Hindi: HinMix-MinHash mostró la mayor ganancia, mejorando sobre el baseline de CulturaX-Hindi en un 11.6% (0.089 vs. 0.080). El subconjunto "Matched" también superó al baseline en un 8.1%.
Estudios de Ablación: Eliminar el "mejor" baseline de una sola fuente de la mezcla no anuló las ganancias. Por ejemplo, TurMix-Matched sin FineWeb-2 seguía superando al baseline de FineWeb-2, confirmando que la señal de calidad surge del acuerdo entre las fuentes restantes, y no simplemente de heredar la calidad de un único conjunto de datos superior.
Comparación con el Filtrado Basado en Modelos: El subconjunto "Matched" superó a FineWeb2-HQ, un corpus filtrado mediante costosas puntuaciones de calidad basadas en modelos, a pesar de que MixMinMatch no utiliza modelos.

Significado y Reivindicaciones

El artículo postula que la redundancia en los corpus web existentes es un recurso, no solo un desperdicio. Los autores afirman que el contenido retenido independientemente por múltiples pipelines de filtrado es un fuerte indicador de calidad, análogo al acuerdo entre anotadores en el crowdsourcing o a los métodos de ensamble en el aprendizaje automático.

El significado principal de este trabajo es la demostración de que el acuerdo entre fuentes funciona como un filtro de calidad gratuito y libre de modelos. Al tratar el paso de deduplicación estándar (MinHash) como un mecanismo para identificar el consenso, los profesionales pueden construir conjuntos de datos de preentrenamiento de alta calidad sin la carga computacional de ejecutar clasificadores de calidad en cada documento. Los autores concluyen que la comunidad de investigación puede extraer valor adicional de los conjuntos de datos existentes combinándolos sistemáticamente, en lugar de tratar cada nuevo proyecto como un rastreo desde cero.

El artículo mantiene la modestia respecto a la escala, señalando que los experimentos se realizaron con modelos de 1.46B de parámetros para asegurar la comparabilidad directa con el protocolo de FineWeb-2, aunque sugieren que los efectos de la calidad de los datos suelen persistir o amplificarse en escalas mayores. También reconocen que el emparejamiento entre fuentes es complementario, y no un reemplazo, de otros métodos de selección de datos.