💬 NLP

Corpora deduplication or duplication in Natural Language Processing of few resourced languages ? A case of study: The Mexico's Nahuatl

Este estudio demuestra que la duplicación incremental controlada de corpus en la lengua nahuatl, un idioma con recursos limitados, mejora moderadamente el rendimiento de las representaciones vectoriales estáticas en tareas de similitud semántica, ofreciendo una estrategia novedosa para el procesamiento del lenguaje natural en lenguas minoritarias.

Autores originales: Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

Publicado 2026-04-09

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Juan-José Guzman-Landa, Juan-Manuel Torres-Moreno, Graham Ranger, Miguel Figueroa-Saavedra, Martha-Lorena Avendaño-Garrido, Elvys Linhares-Pontes, Luis-Gil Moreno-Jiménez

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que el mundo de la Inteligencia Artificial (IA) es como una biblioteca gigante donde las máquinas aprenden a hablar y entender idiomas. Para que una máquina aprenda bien, necesita leer millones de libros.

El problema es que para idiomas como el náhuatl (la lengua de los antiguos aztecas, hablada por más de dos millones de personas en México), esa biblioteca está casi vacía. Es como intentar enseñar a alguien a cocinar un plato complejo dándole solo una receta escrita en una servilleta, en lugar de un libro de cocina completo.

Aquí te explico qué hicieron los autores de este estudio con una analogía sencilla:

1. El Problema: La "Hambre" de Datos

Los modelos de IA modernos (como los que usan en ChatGPT) son como gourmets exigentes. Necesitan comer millones de "bocados" de texto para entender bien un idioma.

Idiomas ricos (como el inglés o el español): Tienen bibliotecas infinitas llenas de libros.
Idiomas pobres (como el náhuatl): Tienen muy pocos textos. Además, el náhuatl es un idioma muy complejo: una sola palabra puede significar toda una frase entera (como decir "yo-caminé-hacia-la-montaña" en una sola palabra). Esto hace que contar palabras sea difícil y que haya aún menos "comida" disponible para la IA.

2. La Solución Prohibida: ¿Copiar y Pegar?

Normalmente, en el mundo de la IA, copiar y pegar el mismo texto muchas veces se considera un error grave. Es como si un profesor le diera a un alumno el mismo examen 30 veces seguidas; el alumno memorizaría las respuestas pero no entendería la materia. Por eso, en idiomas grandes, los expertos se dedican a borrar los textos repetidos (deduplicación).

Pero, ¿qué pasa si no tienes nada que leer?
Los investigadores se preguntaron: "¿Y si, en lugar de borrar, copiamos y pegamos el poco texto que tenemos, pero de forma controlada?".

3. El Experimento: El Efecto "Fotocopiadora Mágica"

Tomaron el único corpus (conjunto de textos) disponible en náhuatl, llamado π-YALLI, que tenía unos 6.6 millones de palabras. Luego, hicieron lo siguiente:

Crearon copias idénticas de ese texto.
Lo duplicaron 2 veces, luego 4, luego 10, hasta llegar a 30 veces el tamaño original.
Imagina que tienes un solo mapa de tu ciudad. En lugar de buscar otros mapas, haces 30 copias exactas del mismo mapa y los pegas uno encima del otro. Aunque es el mismo mapa, al tenerlo "más grueso" y repetido, la máquina puede estudiarlo con más calma y fijarse mejor en los detalles.

4. Los Resultados: ¿Funcionó?

Pusieron a prueba a tres "estudiantes" (algoritmos de IA) para ver si aprendían mejor a entender el significado de las frases en náhuatl:

El estudiante "FastText" (el más listo): Al leer el texto repetido 10 veces, mejoró su comprensión en un 8%. Fue como si, al ver el mismo mapa tantas veces, de repente notara callejones que antes le habían pasado desapercibidos.
El estudiante "Word2Vec" (el que más aprendió): ¡Este fue el ganador! Al leer el texto repetido 22 veces, mejoró su comprensión en un 35%. Fue como si, gracias a la repetición, lograra entender la lógica del idioma de golpe.
El estudiante "GloVe" (el que no entendió): A este no le funcionó la técnica; de hecho, se confundió un poco.

5. La Conclusión: Repetir no siempre es malo

La gran lección de este estudio es que las reglas cambian según el contexto.

Si tienes una biblioteca llena (idiomas grandes), copiar y pegar es basura y ensucia el aprendizaje.
Si tienes una biblioteca vacía (idiomas como el náhuatl), copiar y pegar es como un suplemento vitamínico. Ayuda a la máquina a "engordar" sus conocimientos y a entender mejor la estructura del idioma, aunque solo tenga un texto de referencia.

En resumen:
Los autores demostraron que, para idiomas con pocos recursos, no necesitas inventar nuevos textos mágicamente. A veces, simplemente repetir lo que ya tienes de forma inteligente es suficiente para que la inteligencia artificial aprenda a hablar y entender a comunidades que, de otro modo, quedarían excluidas del mundo digital.

¡Es como decir que, si solo tienes una canción favorita, escucharla 20 veces puede ayudarte a entender la música mejor que escuchar 20 canciones diferentes que no te gustan! 🎵📚🤖

Resumen Técnico: Duplicación de Corpus en el Procesamiento del Lenguaje Natural (PLN) para Lenguas con Pocos Recursos: El Caso del Náhuatl

1. Planteamiento del Problema

El artículo aborda el desafío crítico de desarrollar Modelos de Lenguaje Grandes (LLM) y herramientas de PLN para lenguas con pocos recursos computacionales (denominadas π-lenguas), en contraste con las lenguas ricas en recursos (τ-lenguas).

Falta de Datos: Las π-lenguas carecen de corpus textuales masivos y representativos necesarios para entrenar modelos modernos basados en transformadores (como BERT), los cuales requieren cientos de millones de tokens.
El Caso del Náhuatl: Se centra en el náhuatl (o nawatl), una lengua indígena de México con aproximadamente 1.65 millones de hablantes, caracterizada por ser aglutinante y polisintética. Esta estructura morfológica reduce el número de "palabras" (tokens) en comparación con lenguas no aglutinantes, exacerbando la escasez de datos.
Limitaciones de los Recursos Existentes: El corpus existente, π-YALLI, aunque heterogéneo en dialectos y temas, contiene solo alrededor de 6.6 millones de palabras, lo cual es insuficiente para modelos contextuales pero viable para modelos de embeddings estáticos.
Hipótesis: A diferencia de las lenguas ricas donde la duplicación de datos es perjudicial (causa overfitting y sesgos), en las π-lenguas la duplicación controlada podría ser una estrategia viable para expandir el corpus y mejorar el aprendizaje de representaciones vectoriales.

2. Metodología

Los autores proponen una técnica de duplicación incremental controlada del corpus π-YALLI, evitando técnicas de aumento de datos (Data Augmentation) complejas que requieren diccionarios o etiquetadores gramaticales (que son escasos o inexistentes para el náhuatl).

Proceso de Duplicación:
- Se tomaron los textos originales del corpus π-YALLI.
- Se generaron copias idénticas incrementales, multiplicando el tamaño del corpus por un factor $\rho$ , donde $\rho \in [1, 2, 4, ..., 26, 28, 30]$ .
- Esto resultó en corpus que van desde 6.6 millones de palabras (original) hasta aproximadamente 198 millones de palabras (30x).
Tareas de Evaluación:
- Se entrenaron modelos de embeddings estáticos (no contextuales) utilizando tres algoritmos populares: Word2Vec (Mikolov et al.), FastText (Bojanowski et al.) y GloVe (Pennington et al.).
- Se compararon las variantes CBow y Skip-gram de Word2Vec y FastText.
Tarea de Prueba:
- Se utilizó una tarea de similitud semántica a nivel de oración.
- Se evaluó la capacidad de los modelos para ordenar oraciones candidatas según su proximidad semántica a una oración de referencia.
- La calidad de los embeddings se midió comparando el ranking generado por el modelo contra el ranking de hablantes nativos de náhuatl, utilizando el coeficiente de correlación de Kendall ( $\tau$ ) como métrica estadística.
Comparativa: Los resultados se contrastaron con modelos preentrenados en corpus externos (Wikipedia en náhuatl y Common Crawl) que no habían sido sometidos a la duplicación incremental.

3. Contribuciones Clave

Inversión de Paradigma: El artículo desafía la convención actual de la "deduplicación" (eliminación de duplicados) en PLN. Propone que, para lenguas con recursos extremadamente limitados, la duplicación exacta y controlada es una estrategia efectiva para expandir el corpus.
Técnica sin Recursos Lingüísticos: La metodología no requiere diccionarios, etiquetadores de partes del discurso (POS) ni reglas sintácticas complejas, lo cual es crucial para lenguas como el náhuatl donde estos recursos son deficientes.
Análisis de Modelos Estáticos: Demuestra que, en el contexto de π-lenguas, los modelos de embeddings estáticos siguen siendo competitivos y pueden beneficiarse significativamente de la expansión de datos, a diferencia de los modelos contextuales que requieren volúmenes de datos inalcanzables.
Estudio de Caso Específico: Proporciona uno de los primeros análisis empíricos sobre el impacto de la expansión de corpus en una lengua aglutinante y polisintética específica (náhuatl mexicano).

4. Resultados

Los experimentos arrojaron hallazgos diferenciados según el algoritmo utilizado:

FastText (Modo Skip-gram):
- Obtuvo el mejor rendimiento general.
- El coeficiente $\tau$ mejoró de 0.459 (sin duplicación) a 0.495 (con duplicación 10x), una mejora del 7.8%.
- El punto óptimo de duplicación fue $\rho = 10$ .
Word2Vec (Modo Skip-gram):
- Mostró la mejora más significativa.
- El coeficiente $\tau$ saltó de 0.357 a 0.483 (con duplicación 22x), representando un aumento del 35.3%.
- El rendimiento mejoró de manera constante hasta $\rho = 22$ .
GloVe:
- Presentó resultados decepcionantes y estancados, con una mejora marginal del 3.4% (de 0.209 a 0.216) y una tendencia a la disminución del rendimiento con duplicaciones mayores.
Comparación con Modelos Externos:
- Los modelos entrenados en el corpus duplicado (FastText y Word2Vec) superaron consistentemente a los modelos preentrenados en Wikipedia o Common Crawl, los cuales obtuvieron puntuaciones $\tau$ alrededor de 0.24.

5. Significado e Implicaciones

Viabilidad para Lenguas Minoritarias: El estudio demuestra que la duplicación controlada es una herramienta práctica y de bajo costo computacional para mejorar las capacidades de PLN en lenguas indígenas y π-lenguas, donde la recolección de nuevos datos es difícil.
Optimización de Recursos: Permite entrenar modelos de embeddings de mayor calidad utilizando la misma cantidad de texto original, simplemente aumentando la frecuencia de aparición de los patrones lingüísticos, lo cual ayuda a los algoritmos a capturar mejor la estructura aglutinante del náhuatl.
Futuro de la Investigación: Los autores sugieren que esta técnica puede aplicarse a otras tareas como la resumen automático de textos y el reconocimiento de entidades nombradas (ej. topónimos). Además, proponen futuras investigaciones sobre la normalización de textos y la duplicación selectiva basada en dialectos específicos.

En conclusión, el artículo valida que, en el contexto de lenguas con pocos recursos, la "calidad" de los datos no siempre depende de la "variedad" única, sino que la repetición controlada puede ser un mecanismo efectivo para superar la escasez de datos y entrenar modelos lingüísticos funcionales.